前不久昆仑万维开源了全球首个基于自回归强制扩散框架(AutoRegressive Diffusion-Forcing)的无限时长电影生成模型SkyReels-V2,通俗来说就是,这款模型在理论上可以一直持续的生成视频,不限时长。
这个系列主要有三款模型:
- SkyReels-V2-I2V:图片生成视频模型
- SkyReels-V2-T2V:文本生成视频模型
- SkyReels-V2-DF:扩散引导模型
我关注的重点是SkyReel-V2-DF,此模型打破了传统视频生成模型在时长上的限制,可以生成不限时长的视频,SkyReels-V2-DF 分别发布了1.3B 和 14B 两种参数的模型。
为了快速测试,我下载了显存要求最小的1.3B的模型进行测试。
然而...鼓捣了一下午发现Triton 、PyTorch Dynamo 编译在 Windows 上存在兼容性问题,必须要在Ubuntu系统上部署,但是Ubuntu系统我又没有显卡,如果买云服务的话无形增加了不少门槛和难度。
鼓捣的过程中,我发现页面中的在线体验功能非常不错,整体模型的使用成本和能力,都比租算力服务器更有性价比!
于是原本想出本地教程的我,转变计划为大家介绍一下,已经被不少外网玩家叫好的AI短剧创作平台:
这个平台不看不知道...进去之后发现了这里提供了一整套非常完整的AI视频工具。他甚至可以被称之为是一个AI视频一站式创作平台:从脚本、分镜、图像、视频、配音、音效、剪辑、甚至口型同步都一应俱全。
SkyReels支持直接生成视频和创作剧情脚本。
我本意是想试用和介绍一下新模型,于是先拿我自己的公众号头像测试了一下,直接生成30s。我的提示词是:蹦下来,挥手打招呼
最后生成的有点好玩,虽然在后几秒的时候,脸上的颜色有点加深,但是30s一镜到底,同时还能保持玩偶衣服上的文字和纹路的稳定性,没有变形和模糊掉,是有点令人惊喜的!
然后又使用最近超火的对镜拍小姐姐图片生成了一个30s的长视频,提示词是:女生对镜自拍,跳舞
两个视频全部是无抽卡直出,而且都属于是难度较大的场景,哪怕丢给现在的AI视频5s/10s的生成,也很难保持良好的状态。30s的难度可想而知。
第二个生成的一镜到底30s视频,仔细观察下视频人物的面部表情,在前10s的时候面部表情和动态感尤为稳定、丰富,中间15s脸部的一致性有所下降,但是整体的空间感,人物动作依然流畅、稳定,最后5s出现了手部的问题。
总体来说,瑕不掩瑜,模型能力非常强,一镜到底30s能够保持在这个水平,据我所知已经是全行业唯一的存在。经常搞视频的小伙伴可以自己去官网体验尝试下。
到这里,我们对这个平台的探索刚刚开始。
平台支持使用小说直接生成短剧视频的创作,于是借助平台的功能支持,我直接下载了一本刘慈欣的短篇小说《朝闻道》扔了进去,看着他运行自动生成了脚本。
这里有重新生成脚本的功能,但是我大概扫了一眼,故事梗概没有问题,于是直接点击了下一步,系统自动根据脚本生成了三个人物形象。这三个形象,说明提取和生成的都没错,这个小说的主角就是一家三口。
到这里,有趣的来了,支持重新更换人物形象、支持更换音色。
点击更换形象,直接进入了一个新的编辑页面,提供了丰富的人物形象更改功能,但是我觉得这个形象还可以,比较符合我心目中一个青年科学家的外貌,并且我也迫不及待的想要看看,到底会生成一个什么样的视频了。
我直接确认角色形象,进入了下一步,在等待后,页面中直接生成了24个镜头。
点击【Edit】,进入了编辑页面,可以针对某一个镜头画面的首帧图片和视频生成的提示词进行修改和调整。而且贴心的提供了AI帮写的功能。
这里提供了非常顺手的修改逻辑,在我发现了有两个镜头的画面风格和形象与其他的镜头不统一时,就可以非常便利的进行从图、到视频的重改和调整。
在调整过程中,平台还提供了丰富且强大的“姿势参考”的功能,帮助用户精准的描述控制人物的站位,辅助用户更加准确的描述出自己脑海中的想法,再加上能理解推/拉/摇/移,能精准执行特殊运镜技巧的模型能力,让最终生成的视频能够有电影级别的镜头画面效果。
修改了几个镜头之后,我正常进入了下一步,然后进了一个更猛的环节,大家感受一下:
SkyReels直接原生提供了一整套的视频剪辑能力,音轨、字幕、速度、剪辑、滤镜、转场、一应俱全。我随手玩了特效+滤镜+转场,非常流畅好用。
整个平台,集成了视频大模型、3D大模型,能够通过AI一键生成完整剧本、分镜、人物对白与背景音乐,支持角色形象、音色与分镜的自定义调整。创作者只需在Skyreels就可以一站式完成全部的视频创作。
而且,Skyreels还集合了模型微调训练的功能,只需要上传一些视觉风格或内容,具有相同动作/相同画风/相同角色的视频。大模型可以学习模式和特征,最终能够生产出稳定、高质量,能达到期望的风格视频。如果你没有素材,还可以直接选用其他用户训练好的模型进行生成。
我用毒液变装的lora直接生成了一个视频,平台还提供了GIF格式的导出,真的是太懂了!
顺手试用了下唇形同步功能,口型、发音都没得挑。
还记得刚才的视频编辑功能吗?在我们测试了一圈之后,回到剪辑,可以看到整个平台上生成的图片、视频、音频、文案都会被视为资源,能够在剪辑中快捷使用。
这样的内部资源就可以支持用户在平台上进行一系列天马行空的创作,生产AI视频短剧的需求都可以在这个平台上满足。
看完了这些强大的功能,想必大家更关心的还有价格,如果在平台上生产一部AI短剧,大概要花多少钱。这是当前的月付价格,基础版1000点数每月9.9$≈70元,那么100资源点约为7块钱。
在我实测完成后,简单来说:生成每个镜头的5s视频30积分,每个30s视频150积分,其他的脚本生成、摘要生成、唇形同步等,根据Token消耗的数量不同,消耗的资源点也不同。
一个1分30s的视频完整生成下来,大约要消耗600资源点,那么单视频的生图+视频+配音+剧情,成本约2.3元。对比模型质量,这算是一个比较良心的价格。
初探索了Skyreels之后,发现其细节和功能非常丰富,很有可玩性,刚才的视频创作我继续去搞,做完分享给大家看看。
最后,求个一键三连,小伙伴们下次再见👋
以上,既然看到这里了,如果你喜欢,请随手点个赞、在看、转发三连吧,感谢你的支持~
往期推荐
1、爽爆!一句话,AI全自动写脚本并剪辑出成片的企业级项目教程!
3、抛砖引玉 | 为什么DeepSeek-R1是推理模型?(万字长文)
4、二次元女友陪你上班是种什么体验?手把手教你用AI打破次元壁!