Midjourney + RunWay Gen-2 联手将图片转成唯美动画

Midjourney 是一款输入关键字就能产出唯美图片的工具,而Gen-2 可以让静态的图片动起来;那如果将这两款工具结合,是否能产生令人叹为观止的唯美动画?

picture.image

结果是否跟我们想的一样呢?就让笔者来实际操作看看!

STEP 1:用Midjourney 产生图片

目前 Midjourney 需要付费才能使用,如果这是你第一次认识Midjourney,可以参考笔者先前分享的 文章 ;如果你没有Midjourney 帐户,透过DALLE 或是使用笔者在后面提供的图片也可以体验。

笔者的Prompt 为「musical imitation --ar 16:9」

picture.image

STEP 2:注册Runway 帐号

Runway 官网: https://runwayml.com/

picture.image

可以使用Google 帐号or 其他方案来注册,成功后会询问你是否要订阅他们的最新资讯。

picture.image

picture.image

然后会有弹窗显示目前的付费方案,我们先选择「Free」来尝试看看。

picture.image

STEP 3:使用Gen-2 模型,将图片转成动画

这篇文章的目的是让静态图片动起来,所以我们选择右上角的「Image to Video」。

picture.image

进入后你会看到右上角显示「105s left」,这是指你可以产生的影片秒数。

picture.image

在Gen-2 的模式下,可以使用「上传图片」或搭配「输入文字」来产生影片,这边我们采用上传图片的方案,点击「Generate」后便会开始生成。

picture.image

你会发现右上角的105s变成101s惹

下面就是图片转为影片的结果喔!目前Gen2只能单色4秒的影片;如果你想让影片更长,可以用最后一张图当支撑让他产生。

picture.image

picture.image

音乐模仿 — ar 16:9

▋更多案例展示

下面是看看作者将图片转为动画的各种实验,大家可以先浏览,最后我再分享一下自己的心得。

➤ 场景

picture.image

picture.image

一个美丽的地方壁纸 — ar 16:9

➤ 可爱的动物(有点魔性)

picture.image

picture.image

兔子和他的两个朋友疯狂地向天空撒钞票,画面里满是钞票,庆祝新年,3d,闪亮,可爱,吉卜力工作室绘画 — ar 16:9

➤ 人像

picture.image

picture.image

一个银发的年轻男性站在海滩上,风格为 sandara tang、海盗朋克、karol bak、视频、白色和琥珀色、hiroshi nagai、迷人 — ar 128:71

▋结语

尝试各种素材后,我发现了以下规则:

  • 图片不要有太多元素,当细节太多时,哪一部分会成为动画完全依靠运气。
  • 人物尽量只挑上半身,否则平原的影片会很猎奇。
  • 多种素材下来测试,场景的表现是最好的。

下面分享一些悲剧的案例:

picture.image

picture.image

在一大笔拉动结果跌下去

picture.image

picture.image

到底希望在沙漠前行,结果变成了鬼步

虽然部分结果不如预期,但这些成果也足够惊人;从业内人士的角度来看,AI影视产业产生巨大的冲击,就像绿幕刚诞生的时候一样。

picture.image

微信号 HELLO程序员

视频号| iron.guo

0
0
0
0
评论
未登录
暂无评论