背后故事|第二届字节跳动智能创作 Hackathon 获奖作品大起底(一)

技术

点击上方👆蓝字关注我们!

picture.image

智能创作是字节跳动的多媒体创新科技研究所和综合型服务商,由视觉智能、语音和音频智能、音视频编辑、特效、创作工具和产品六个团队组成。 6 月 25 日,历经 48 小时昏天黑地的角逐,由智能创作联合火山引擎和 ByteTech (字节跳动内部技术社区)共同举办的第二届字节跳动智能创作 Hackathon 大赛落幕。 围绕本次主题:创意无极限,智能创作团队的开发者们大开脑洞,组团队!想创意!码代码!迎挑战!搞事情!诞生了众多充满想象力和技术力的优秀项目。

下面我们一起来看看这 48 小时内优秀获奖项目的背后故事。

冠军项目

:莉沫酱纸片人喜欢上班有什么错?

项目定位

:高效率的虚拟形象生产平台

项目亮点

:算法驱动 2D 形象呈现 3D 效果

采访对象

:项目发起人——火山引擎算法工程师王旭

1. 这个项目是做什么的?

王旭

:我们做了一个 低成本的虚拟形象生产平台 ,在这个平台上,设计师或者普通用户都可以快速创建属于自己的 2D 虚拟形象,并且这个形象可以被我们的算法所驱动,呈现 3D 驱动的效果。这个形象可以被用于视频会议、直播场景、特效道具、虚拟社交、游戏形象等场景。

picture.image

王旭与团队成员的 2D 虚拟形象:小智与小海

2. 为什么想要做一个这样的项目?

王旭

:我们团队承担公司抖音/飞书视频会议的个性化形象驱动等相关业务,这些项目有一个特点:周期长和流程复杂。整个流程包括 2D 素材设计、3D 素材设计、3D 驱动等,需要非常多设计师的投入,并且后期的调试很复杂。很多想生产虚拟形象的业务(比如视频会议、新型道具生产等)没办法找到这么多资源,因此往往选择复用已有的项目。我们想把这个技术做更多的推广,帮助更多的业务线、UGC 用户、PGC 用户低成本打造虚拟形象,降低这件事情的壁垒。

3. 听说你们团队非常豪华,一共有 8 个同学,大家是怎么聚在一起的?

王旭

:原始团队有来自视觉组的 5 名成员,平常大家工作就非常默契了。然后机缘巧合下,我在外部查资料的时候发现的 2D 驱动大神黄巍竟然也是字节跳动的同学,介绍了项目之后没想到他很快答应入伙。后面经过一系列的曲折,在绝望的边缘邀请到了 Hackathon 宝藏资源:两位设计师鱼仔和 Poppi 同学加入,还有神秘场外产品顾问海姗同学,真的是嘴皮子都磨破了才终于答应。但总体我们算是整个比赛中,配备非常豪华的团队了。

4. 莉沫酱纸片人喜欢上班有什么错,这个 14 字的名字是怎么来的?

王旭

:我们团队本来想用投票的方式选个名字。最后「FaceKini」、「莉沫酱上班」和「喜欢纸片人有什么错」三个名字得票比较高,因为哪个都不想放弃,所以最后大家就把这些元素都糅合在了一起,定了这个名字。

5. 48 小时的比赛中,有遇到什么挑战或者有趣的故事么?

王旭

:确实,这个过程充满了挑战和乐趣。最好笑的事情是大家误以为我们是机器人,可以不眠不休。因为我们原始成员中有 base 在美国的同学,看上去 48 小时都在群里讨论工作,让人误以为我们可以不睡觉连轴工作。最感动的是我们设计同学,在非常非常疲惫的情况下,还超预期的花了 8 小时给我们做了精美的 PPT,让我看到了什么是“跟优秀的人,做有挑战的事”。

6. 如何看待内部黑客马拉松这种活动?

王旭

:这是一个被看见的快速通道,让我们这种有想法的一线团队,可以不用走投稿或者立项流程引起大家的关注和认可,从而获得项目落地的机会。而且通过活动认识了很多其他优秀的同学,拉通了内部沟通的交流。

7. 介绍下这个项目用到的技术。

王旭 :这个项目主要用到的是 2D 素材驱动技术和人脸分析技术 。2D 素材驱动技术可以放弃对 3D 素材的依赖。只要会画画,哪怕画得很简陋都没关系。把 2D 作品按照我们的规范来绘制,我们就可以来做无缝驱动。人脸分析技术来辅助检测用户的面部表情和关键点,从而更好的帮助驱动 2D 素材。

8. 这个项目有哪些潜在应用场景?

王旭

:这个项目未来可以落地在特效开放平台,开放给外部海量的有才华的设计师使用,这个工具可以帮助这些设计师以百倍的速度生产虚拟形象,在直播或者会议中代替大家出镜。我们的愿景是让每个人都有自己独特的千人千面的虚拟形象,丰富创作和交互的可能。

9. 有什么其他特别想说的?

王旭

:有啊,冠军奖杯很重,后面路还很长,未来要努力让这个 demo 变成真实落地的现实。

picture.image

36
0
0
0
相关产品
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论