背后故事|第二届字节跳动智创 Hackathon 获奖作品大起底(三)

技术

点击上方👆蓝字关注我们!

picture.image

智能创作是字节跳动的多媒体创新科技研究所和综合型服务商,由视觉智能、语音和音频智能、音视频编辑、特效、创作工具和产品六个团队组成。 6 月 25 日,历经 48 小时昏天黑地的角逐,由智能创作联合火山引擎和 ByteTech (字节跳动内部技术社区)共同举办的第二届字节跳动智能创作 Hackathon 大赛落幕 。围绕本次主题:创意无极限,智能创作团队的开发者们大开脑洞,组团队!想创意!码代码!迎挑战!搞事情!诞生了众多充满想象力和技术力的优秀项目。

下面我们一起来看看这 48 小时内优秀获奖项目的背后故事。

亚军项目(二)

:道具 OMG

项目定位

:高效的 AR 生产平台

项目亮点

:快速对真实物体进行 AR 建模

采访对象

:项目发起人——智能创作 iOS 研发工程师潘达达

  1. 简单介绍一下这个项目是做什么的?

潘达达

:道具 OMG 是一个是快速对真实世界中的物体进行建模,并使用特定引擎对模型渲染真实还原的 AR 项目。在这一次的比赛中我们应用的场景是 AR 试穿戴:对真实的鞋子进行扫描建模,然后在抖音进行试穿,试穿的效果可以媲美真实世界中的穿戴体验。

  1. AR 穿戴好像不是一个新的 idea,道具 OMG 有什么优势么?

潘达达

:传统 AR 穿戴需要请专业的设计师模拟建模,成本高,流程长,真实感有待提高。道具 OMG 可以直接对实际生活中的物体进行拍照建模,速度快,成本低,体验真实。同时我们还提供了很多先进的辅助智能技术来提升产品体验,后续产品上线后会邀请大家来体验。

picture.image

道具 OMG 试穿戴效果图

  1. 团队组建过程有什么有趣的事情么?

潘达达

:组建的过程真的是崎岖又神奇的。我们是一个善于做 AR 的团队,最早的想法是做一款 AR 游戏,没想另一个团队有同样的创意并完成立项,所以我们被迫另选他路。但因为一直没有好的创意,队伍迟迟组建不起来,最后刚好新技术 Object Capture 问世,大家对这个方向十分感兴趣,才赶在项目提交日的前一天组建好了队伍,非常惊险。

  1. 团队起这个名字有什么梗么?

潘达达

:我经常玩儿一款游戏里面有一个模式叫做 OMG,它有一个英雄池,你从这个池子里面选对应的技能组成一个新的英雄。从某种程度上说,这种 DIY 的事情跟我们想完成的自我构建很类似,我们希望未来这个 AR 技术可以更低技术成本实现,每个人可以随意 DIY 自己要建模的东西。

  1. 48 小时的比赛中,有遇到什么挑战或者有趣的故事么?

潘达达

:最好笑的应该是给鞋子拍照了。理论上拍一套用于建模的照片只需要 20 张左右,但是怎么拍还需要摸索,于是我围着一只鞋子拍了一天近千张照片,最后看见这只鞋子都想吐了,好在最终找到了这个拍摄的最佳路径。

  1. 这个项目用到了哪些技术?可以简单介绍下么?

潘达达

:这个项目首先用的是 采集建模 ,这个技术通过手机拍照实现物体建模;其次我们采用了 足部检测跟踪算法 完成鞋子试穿戴,通过 帧延时技术 实现精准的跟踪匹配;在道具资源包的生产这块我们还使用了特效团队最新的 3D UI,使用 曲面 3D UI 来进行换鞋的交互等等。

  1. 这个项目有哪些潜在应用场景?

潘达达

:真实物体的试穿戴场景可以给直播或者电商结合提供更沉浸式的体验。另一个小的设想,我们想象如果未来可以对人体进行建模,这些人体模型由每个人的动作进行驱动,就可以实现电影里的虚拟会议的效果。

  1. 有什么其他特别想介绍的?

潘达达

:有啊,可以给团队招聘打个广告么(笑)?如果对音视频/图像/语音/AI/特效感兴趣的同学,欢迎向我们砸简历: https://job.toutiao.com/s/eskYcJh

点击【

阅读原文

】投递简历!

picture.image

30
0
0
0
相关产品
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论