背后故事|第二届字节跳动智创 Hackathon 获奖作品大起底(二)

技术

点击上方👆蓝字关注我们!

picture.image

智能创作是字节跳动的多媒体创新科技研究所和综合型服务商,由视觉智能、语音和音频智能、音视频编辑、特效、创作工具和产品六个团队组成。 6 月 25 日,历经 48 小时昏天黑地的角逐,由智能创作联合火山引擎和 ByteTech (字节跳动内部技术社区)共同举办的第二届字节跳动智能创作 Hackathon 大赛落幕 。围绕本次主题:创意无极限,智能创作团队的开发者们大开脑洞,组团队!想创意!码代码!迎挑战!搞事情!诞生了众多充满想象力和技术力的优秀项目。

下面我们一起来看看这 48 小时内优秀获奖项目的背后故事。

亚军项目(一)

:简音

项目定位

:All in One 的针对播客的音频编辑软件

项目亮点

:变“听”为“看”,通过剪文本来剪音频,节省 90% 剪辑时间

采访对象

:项目发起人——智能音频创作产品经理 Scott & 抖音工具线产品经理 Vanessa

  1. 简单介绍一下这个项目是做什么的?

Scott

: 简音是一款 All in One 的针对播客的音频编辑软件。我和 Vanessa 是分别负责音频技术和创作工具的产品经理,同时 Vanessa 还有自己的播客。我们在日常编辑音频的过程中发现大部分产品都不能满足需求,所以就想能不能做一个服务于播客场景的简单高效的音频编辑软件,来降低播客主播们的编辑成本。

  1. Vanessa 作为播客主播在音频剪辑中有什么实际困难么?

Vanessa

: 困难就是剪音频非常麻烦,一方面通用的音频工具功能繁多,使用门槛比较高,另一方面因为没有一款产品满足所有需要,所以我经常为了剪一个音频在各个 APP 间辗转腾挪。我记得第一期是跟一款线上交友 APP 的 PM 对谈交友和婚恋相关的看法和建议,2小时的节目断断续续竟然剪了半个多月才出炉。

picture.image

常见剪辑软件形式

  1. 简音为什么可以大幅提升播客音频编辑的效率?

Scott & Vanessa

: 播客的音频特点是内容多和篇幅长。剪辑的困难一方面因为大部分剪辑软件使用非常复杂,令人望而生畏;另一方面,传统的剪辑手法使得 1 小时的节目大约需要 7 小时来剪辑。简音是为播客而生的剪辑工具,化繁为简只保留最重要的功能。这里面最重要的是它全新的可视化剪辑手法,改变了传统“听”的剪辑方式,通过剪文本来编辑音频,比听要高效数倍,而且我们融合了很多智能的技术手段,可以一键删除“嗯”、“啊”等废词和静默停顿、一键降噪、复刻音色修改音频等等,帮助大幅提升长音频的剪辑的效率。

picture.image

简音核心解决的 6 大难题

  1. 听说你们团队拥有 Hackathon锦鲤?

Vanessa

: (笑)对,我参加过 5 次 Hackathon,每次都有获奖,所以我对 Hackathon 评审看重什么比较清楚。大家比赛的时候不光要把技术做成 demo,更要考虑项目的完整度、落地应用和市场前景,这样进入决赛的概率就会大很多。团队另外一名研发也是次次 Hackathon 都得奖,所以我们算是双倍锦鲤加持了!

  1. 简音这个名字有什么寓意么?

Vanessa

: 我们的名字本来参考了剪映,因为剪映是一个门槛低但功能丰富的视频剪辑工具,我们希望音频剪辑工具也能像剪映一样,就起名叫做“剪音”。后来,智创的 SAMI 团队(全称 Speech, Audio & Music Intelligence,专注于语音、音乐和音频领域的 AI 前沿技术),提供了很多超赞的智能技术,让剪音频变得非常简单,所以最后改名叫“简音”。

  1. 48 小时的比赛中,遇到的最大挑战是什么?

Scott

: 最大的挑战就是氪肝啊。这个项目如果完整实现至少需要 1 个月时间,但是比赛时间有限,我们提取了最核心的功能。

  1. 简音主要用到了哪些技术?

Scott

: 简音的主要技术有 3 个:

  • 首先是 语音转文字 :目前我们的技术可以实现小于 5% 的低字错率,满足了当前场景的基本需求。
  • 其次是 深度降噪 :一键实时的深度降噪,可以保障各个场景的高音质语音都被真实还原。
  • 最后是 音色克隆 :我们可以实现少于 5 分钟的任意语料克隆用户音色,所以不用担心说错话,这个功能可以轻松完成错误修改。
  1. 还有什么特别想跟大家说的么?

Scott & Vanessa

: (笑)可以发一个诚挚的招聘邀请么~传送门如下哈:
对音视频创作感兴趣的同学可以戳: https://job.toutiao.com/s/ebmjYyq

对智能语音和智能音乐有兴趣的同学可以戳: https://job.toutiao.com/s/ebX4AKQ

研发、产品和运营岗位应有尽有,全球入职哦~

picture.image

44
0
0
0
相关产品
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论