近期，在计算机视觉领域最具影响力的「国际竞赛 CVPR 2025 NTIRE」中，火山引擎多媒体实验室团队同学组成“SharpMind”小组，在NTIRE 2025 Short-form UGC Video Quality Assessment Challenge-Track1-VQA赛道以显著优势夺冠。基于能力强大的多模态大模型，团队方案成功构建了评估精度、计算效率俱优的画质评价模型，为大模型能
视频云技术专栏
专注在音视频领域的技术社区，分享相关技术项目及最佳实践，致力于帮助开发者成长，帮助企业解决视频技术难点。
47
最新
CVPR 2024 满分论文 | 基于可变形3D高斯的高质量单目动态重建新方法
项目主页：https://ingra14m.github.io/Deformable-Gaussians/论文链接：https://arxiv.org/abs/2309.13101代码：https://github.com/ingra14m/Deformable-3D-Gaussians单目动态场景（Monocular Dynamic Scene）是指使用单眼摄像头观察并分析的动态环境，其中场景中
3423
0
0
0
CVPR 2024 | 模块化无参视频质量评估
无参视频质量评估 (Blind Video Quality Assessment，BVQA) 在评估和改善各种视频平台并服务用户的观看体验方面发挥着关键作用。当前基于深度学习的模型主要以下采样/局部块采样的形式分析视频内容，而忽视了实际空域分辨率和时域帧率对视频质量的影响，随着高分辨率和高帧率视频投稿逐渐普及，特别是跨分辨率/帧率视频转码档位画质评估场景中，这种影响变得更加不可忽视。在本文中，我们
3166
0
0
0
CVPR 2024 | CAMixerSR 动态注意力分配的超分辨率加速框架
随着相关技术和应用的发展，比如超高清屏幕、虚拟现实（VR）等沉浸式体验的增加，用户对超高分辨率图像和视频的需求变得越来越强烈。在这些场景中，图像的质量和清晰度对于提供最佳的用户体验至关重要。超高分辨率不仅能提供更清晰、更真实的视觉效果，还能在一定程度上增强人们的互动和沉浸感，在一些VR场景中我们需要8K甚至16K的才可以满足需求。然而要生成或者处理这些超高分辨率的内容，对算力的要求也是与日增长，对
3265
0
0
0
ICASSP 2023 | 解密实时通话中基于 AI 的一些语音增强技术
实时音视频通信 RTC 在成为人们生活和工作中不可或缺的基础设施后，其中所涉及的各类技术也在不断演进以应对处理复杂多场景问题，比如音频场景中，如何在多设备、多人、多噪音场景下，为用户提供听得清、听得真的体验。作为 RTC 方案中不可或缺的技术，语音增强技术正从传统的基于统计学习的方案向基于深度学习的方案融合演进，利用 AI 技术，可以在语音降噪、回声消除、干扰人声消除等方面实现更好的语音增强效果，
4561
1
0
1
ICME VQA Grand Challenge 获奖工作分享
ICME VQA Grand Challenge获奖比赛共有 12 支来自不同国家的参赛队伍，其中包括上海交通大学、深圳大学、日本东京工业大学和印度 IIT 大学参赛队伍。字节跳动 火山引擎 -多媒体实验室在无参指标赛道中所有评价指标均排名第一；在全参考指标赛道中部分指标排名第一。该比赛为鹏城实验室、北京大学深圳研究院、腾讯和美国南加州大学联合举办项目，主办方在视频编码和质量评估方面有比较深厚的学
2963
0
0
0
央博龙年新春云庙会即将开启，火山引擎视频云助力“龙游神州”云VR展
日前,中央广播电视总台“央博”数字文化艺术博物馆平台(以下简称总台“央博”数字平台)发布了2024年重点项目,央博龙年新春云庙会作为年度重点压轴项目之一,以“龙游神州”为主题,依托VR/AR技术进行视觉和多媒体互动升级的龙年科技庙会,赢得了广泛关注。在火山引擎云游戏团队所提供的VR实时云渲染技术支撑下,游客可以在地坛庙会所搭建的VR体验场地中,沉浸式地get叠加传统文化和硬派科技的超现实庙会体验。
2757
1
1
0
「火山引擎」视频云产品月刊-音视频体验专题
以抖音为代表的新一代现象级应用的兴起 ，不仅推动了短视频这一赛道的全面爆发，更培养了用户通过视频表达自我和获取知识的习惯。在视频类应用盛行的背景下，用户对于播放体验的需求与日俱增，他们渴望超高清、强交互、更加沉浸式的体验。如果无法满足用户的这些需求，应用的播放 时长、留存拉新和业务创新将受到直接影响。然而，尽管用户对音视频体验的需求与日俱增，业界却尚未建立完善的音视频体验评估体系，难以准确定位影响
4555
0
0
0
「火山引擎」视频云产品月刊-亚运会赛事直播专题
近日，抖音发布亚运会观赛报告。报告显示，亚运会期间抖音赛事直播，运动员、工作人员互动，冠军访谈等内容精彩纷呈。9月19日-10月8日，抖音亚运会赛事直播累计获62亿人次观看，“杭州亚运会”话题视频播放量超过503亿。作为持权转播商，抖音对亚运会全程进行了免费、无贴片广告、4K超高清直播。9月23日亚运会开幕，有最高264万人同时在抖音收看直播。“数字人火炬手”“大莲花”等多个记忆瞬间镌刻在屏幕前的
3731
0
0
0
和德爷一起 6DoF 互动探险，火山引擎空间重建和虚实融合技术
《跟着德爷闯东非》是 Pico 一款全新的 6DoF 互动纪录片。主角由在全球拥有 530 万粉丝的明星探险家德爷（Edward James Stafford）担任。观众以第一视角摄影师的身份陪伴德爷一起冒险，近距离观察野生动物，体验非洲大草原的野外生存之旅。与行业内常见的不具备互动性的 3DoF 实拍纪录片以及不具备写实性的游戏引擎制作的 6DoF 纪录片不同，《跟着德爷闯东非》纪录片的拍摄采用
3222
0
0
0
实战：超低延时直播技术的落地实践
据中国互联网络信息中心发布的《中国互联网络发展状况统计报告》显示，截止到 2022 年 6 月我国网络直播用户规模达到了 7.16 亿，占网民整体的 68.1%。最主要原因是 2020 年度疫情期间导致居家办公和休闲娱乐的人数呈现激增，新媒体互动直播成为了广大网民最重要的休闲娱乐方式之一。随着直播产业链的不断扩展完备升级，相关产业链各个环节分工逐渐明确且各环节参与人数逐步增多；为了满足不同的就业需
4579
0
1
0
火山引擎首次发布自研视频芯片，“抖音同款”走向千行百业
无论你是不是一个短视频爱好者，视频化的场景也已经覆盖了你生活的方方面面。QuestMobile数据显示，截止到2023年5月，中国移动视频行业整体用户规模达到10.76亿，月人均时长达到64.2小时。即便没有这些数据统计，日常的生活已说明了一切。早上到公司后，你一边上电梯，一边打开手机观看汽车的“自动泊车”是否顺利；10点的第一个会议需要通过视频与外地的同事进行沟通；午休时间你和暑假在家的孩子通了
4694
0
0
0
「火山引擎」视频云产品月刊-2023年9月
随着全行业视频化的演进，营销、知识、商业和空间的交互体验正在被重塑，将会直接影响到您的用户留存和业务增长。火山引擎视频云特推出「产品月刊-云上新视界」，与业界分享基于亿级DAU沉淀的音视频领域产品动态、技术干货、实践案例和市场活动，助力企业打造“面向体验”视频化能力，驱动业务良性增长。月度更新，更多动态，尽在视频云产品月刊。8月22日，火山引擎视频云&AIGC技术大会上，火山引擎视频云就技术底座、
3371
1
0
0
超低延时直播技术演进之路-进化篇
据中国互联网络信息中心发布的《中国互联网络发展状况统计报告》显示，截止到 2022 年 6 月我国网络直播用户规模达到了 7.16 亿，占网民整体的 68.1%。最主要原因是 2020 年度疫情期间导致居家办公和休闲娱乐的人数呈现激增，新媒体互动直播成为了广大网民最重要的休闲娱乐方式之一。随着直播产业链的不断扩展完备升级，相关产业链各个环节分工逐渐明确且各环节参与人数逐步增多；为了满足不同的就业需
4319
2
2
3
让文物“活”起来，火山引擎视频云三维重建技术揭秘
中国历史悠久，文化底蕴深厚，文物数目众多，文物作为前人智慧的结晶，其文献价值不言而喻。古籍是记录中华文明的重要载体，也是流传至今的宝贵文化遗产，文物保护也是一项长期重要的基础工作。全国2800多家图书馆收藏有超过5000万册的古籍，其中1/3存在不同程度的破损。按现有的文物修复人员数量，需要数百年的时间才能把馆藏文物全部修复好。《古籍寻游记》是字节跳动联合中国第一历史档案馆、敦煌研究院、甘肃简牍博
3784
0
0
0
RTC 端到端视频体验优化技术实践与探索
RTC 是一个“发布-订阅”系统，我们在发布端和订阅端做的很多关于画质、性能、卡顿、延时的优化，在经过网络传输之后，不一定能够达到端到端的最优效果。本文介绍 RTC 如何通过发布端和接收端的联动优化，为用户提供更佳的视频通话体验。这是一个多人 RTC 系统的示意图，左边是发布端 Pub（Publisher），右边是接收端 Sub（Subscriber），把视频流从发布端通过一连串的媒体级联服务器送
4908
0
0
0
从 QoS 到 QoE，RTC 的用户体验该如何评判？
在音视频业务中，QoS（Quality of Service，技术服务质量指标）和 QoE（Quality of Experience，用户体验指标）并不是一个新的话题。相较于传统流媒体业务，RTC 业务方兴未艾，人们对其关注的点从过去的 QoS 指标转向用户体验 QoE，并进入了“数据驱动业务增长”的探索实践阶段。那么，RTC 的用户体验究竟是什么？体验要如何衡量？QoS 的变化对 QoE 的影
3534
0
0
0
编码技术新突破：字节跳动 AVG 让视频缩小 13%
据联合视频专家组 JVET 官网显示，字节跳动 AVG （先进视频团队）在 2021 年 2 月发起了一项视频压缩的技术提案，该提案能够在优化压缩质量的同时，节约至少 13% 的存储和带宽。例如，一段 180 分钟 H.266/VVC 标准的高清视频（ 1080P 分辨率），大约需要 3GB 的数据体积，应用新技术后只需要 2.6GB 。这是业界公开的单个智能编码工具的最佳性能增益。字节跳动 AV
3489
0
0
0
视频编码标准发展史
2016 年，短视频应用崭露头角，并进入持续爆发式增长阶段；2019 年 3 月 1 日，工业和信息化部、国家广播电视总局、中央广播电视总台联合发布《超高清视频产业发展行动计划（ 2019 - 2022 年）》，大力推进超高清视频产业发展和相关领域的应用；同年，电商直播开始引领新的消费模式；2020 年初，视频会议火遍全球；2021 年央视春节联欢晚会将首次采用 8K 超高清视频进行呈现，同时融入
3036
0
0
1
精彩专栏
边缘云技术专栏
119
云原生计算专栏
95
云原生
68
4
技术服务 - 操作系统
49
5
云存储技术专栏
47
6
视频云技术专栏
47
7
技术服务 - 容器服务
44
8
云原生开源大数据平台 EMR 专栏
41
9
云基础专栏
40
10
AIGC思维火花
38