2022技术盘点｜臻视高清画质引擎研发之路｜社区征文

不知你是否遭受过以下困扰？

用手机在暗光环境下拍摄视频，拍不清楚主体、噪声严重、整体画面感朦胧，完全拍不出心仪的素材；在视频网站观看一些老旧影片时，例如《上海滩》，由于影片拍摄时间久远，其拍摄设备、后期剪辑等技术都不先进，会不同程度的影响视频质量，产生划痕、噪声、模糊等问题；在观看体育赛事直播时，因为运动员始终处于运动过程，普通30fps很难捕捉到一些细节画面，可能还会产生一些抖动、拖影、卡顿感现象，影响赛事观看体验。 针对视频中普遍存在画质问题，智创音视频团队在22年基于先进的AI图像生成和修复技术，开发了多维度的画质分析和增强算法，全面改善视频画质，并以高清视觉体验为核心打造了一款视频AI智能化产品-臻视高清画质引擎。它通过技术手段，以一种简单、快捷、智能的方式帮助模糊、噪声、暗淡视频恢复高清原貌，还原鲜明色彩。

臻视画质增强系统在设计之初，就定位为通用型画质增强系统，即能够有效针对不同业务形态中各类复杂场景的图像和视频进行最优化处理，因此我们为臻视系统设计了一套完善且高效的处理系统：从前置的画质场景分析，到核心的AI增强原子能力，以及最后的编码优化，这其中的每一环都让我们的臻视系统更加“全能”。

今年，我们主要针对短视频、在线视频、广电传媒、影片数字化维护等场景重点打磨了四套产品方案。分别是：

• 画质增强与修复： 对视频内容进行综合画质增强，超分辨率增加更多画面细节、修复压缩噪声，人像增强极致修复面部细节，去模糊解决模糊等瑕疵问题，使视频画质显著提升
• 超高清视频生产： 对视频实现4K/8K分辨率、120帧率、宽色域HDR色彩的增强，从客观参数和主观画质维度全面达到超高清视频的标准，服务于真4K视频的生产
• 老电影修复： 对老旧视频内容进行损伤修复，包括去划痕、去噪、分辨率/帧率提升、AI上色、色彩增强等，将老旧影像快速高清化重制
• 档案数字化： 许多档案以磁带、录像带等形式保存，由于历史久远，视频档案中的很多内容存在斑点、交错、损坏等。利用AI技术，快速将档案资料修复为高清内容，并进行数字化保存管理

从上面的引擎架构图可以看到，臻视系统在面对不同的场景时，会先利用画质分析系统对所处理的素材进行全前置分析，并针采用最优的链路来进行针对性处理。整个处理过程就如同一位武林高手利用自己丰富战斗经验和武学招数（AI增强原子能力）来战胜着不同的对手。为了方便同学对我们的臻视高清画质引擎核心算法能力有更清晰的了解，我们尝试用十八般武艺来对系统中重要的AI增强原子能力进行命名，并带领大家认识他们各自的用途。

• VIDA画质分析——预判局势的见闻色霸气

著名动画 《海贼王》 中见闻色霸气设定为可以预测对方下步动作、感知生物的实力强弱、感知视野外物体的位置与数量。

而在臻视系统中，我们的VIDA画质分析系统所发挥的作用和见闻色霸气非常的相近：

VIDA（Video Integrated Dimension Assessment）是多维度的图像及视频的质量评估系统，包括清晰度，色彩，噪声，亮度，美观度，人脸，低质等十几个维度及指标。可用在拍摄端的场景检测，画质增强，线上大盘数据分析与监控，智能编码，视频质量审核与过滤，美观度的分析与推荐，辅助创作等多个领域。

通过对输入的待增强图像/视频进行前置分析，我们可以提前了解到输入画质的整体水平和多个画质维度的得分情况。根据这些画质信息，臻视系统便可以自适应地选取最为合适的增强策略和最优参数，来获得最好的增强效果。臻视系统有了VIDA画质分析系统，正如有了人物有见闻色霸气加持，可以针对各类场景的素材都能够游刃有余的处理，避免不合适的增强策略导致负向画质结果。

• 智能降噪 & 超分辨率——画质增强界的倚天剑和屠龙刀

《倚天屠龙记》中有一传说：“武林至尊，宝刀屠龙，号令天下，莫敢不从！倚天不出，谁与争锋？”，作为双剑合璧的代表，两把神器在武林都有着及其重要的地位。 而在画质增强领域，降噪和超分作为最核心的两项原子能力，也是各类画质增强系统比拼的重点，其地位不亚于倚天剑和屠龙宝刀：

智能去噪（Adaptive Denoising）是指利用智能的方式自动对不同噪声强度的图像和视频素材进行噪声抑制的过程，并且避免在去噪过程中损失素材中的有效信号。

超分辨率(Super-Resolution)即通过算法提高原有图像的分辨率，通过一系列低分辨率的图像来得到一幅高分辨率的图像，并在其中针对损失的细节进行恢复。

在臻视系统中，我们针对这两项核心算法进行了细致的打磨。通过设计全新的部署友好型Transformer网络 以及更贴近真实的图像降质拟合过程，我们的降噪和超分算法能够在运算资源消耗更小的情况下取得优于竞品的增强效果。同时，得益于前置的VIDA画质分析系统，我们可以针对不同的输入画质情况，采用最优的模型。如上图所示，经过我们降噪和超分算法处理后的图像，在噪声抑制、清晰度和细节等多个重要画质维度都取得了明显的提升。

降噪和超分虽然是画质增强的最核心的算法，但为了能够让我们的画质增强系统取得更全面提升，我们的臻视后续继续引入了人像修复、HDR以及插帧等算法，以实现在人像、色彩和流畅度等维度的全面改善。

• 人像修复——让人人都能漂亮的还我漂漂拳

私以为，唐伯虎的还我漂漂拳应该是有史以来最有用的武功招数之一了~

看了这个治疗过程，怕疼星人已经晕倒了：那有没有什么既不疼又可以让大家变漂亮的法子呢？基于人们对美好事物追求这一迫切需求，人像修复技术应运而生，让废片瞬间就变废为宝（~~甚至比本人还要好看~~）：

早期拍摄设备的配置有限，手机像素比较低，又或是图片经过多次的网络转载和压缩，使得很多照片画质受损严重，清晰度较差。人像修复通过端到端深度学习训练，一键高清还原低质照片中的人像，不需要用户掌握一些高级PS技巧，傻瓜式一键恢复。覆盖场景包括老旧照片，模糊，失焦，压缩等各类低质人像照片。

有了人像修复技术的加持，我们的臻视系统在人像场景下的增强效果显著提升n个档次，提升了算法对年轻群体的吸引程度，同时也极大增加了社交媒体曝光度，进而促进了整体算法的调用量。

• SDR2HDR—— 让真实显性的真视宝石

正如DotA游戏中的真视宝石可以让隐形角色无所遁形一样，HDR算法也可以让拍摄者无需三脚架也能拍摄出景色清晰可见的夜景照片。

HDR（高动态范围成像，High Dynamic Range Imaging）算法旨在增强采集到的LDR(Low-Dynamic Range)图像，提供更多的动态范围和图像细节，从而使得图像中较暗或者较亮部分更加清晰。

经过HDR算法调节后的色彩的亮度和饱和度获得了明显提升，使得我们的臻视算法能够更加适用于夜景场景素材。

• 老电影修复——往日重现的"时光机"

哆啦A梦中的时光机一直是很多人梦想能拥有的道具，有了他我们便可以回到那些值得怀念的过往时刻，去重温当时的情感。

回到现实，当我们想要重温过往时，往往只能通过过去的照片或者视频。然后受限过时的拍摄设备，这些老照片和视频总是存在卡顿、划痕显著、色彩单调等问题，影响我们的实际观赏体验。基于这些问题，臻视系统引入了智能插帧、划痕修复以及智能上色算法来实现老照片的全面修复功能。

智能插帧:视频插帧能力基于深度学习的帧率上变换，通过插帧网络合成任意时刻的视频帧，从而优化解决视频中卡顿、抖动等画质问题。自研插帧算法设计了多尺度运动搜索机制，使得算法在大运动场景更鲁棒。同时在工程上进行了深入的异构计算优化，在端上实现5倍左右的加速比，使性能达到落地需求。

划痕修复:划痕修复算法可以自动识别出视频画面的划痕位置，并进行内容修复和填充，使整体画面更干净

智能上色:自动识别出视频中的人和物体等不同元素特征，真实还原人的肤色、动物毛发、草地、树木等景色

有了这些原子能力的加持，臻视系统便具备了对老照片和视频现代化的能力，就如同时光机一样，带领大家如同身临其境的感受过往回忆。

• Lens SDK——臻视系统的王之宝藏

著名动画 《Fate》 系列中的大Boss，吉尔伽美什，拥有连通黄金之都空间的钥匙之剑——王之财宝， 可以自由地取出宝物库中的人类发明的雏形与古往今来的上古神器，以应对各种强敌。

臻视系统是一个复杂度较高的系统，其工程开发过程同样是一个难点。如果所有的原子算法能力都从零做起，那么其工程量将不可估量。正如王之财宝一样，Lens SDK则为我们团队的提供了充足的算法军火库。借助Lens SDK强大的算法库，我们的开发同学能够快速在服务端和移动端上快速部署我们的算法，极大提升了开发效率：

Lens SDK旨在提供业界顶尖的画质解决方案，解决客户在拍摄、编辑创作全链路的画质痛点，增强客户产品市场竞争力，提升客户产品用户体验，使客户专注在产品功能的定义与提升。 同时Lens SDK还提供丰富的画质检测算法，以及的画质增强算法，部署接入灵活，可配置性强，落地平台多样化，支持移动端，桌面端，服务端。

未来展望

首先，臻视高清画质引擎目前大部分模型都是深度学习方案，视频处理速度较慢，资源消耗也较高。未来我们一方面会优化模型和推理速度，不仅应用在服务端，期望以后能落地在端上。另外随着模型压缩技术和平台计算能力的不断升级，同时会促进更多模型可以落地。

其次，在追求效果极致优化的道路上，我们会不断探索，结合自身技术优势的同时持续关注业界先进方向，比如transformer、diffusion model等等，拓展更多技术能力，为构建高清未来出一份力。