近日,2022 MSU 世界视频编码器大赛正式放榜,网易云信首次参赛就获得骄人成绩,自研的结合智码超清技术的 NE265E 编码器以公开身份参赛,在 H.265 赛道下获得多项指标第一名。
MSU 世界视频编码器大赛(MSU Video Codecs Comparison)是由莫斯科大学主办的国际大赛,迄今已连续举办 17 届,被称为视频编码压缩领域最具权威与影响力的全球顶尖赛事。
而在 FullHD 比赛更是高手如云,几乎涵盖了国内外众多音视频领域的行家里手。参赛的各种视频编码器被要求在一定速度、码率等规则下,通过多种客观质量指标和主观质量指标层层评估编码质量,并给出最终比赛结果。
此次大赛,网易云信 NE265 编码器首次参赛,以公开编码器身份在 H.265 赛道的 15 个指标中获得 3 项指标第一,8 项指标第二。
高规格国际顶尖赛事,众多大厂同台竞技,网易云信能以公开的编码器参赛并获得细分赛道多项指标第一,足见这项基于 NE265E 编码器的智码超清技术领先性已获得了业界权威认可。
网易云信智码超清 NE265E 编码器在 1fps/5fps/30fps 所有速度档位下均获得了赛道第一名
可能有人会问,这项技术听起来好像很牛,但是那些指标咱们吃瓜群众也看不懂,和日常生活有什么关系?
还真有。随视频成为许多内容的媒介载体,人们对视频画质要求也慢慢变得高,从 1080P、2K 到 4K,甚至 8K。不过观看体验要好,分辨率尺寸就得慢慢的变大,若是不经过视频编码器压缩,网络带宽流量成本也会水涨船高。
网易云信智码超清技术解决的就是这样的一个问题,能在相同码率情况下提供用户更高画质的视频体验。
如此一来,对流媒体平台而言,视频的存储、分发、传播成本都能得到非常明显降低;对用户而言,咱们刷在线K 电影、直播追剧等都能看个过瘾,不用担心流量告急。
那么,这项与人们日常生活紧密相关的智码超清技术,其转码的关键技术点在哪呢?网易云信是怎么做的?
总结来说,智码超清转码的关键技术点分为了视频前处理、视频编码、视频后处理三个部分。
首先是视频前处理,包含了内容分析与画质提升两个方面。内容分析的第一步是通过场景识别区分出不同场景,如:游戏、动作片、动漫、视频会议等,根据场景选不一样的前处理策略和编码工具,做到场景自适应;其次是进行基于深度学习的 ROI 区域检测,将检测后的 ROI 区域传给前处理模块和编码模块,进而对 ROI 区域画质进行增强修复。
画质提升则是通过视频增强、色彩增强、视频降噪三方面入手,前两者着重通过对原始视频的增强提升主观画质,而视频降噪是在噪声评估之后进行降噪处理,提升主观画质的同时,还能对视频编码的压缩率带来帮助。
其次是视频编码。智能编码方面包括了感知编码、ROI 编码,以及精准的帧级和行级码控;编码内核方面,通过自研的 NE264、NE265,以及支持私有协议的 NEVC 完成。
在视频后处理方面,主要是通过视频超分、视频增强技术等完成画质提升。视频超分是指通过网易云信 AI 超分算法,将低分辨率图像生成高分辨率图像。网易云信提出了基于编码损失复原的视频超分技术,采用数据驱动和网络设计并重的策略,通过数据处理模拟真实失真场景,并且从模型设计到工程化实现进行层层优化,在模型实时性和真实场景超分效果方面取得了不错的效果。
坐而论道,不如起而行之,技术积累需在真实场景落地才能体现价值。在网易集团内部,网易云信智码超清技术已在网易传媒、网易云音乐、网易元气等业务中全量上线。
以网易传媒为例,从去年统计的结果看,每日 40 万分钟视频转码的带宽由每天 80G 下降到每天低于32G,节省带宽成本超过 60%。
未来,网易云信也将继续保持前沿技术探索,为业界提供更低成本、更低延时、更高画质的视频编码压缩方案。