腾讯多媒体实验室：以提升用户体验为目的，构建音视频质量评估体系

11月6日至7日，首届Techo开发者大会在北京召开，在音视频及通信分论坛上，腾讯多 媒体 实验室专家研究员王海强发表了题为《视频业务中的主客观质量评估》的演讲，在当前音视频发展风口下，介绍了视频质量评估的主客观方法、应用场景，并提出了建立在算法基础上的主客观视频质量评测平台及其在业务线中的应用。

Techo开发者大会是由腾讯云发起的面向全球开发者和技术爱好者的年度盛会，作为一个专注于前沿技术研讨的非 商业 大会，大会致力于开发者的能力成长和实践创新，旨在通过汇聚全球顶尖行业专家和技术爱好者，搭建一个开放、中立、活跃的技术交流平台。本届Techo大会邀请了海内外150位行业专家围绕前沿技术发展进行解读，聚集了5000名开发者参与技术交流和探讨。

（腾讯多媒体实验室专家研究员 王海强）

质量评估应侧重“人眼感知”质量

 

视听时代，音视频应用越来越广泛：直播、短视频，视频节目、音视频通话……在万物诉诸音视频的 互联网 时代，用户对音视频质量诉求也愈加强烈。为提高音画质量，基础性工程便是建立行业评估体系，用评测标准对音视频技术和产品进行“打分”。然而，目前音视频质量评估领域仍存在门槛成本较高、主观观感存在偏差等难题。

 

王海强在演讲中介绍了主客观质量评估方法，普及了两者在PGC/UGC业务中的应用，并针对评估标准这一终极准则问题，介绍了多媒体实验室的自研算法和解决方案。

据王海强介绍，目前视频质量评估方法分为两大类：客观质量评估与主观质量评估。前者计算视频的质量分数，又根据是否使用高清视频做参考、视频质量是否与失真程度成单调关系等进一步细分；后者依赖人眼观看并打分，能够直观反映观众对视频质量的感受。

目前，视频质量评测标准并不统一，常规做法是使用开源模型VMAF来做PGC视频的质量把控，而对UGC视频，只能依赖于开发人员观看视频来定位、解决质量问题。王海强认为，视频质量评估的目标是“致力于评估视频的人眼感知质量”，即通过通用的、准确的、公平的测试能力与测试方法论，尽可能选择最可靠的技术方案，以客观与主观评测相结合的方式，达到最接近人眼感知的质量效果。

然而，主观测试极其耗费人力和时间，整体效率较低，把所有质量问题都诉诸于主观测试是不现实的。与其完全追求主观测试的完美性，不如以“主观质量”为目的，通过基于深度学习的客观音视频质量评估算法，进行端到端的音视频质量评估，从而逼近人眼观看的体验效果。

对此，王海强介绍了多媒体实验室的质量评估解决方案：一是结合业务需求，使用“在线主观质量评测平台”，来构建大规模主观质量数据库；二是使用所收集的主观数据来训练基于深度学习的客观质量评估算法；三是部署训练好的质量评估算法到业务线中，闭环监控可能存在的质量问题。从以上三角度出发，音视频质量评估能够在兼顾不同业务、场景的前提下，满足效率与精度两大需求。

腾讯多媒体实验室：以用户体验为最终目的

王海强所介绍的“在线主观质量评测平台”，便是腾讯多媒体实验室在音视频评估领域的落地产品——腾讯多媒体实验室视频质量评测平台。目前，这一平台不仅能够完成基于人眼的视频质量评测，模拟人耳的音频质量评测，还能够在音频的声学指标、网络指标及物理环境下对信号的主观质量进行全面详细的评估，适应了不同环境下的差异化测评场景。

同时，多媒体实验室开发了基于深度学习的全参考/无参考质量评估算法。依托主观测试平台快速构建大规模视频数据库的能力，多媒体实验室收集了数百万次的视频质量打分，训练了基于深度学习的全参考和无参考质量评估算法。两个算法在公开数据集上均取得了领先业界的性能。王海强提到多媒体实验室会在近期内把算法开源，进一步促进行业的发展。

除满足单个评估需求外，视频质量评估还将在业务线中进一步发挥作用。王海强认为，在业务线中引入视频质量评估后，将改变以往被动发现质量问题、进行人工检查的状况，变被动为主动，变人工为智能，利用AI进行预防性质量监控，并通过算法迭代不断实现系统优化，同时，评估系统的优化又会进一步反哺业务线的优化。

在当前音视迎来发展风口之时，腾讯多媒体实验室不仅使非专业团队能够快速、准确的完成评估需求，还通过一系列尝试，推动了音视频质量评测标准的讨论。近50项提案被下一代视频编码标准VVC/H.266采纳。此外，在虚拟现实（ VR ）、点云（PCC）、网络传输协议 （DASH）、多媒体系统（OMAF、CMAF、NBMP）等相关多媒体标准中也取得了突破性进展，获得多项标准核心专利，多名团队成员在多个全球标准组织担任董事、编辑、领域主席等重要席位。与此同时，多媒体实验室也大力投入国家自主标准建设，针对国家标准AVS3进行了相关布局，成为国际行业标准不可忽视的影响者和领导者。

未来，腾讯多媒体实验室也将投入更多技术与实践，带头制定行业规则，不断提升用户视听体验。