画质不清晰影响观感体验？ 声网多倍超分增强移动端视频通话画质

互联网 经历从图文至短视频、直播发展之后，人们对视频视频画质的追求也越来越高。但这一趋势也带来了新的矛盾点，一方面是日益增长的视觉体验需求，一方面是设备性能、传输成本、用户带宽的限制。

随着实时互动场景的爆发，很多RTE场景集中在移动端，在移动终端用户的设备性能参差不齐，这就要求移动端实时超分的复杂度必须极低，这样才能在大部分移动设备中做到实时处理。

如何在超低计算量的情况下还保持较好的视频超分效果，声网人工智能算法团队经过持续的技术钻研，正式推出了业内首个基于移动端实时处理的多倍超分算法，该算法的优势是成本低、功耗小，不需要部署 GPU服务器，仅依靠移动端设备自身的CPU、GPU或NPU来实时超分，以较小的算法计算量实现视频分辨率的多倍超分，有效增强了视频的画质，并降低视频传输的成本。 

由于移动端的算力有限，并且对算法的功耗、模型大小要求十分苛刻，这类算法的研发难度是极具挑战性的，既要保持较好超分效果，也要满足移动端实时处理的要求。传统超分的技术原理可以简单理解为插值+锐化，插值是将低分辨图像放大为高分辨率图像，锐化是使图像边缘更清晰的一种图像处理方法，插值法和锐化方法，都是人工基于观察、总结和试验出来的方法，存在一定的局限性，常常出现图像放大后出现模糊、锐化过度的现象。

而声网移动端实时超分的技术原理是基于深度学习算法进行丰富的视频数据训练，从大量的低分辨图像和高分辨图像对，有监督地学习低分辨到高分辨率的映射关系，实现图像放大后，细节丰富、画面清晰的效果，其超分效果、自适应能力明显优于传统的超分方法。

从之前声网发布的一个视频demo可以看到，360p 视频在开启多倍超分后，画质实现了明显的增强，视频中的鹅卵石与远处山脉的分辨率变的更加清晰，不仅保证了视频画质，还降低了视频的实时传输成本。

目前声网多倍超分已跟多个客户进行了集成，并得到客户高度认可，并为行业提供了全新的解决方案。