QCon2021 今日召开，网易技术大咖论道融合通信

从云通信到融合通信，新一轮技术革命正在加速兴起。

新场景的应用，尤其是疫情推动下，各行各业对于线上化的积极探索使得通信技术的需求量大幅增加，同时 对于实时互动体验也提出更高的要求 ；另一方面，新技术的推动，例如 AI/AR/ VR  等技术的发展和 5G 时代的正式来临，使得即时通信、直播、实时音视频等应用场景有了新的想象空间，场景的复杂性和对于效率的高要求也让 云通信技术呈现出更广范围、更深程度的融合趋势 。

（网易智企技术VP 陈功）

基于此背景，在「QCon 全球软件开发大会」2021·上海站， 网易智企技术 VP 陈功作为出品人发起了「AI 时代下的融合通信技术」专场 ，邀请到 网易云信、网易音视频实验室、网易云音乐的技术专家 与大家一起分享融合通信技术趋势和演进方向、视频通信关键技术探索及实践、音频 AI 算法在 RTC 中的实践、网易云音乐网络库跨平台化实践等话题。现场座无虚席，干货满满的分享更是获得参会者一致好评。

1

融合通信技术趋势和演进方向

曹佳俊 网易云信资深服务器开发工程师

随着 5G 等基础设施的完善以及"万物皆可线上化"的趋势， 互联网 用户对于实时互动体验提出了越来越高的要求。融合通信技术已成为产品创新、业务增长的重要基石。 在本场专题论坛，网易云信资深服务器开发工程师曹佳俊首先带来了关于《融合通信技术趋势和演进方向》的分享。

曹佳俊认为，融合通信的关键在于融合，这其中，多种通信技术的融合带来了业务层面的革新，而业务场景的丰富多变又对通信技术的融合带来了更高的要求，业务与技术相互推动发展。

谈及融合通信的未来趋势，他认为， 5G、AI、物联网、全球化、单元化……都是融合通信技术未来的演进方向 。在本场论坛中，他以全球化与单元化为例，重点分享了网易云信在相关方面的实践。

网易云信之所以做全球化和单元化，主要是出于三方面的考虑： 容量剧增 （系统规模不断增长） 、风险控制 （鸡蛋不能放在一个篮子里）、 质量保证 （物理距离无法克服）。

实现全球化和单元化则有两个关键的前置条件： 一是传输通信网的建设 ，例如网易云信 WE-CAN 全球智能路由网络就可以很好的解决遍布全球的边缘节点和数据中心节点之间的网络传输问题； 二是服务质量监控 ，利用来自海量终端和服务节点的数据监控和改进服务质量。

在 WE-CAN 全球智能路由网络和服务质量监控系统的基础上，进一步介绍了网易云信在 IM 和 RTC 的服务器单元化/全球化上做的技术探索。

通过单元化和全球化的架构升级， 提升了网易云信全球通信系统的链路稳定性、增强了机房抗风险能力，以及通过异地单元有效的隔离了全局的故障风险 。

分享最后，曹佳俊总结道，随着融合通信市场的不断发展，全球化和单元化是必经之路。作为融合通信云服务商，网易云信将持续打磨技术，提供业界一流的融合通信服务，伴随客户一起成长。

2

视频通信关键技术探索及实践

韩庆瑞 网易音视频实验室高级技术专家

无论在娱乐 社交 、线上学习，还是远程银行等生活场景中，视频都已成为最重要的互动方式之一，用户对于视频效果也提出越来越高的要求。延时低，弱网对抗能力强，视频画质清晰......这也让企业面临了很高的技术挑战。

作为融合通信云服务专家，网易云信的业务覆盖了主要的视频场景，包括了甚低延时的实时音视频场景，允许部分延时的直播场景和不强调延时的点播场景， 本次分享中，网易音视频实验室高级技术专家韩庆瑞介绍了网易云信视频在各个场景下的关键技术和应用尝试。

优秀的视频引擎是好的视频体验的基石，韩庆瑞指出，网易云信可以在各个场景中均获得优异视频表现，主要是得益于 网易云信视频 RTC 引擎拥有很多关键技术。

1. 针对场景移动端性能参差不齐、功耗敏感、小模型学习能力差、增强图像压缩效果难以保证以及视频降噪等难点，RTC 引擎在前期就能进行 视频 AI 增强、视频降噪 ，提升视频效果；

2. 在视频编解码方面，网易云信通过 多个自研算法 ，进行快速模式决策，高效亚像素搜索，自适应参考帧，编码质量和速度领先业界知名编码器；

3.  网易云信视频引擎 QoE  可根据不同性能设备、不同区域设置、配置不同的算法种类，参数，在任何网络状况下保证用户有最佳的视频体验，减少因数据丢失而引起的视频卡顿；

4. 网易云信视频引擎解码支持几乎所有主流视频格式，通过 自研轻量级网络加异构加速 ，功耗超低。 自研 AI 推理引擎 ，进行数据集处理，超分效果明显。根据高精度文字识别以及针对文字的 AI 优化，配合“轻量级”网络、自研推理框架 NENN 实现桌面共享优化。

值得一提的是，网易云信的 智码超清技术 提前对转码前视频进行修复或增强，基于人眼感知的编码技术在保证主观质量的同时节省码率。不同于传统的 JND 编码，网易云信的 JND 编码能识别图像中的文字，人脸，前景及其他显著性区域，针对不同特征进行调整，保证主观体验。

目前，网易云信视频通信技术已经在 LOOK 直播、网易云音乐在线 K 歌等场景中广泛应用。

3

音频 AI 算法在 RTC 中的实践

郝一亚 网易云信音频算法专家

随着人工智能技术、计算机技术、神经网络等领域的不断发展，AI 音频算法也在学术界和其他行业不断涌现，包括了线上实时通信 Real-Time Communication（RTC）领域。 本次分享，网易云信音频算法专家郝一亚从“RTC 应用 AI 音频算法的难点”、“AI 音频算法落地的解决方案”、“网易云信 AI 音频算法落地案例”三个维度，和大家分享 AI 音频算法和 RTC 的实战经验。

郝一亚表示，尽管 AI 的优势在很多领域已经被证实了，但由于算力和数据等各方面的问题以及 AI 模型本身的一些问题，其在 RTC 中还处于达不到完全替换传统信号处理方法的阶段。

这其中的 挑战主要集中在三个方面 ：

1. AI 计算复杂度太高，终端设备难以满足；

2. 泛化能力，RTC 覆盖场景众多，AI 音频算法难以全部覆盖；

3. 鲁棒性，遇到突发情况，AI 算法是否有能力应对？

面对这些挑战， 网易云信如何落地 AI 算法？ 谈及 AI 音频算法具体实现过程， 郝一亚在技术层面给出三条建议 ：

4. 采用更合适的输入特征：减小特征量从而减小开销；弥补小模型带来的性能损失；

5. 采用轻量级网络模型：压缩模型大小从而减小开销；有针对性的选择模型类型；

6. 定向优化：大量收集/积累训练数据集；模型压缩、数据增强、推理框架；配合传统语音算法框架。

活动现场，郝一亚展示了网易云信落地 AI 算法的实例，效果非常明显。

值得一提的是，基于 AI 算法，网易云信从 0 到 1 研发落地了 实时语音 3D 音效 ，这在 RTC 行业内属于首创，不仅实现了实时的 3D 空间音效，还加入了距离衰减以及房间建模特性，实现 6Dof。目前网易云信 3D 音效已经成功应用于多款 FPS（第一人称射击 游戏 ）以及网易瑶台沉浸式活动平台中，可以预想在元宇宙时代，3D 音效将会迸发的无限价值。

4

网易云音乐网络库跨平台化实践

陈松茂 网易云音乐资深音视频开发工程师

网络库作为音乐 APP 的核心，很大程度上决定着用户的"体感"和"快感"，但在优化过程中，挑战可以说非常多。比如，系统网络库由于暴露的能力或接口有限，无法进行深层次定制或改造；各端系统网络库差异大，导致优化工作需要在各端进行定制或适配，工作量成倍增加……怎么办？

网易云音乐资深音视频开发工程师陈松茂本次以《网易云音乐网络库跨平台化实践》为主题，带来了网易云音乐的实践分享。

面对各端网络优化过程中 重复造轮子、缺乏一致性、资源不充足、深度优化难 等问题，陈松茂认为， 跨平台化改造是解决上述问题的关键 ，在分享中陈松茂列举了多种跨平台化设计思路，并结合各自的优缺点，最终选择了最彻底的跨平台化方案，即整体链路跨平台化。

要达成整体链路跨平台化的构想，选择一个合适的跨平台网络库是关键 。陈松茂分享了网易云音乐的选型经验，经过各方对比，网易云音乐最终选择的是 Cronet，它是 Chromium 的网络堆栈，在开源协议、跨平台性、协议支持、网络优化、活跃程度等方面都具备优势，并且已经在 Google 系、百度、微博、网易 传媒 、头条系、蘑菇街广泛应用。

网易云音乐在 Cronet 的基础上，进行了二次开发定制，构建了自己的统一网络库。为了达成后续能力复用和业务定制的述求， 陈松茂提出了“可复用网络框架+可扩展组件能力集”的概念 ，并逐步将上层的网络策略和基础网络服务以组件的形式下沉到统一网络库。

而面对后续 Cronet 升级过程中 "代码冲突、合并冲突、功能衰退" 这三大无法避免的问题，陈松茂在分享中也给出一些方法建议，他认为做好必要的升级铺垫，可以减少 Cronet 升级过程中的风险，具体体现在三个方面： 减少入侵、做好隔离、单侧覆盖 。

当前，基于 Cronet 的统一网络库在网易云音乐已经实现了部分落地，比如 Android 端已经完整落地并在灰度放量中，iOS 端则还在接入中。据云音乐给出的线上数据，Cronet 在 HTTP/2 上有不错的性能优势，开启 QUIC 后优势进一步放大。后续，陈松茂和他们的团队，将继续挖掘 Cronet 的性能，并进行定制优化。另外， 统一网络库也将逐步在网易云音乐，乃至整个网易内部实现更广泛的应用 。

为了将「AI时代下的融合通信技术」专场干货更全面的分享给大家， 后续我们会对本次专场的内容进行更为详细的整理与解读 ，欢迎持续关注。