网易云信亮相 GIAC 全球互联网架构大会，解密新一代音视频架构在元宇宙场景的实践

7 月 22 日，2022 GIAC 全球 互联网 架构大会在深圳隆重召开。GIAC 是中国地区规模最大的技术会议之一，专门面向架构师、技术负责人及高端技术从业人员等人群。作为互联网技术的年度盛会，大会汇聚了 100 多位来自一线互联网企业的资深技术专家，围绕元宇宙、人工智能、Web3 等热门技术话题展开分享，为所有参会者带来了一场技术升级与收获之旅。

网易云信音视频架构师饶世铖 受邀出席了本次大会，并带来了主题为 《新一代音视频架构在元宇宙场景的实践》 的分享，全面介绍了 元宇宙场景对音视频架构带来的挑战 以及 网易云信新一代音视频架构的破局之策和实践落地 。

掘金「元宇宙」，网易的技术储备

作为元宇宙主题专场的首位分享嘉宾，饶世铖首先介绍了元宇宙的发展历程。 “元宇宙”这一概念最早诞生于 1992 年美国科幻作家尼尔·斯蒂芬森的作品《雪崩》，书中以天马行空的想象力构建了一个现实世界与虚拟空间并存的系统；2018 年《头号玩家》的上映使大众对元宇宙产生了具象化的认识；到了 2020 年，Roblox 成功上市彻底将元宇宙引爆出圈，带动了全球 科技 大厂纷纷入局，基于自身的先发技术优势掘金元宇宙产业。

如此宏大的 元宇宙世界，需要哪些底层技术支撑？ 饶世铖总结，元宇宙的实现需要 区块链 、物联网、网络及运算、人工智能、电子 游戏 、交互设计 六大技术支撑。而网易自 2011 年起，就开展了 AR、 VR 、虚拟人、超低延时音视频、区块链、云游戏等元宇宙相关技术储备和规划，是国内最早涉足元宇宙领域的科技公司之一。

在基础设施层，网易拥有了以  WE-CAN 全球智能路由网络、AI 计算平台、AR/VR、区块链、 智能硬件 等为代表的核心技术。基于这些核心技术，沉淀出了 网易智企、网易伏羲、网易星球、易现先进科技 等服务平台，并 在平台之上形成了一系列可靠的元宇宙解决方案，在游戏、 社交 、电商、 金融 、教育、医疗等各个领域进行了最佳实践。

「元宇宙」 对传统音视频架构的两大挑战

“元宇宙强调沉浸感、高还原的交互体验，同时场景更综合、复杂度更高，这对传统的音视频架构提出了挑战。”饶世铖表示。

首先，简单的视频通话、语音聊天以及实时互动等交互方式已经远远无法满足元宇宙场景需求，超低延时的音视频、业务数据传输、人脸数据的实时提取、表情和动作迁移、实时语音 3D 音效等关键技术成为元宇宙的重要组成元素。 驱动关键技术的创新优化，突破原有音视频相关技术的边界，为用户提供极致的沉浸式体验成为了音视频架构面临的强有力挑战。

其次，元宇宙中的音视频业务复杂多样。很多业务同时具有 RTC、超低延时数据传输、低延时直播拉流等需求，不同需求的 SDK 需要独立集成，接入方式也不尽相同，造成了接入难度大、效率低的难题。 如何设计一种好的 SDK 架构，在提供高可用和高稳定功能的同时，通过技术组合的方式将所有业务融合在一起，为用户提供整体的一站式解决方案？这是对音视频架构的第二大挑战。

破局之策，网易云信音视频架构的优化与实践

饶世铖介绍，面对上述的两大挑战，网易云信构建了新一代音视频引擎 NERtcEngine 和新一代音视频融合 SDK NERtcSDK。

新一代音视频引擎：NERtcEngine

NERtcEngine 基于元宇宙实际业务场景专门设计和实现了超低延时数据传输的数据引擎，同时面对元宇宙越来越多的智能算法和 AI 算法，专门对算法集成方式进行了重构，设计和实现了基础算法组件引擎。

在超低延时数据传输架构的设计上，网易云信设计了独立的数据传输通道，在保证原有音视频数据传输通道稳定高效的同时，为其单独制定传输协议、发送/接收控制单元和 QoS 调节策略。此外，网易云信还拥有大规模分布式实时传输网 WE-CAN，是业内首个独立于业务逻辑的传输层基座，并在全球数百个主要国家和地区进行节点部署，符合各个地区的数据安全政策，全面覆盖 IM 消息、实时音视频、直播、点播、白板等产品场景。双管齐下，确保了超低延时的数据传输。

在算法组件引擎架构设计上，网易云信将所有算法集成于统一的接口，集成方式非常友好。同时支持插件化集成，每个算法可作为独立单元以插件化方式，灵活实现算法的定制化集成，且扩展性更强，后续新增算法只需实现对应的集成 API 就可快速便捷地集成到框架中。

新一代音视频业务融合 SDK ：NERtcSDK

NERtcSDK 是网易云信新一代音视频业务融合 SDK。在元宇宙业务场景中，更广范围、更深程度的融合能为用户带来更大价值。

以往的业务中，不同需求必须接入不同的 SDK 才能实现对应功能。而在 NERtcSDK 的融合架构设计中，用户只需对接 1 个 SDK 就可同时实现 RTC、虚拟人、低延时直播、超低延时数据传输等业务，这对 3D 虚拟人社交、虚拟实时展会等这类复杂的集成场景来说，极大地提高了用户接入的速度和效率，大幅降低了接入成本。

饶世铖还为大家介绍了网易云信融合 SDK 中一个代表性的融合方案——高接通方案的设计，通过应用保活、融合呼叫、通话辅助的“三板斧”，覆盖呼叫场景中的绝大部分被叫到达的场景，增加呼叫到达率，从而保证应用的接通率。

加速助推 「元宇宙」 的技术落地

“所有的技术积累都需要在真实的场景落地，才能看到价值。”在介绍了网易云信在元宇宙的技术布局后，饶世铖展示了网易推动元宇宙“由虚入实”的几大案例。

饶世铖认为，元宇宙应用不仅仅是将现实世界搬进虚拟世界，也不只是从线下转移到线上，而是在助力生产效率提升、社会民生改善等方面具有真实价值，并推动相关产业加速发展。

遥感机械助力传统产业数字化转型，在网络环境较差、恶劣的户外作业环境也能通过 手机 远程操控挖掘机进行生产工作而不必深入现场，不仅降低了劳动强度，也从根本上杜绝了人身伤亡的安全隐患，帮助生产效率的提升。

AI 虚拟客服越来越常见于金融智能虚拟客服、互联网医疗远程问诊、新闻虚拟主播、社交娱乐虚拟偶像、电商虚拟直播等场景。相比于市场上常见的虚拟人方案，网易云信提供了一站式的 SDK，用户仅需对接一个 SDK 即可同时拥有虚拟人、RTC、直播等多项能力。同时，首创客户端和云端双渲染技术，以满足不同客户和场景的实际需求。

网易瑶台是国内首个元宇宙落地产品，区别于传统视频会议的单一呈现方式，瑶台更具虚拟的沉浸感，也更能满足现实世界的切实需求。网易曾将全球 投资 者大会的举办地搬到了瑶台虚拟世界，来自全球多个国家的 200 多位投资者，通过自己的虚拟形象，交流网易业务的最新动态。整个互动场景便是基于网易云信的 WE-CAN 全球智能路由网络和融合通信能力打造。

除了在元宇宙主题专场的干货分享，网易云信在全球互联网架构大会设置了专门的展位，吸引了大量的现场观众咨询讨论。