声网 & HTC VIVE:实时互动加持,与 Metaverse 又近了一步

实时 互联网 像触角一样,通过情景的共享延伸开来,链接着我们彼此的线下、线上生活,形成一张不可分割的网络。随着 社交 直播、在线教育、视频会议成为大众生活不可或缺的一部分的同时,智能手表、智能作业灯、视频双录、视频核保、远程问诊等更多新场景也在不断崭露头角。

在我们看来,探索实时互联网未来场景的过程,就如同是“洞见微光”的过程。声网因此推出【捕“光”之旅】系列策划,希望能够从场景、业务与技术结合的角度分享实时互动新场景,看看他们是如何“洞见”并“抓住”这实时互联网的未来之光。

近期,Metaverse 元宇宙概念大火,各大巨头纷纷布局,被市场公认为下一个充满潜力的巨大市场。另一方面,疫情下在线办公、社交、娱乐需求的迅速增长,更是让 Metaverse 变成各大前沿 科技 公司口中的未来。 【捕“光”之旅】第八期文章,我们来聊聊近期火爆的 Metaverse 元宇宙概念与实时音视频技术擦出了怎样的火花?

在2018年的科幻电影《头号玩家》中,导演斯皮尔伯格向我们展现了一个宏大且令人神往的虚拟世界——绿洲。在这里,你可以遇见来自世界各地成千上万形象各异的玩家,忍者神龟、高达、机械哥斯拉,各种虚拟形象打破次元壁聚在了一起。玩家只要穿戴上 VR 设备,就可以随时随地进入这个虚拟世界。即便在现实中,你只是一个平平无奇的路人甲,但在绿洲里你却有可能成为扭转战局的关键先生,任何遥远的梦想在这里都变得触手可及。电影中除了无限可能的虚拟世界让大家心驰神往,绿洲玩家在虚拟世界中实现了与现实世界近乎无差别的语音互动和深度交互也给观众留下了深刻的印象。

说到《头号玩家》中最酷炫的场景之一,莫过于男女主角初次约会的无重力夜店舞池,伴随着经典的舞曲,男女主角动情热舞,整个画面给观众带来了强烈的视觉冲击。据悉,导演斯皮尔伯格曾使用 HTC VIVE 的相关 VR 设备协助拍摄,用于布置画面、调整布景等,这也是当时性能最为强劲的 VR 设备。

可以说《头号玩家》的出现,让 Metaverse 通过电影的方式,更为具象化地展现在了大众面前。构建Metaverse 是一个非常复杂的过程,目前普遍认为其中既涉及到 VR/AR、3D 和脑机接口等技术的创新和更迭,也包括从互联网基础设施和理论层面对计算机技术的进一步挖掘,这包括算法、更高性能的芯片、高性能的网络传输等等。而正是伴随着 VR/AR,5G等技术的日趋成熟及普及,才让 Metaverse 这个虚无缥缈的概念如今有了被实现的可能。

长久以来,营造深度沉浸感是VR 厂商和开发者追求的目标之一。除了设备的创新,VR开发者也在积极探索如何通过构建有吸引力的内容引起更多用户的兴趣。VR 场景中所强调的深度沉浸感是用户多重感官的综合体验,用户通过视觉、听觉等感官感受虚拟世界的同时,也需要低延时、稳定、流畅的与虚拟世界中的其他玩家进行实时互动,实现深度交互。不难想象,如果没有低延迟、实时性作为保障,在《头号玩家》中,男主帕西法尔搭讪女主阿尔忒弥斯,甚至邀请其共舞都将难以进行,更别说组队作战了。因而,除了创新的设备与丰富的内容生态,对用户来说更为重要的是实时互动体验。作为全球最早进军 VR 技术相关领域的巨头企业之一, HTC VIVE 这一次又走在了行业前列。

日前,HTC VIVE 在虚拟生态大会上发布了VIVE BUSINESS 商用平台,以强大而全面的工具包构建起专业的 XR 无缝商用解决方案。支撑并拓展 VIVE BUSINESS 庞大应用生态的,是其推出的 ISV 合作伙伴计划。该计划一方面为企业客户拓展更多端到端的解决方案组合;另一方面为独立开发者创建了平台,提供更多资源和结构化支持,帮助 ISV 加快 VR 解决方案的产出,并赢得更多 商业 机会。作为首批加入 ISV 的合作伙伴之一,声网Agora 将实时音视频解决方案“带入”了HTC VIVE 的 VR/XR 生态系统。今后,开发者在 HTC VIVE 的 VR/XR 生态系统中创建应用程序均可无缝集成声网Agora 的实时音视频、实时消息、互动直播等技术,用户将能够在虚拟世界中感受低延迟、高稳定、高流畅的实时互动体验。

想要保障用户沉浸、流畅、低延时的实时互动体验,如在远程团队协作、远程指导、多人 游戏 作战等特定场景,意味着对实时互动中的音视频流畅性以及稳定性有着更高的要求。那么,声网Agora 的实时互动解决方案如何助力用户实现“身临其境”的交互体验?

低延迟、高稳定、高流畅,是实现“身临其境”沉浸感的基础

在 VR/AR 应用场景中,用户会遇到跨区域、甚至跨国协作、互动的情况,因而网络情况会更为复杂。声网Agora  软件定义全球实时网络SD-RTN™ 覆盖全球 200+ 国家和地区,全球端到端网络优质传输率超过99%,可在全球各区域就近网络接入和最优网络路径传输,为全球任意国家/区域用户提供高速网络服务。在网络架构设计上能够应对 10 倍以上的负荷,具备千万级并发能力,满足在线会议、社交、多人竞技等场景对于高并发的需求。

在远程协作、远程指导等场景中,支持清晰、稳定的双向视频通话是刚需,而声网Agora 的解决方案可以提供最高 1080P 60fps超清视频画质,让双方可以清楚看到正在协同的事项并给予及时的反馈和指导。而在通话的过程中,声网全球领先的  Agora SOLO™、NOVA™  两大语音引擎支持 48kHz 采样率的全频带采样,192 kbps 编码码率,还原声音高保真度,音频 MOS 分高达 4.7,能够为用户带来高音质的音视频互动体验。

此外,VR 虚拟场景对于音频的“空间感”要求很高,举例来说,在竞技游戏场景中,你需要通过脚步声感知其他玩家的距离和方位,而空间音效可以让用户更有身临其境的沉浸感。声网Agora 的解决方案支持 360° 环绕立体声 ,声音具有完美的方位感、距离感、空间感,能够在具体场景中为用户提供“ 听声辨位”、“听声识距” 等功能,进一步提升 VR 内容带给用户的 沉浸体验。

全球领先的信息技术、咨询和商业流程服务公司 Wipro 、AR 产品和服务提供商亮风台旗下 HiLeia 通讯平台、AR+AI 企业级服务商亮亮视野发布的 AR 眼镜 GLXSS ME(Multi-Edition),睿悦 Nibiru 的远程协助产品 均采用了声网Agora 提供的实时音视频解决方案,广泛应用于协同办公、智能制造、远程医疗、远程电力检修等诸多场景。

Metaverse 仍在技术积累期,声网实时音视频技术在 智能硬件 领域多场景开花

Metaverse 目前依旧处于技术积累期,除现阶段主要的承载终端 VR/AR 设备外,随着物联网场景的逐渐丰富化,未来还将有更多的终端设备加入,共同构筑起 Metaverse 的基础设施。 比如市场上大火的智能音箱、智能手表、智能机器人、智能摄像头等等,而这些智能终端设备在具体使用场景中都需要用到实时音视频技术。

然而目前市场上的不少便携类及穿戴类终端设备在音视频交互方面都存在算力低、内存小、续航差等多个核心痛点。针对此类问题,声网Agora 能够提供成熟的低功耗极小包体 SDK,CPU 消耗量极低,发热发烫问题解决能力全球领先。真正做到低功耗、占用空间小,接口丰富,满足个性化适配的需求。针对智能音箱、智能摄像头、智能车载、智慧大屏、智能机器人等 IoT 全场景,声网Agora 能够提供音视频通话+互动+消息的全场景一站式实时互动和互联互通解决方案。此外,声网Agora 还推出了 全球首个可以跑在 RTOS 上的 RTC SDK,实现了业界最小的 full-featured RTC,包体积 300K 以下,内存占用 2MB,CPU 占用 30MIPS,适合超低功耗、快速启动、成本敏感的 IoT 场景。 比如小天才全系列儿童手表就搭载了该 SDK,能够实现持续通话 15 分钟不发烫,且续航能力超长,不用担心电量过快耗尽而失联。

无论是 Metaverse 还是万物互联,在终端的创新和连接方式变革中,人与人之间的距离不断拉近,虚拟世界中的交互方式也愈发趋向真实。实时音视频技术在此类场景中得以运用仅仅是个开始,听见声音、看见画面,也只是实时互动的起点和基础。在声网Agora 看来,实时互动不只是以语音通话或视频会议为代表的信息交换,它更多的是创造一个共享的情景和时空。相信随着技术的发展,未来实时音视频技术还将与 VR/AR 、5G 等技术深度融合,突破空间和距离的限制,探索除远程协作、社交、教育、游戏等场景外的更多机遇,实现在虚拟世界中人与人间的实时互动和深度交互。