声网&创幻 如何推动全息虚拟偶像成为新一代明星

Metaverse 元宇宙概念、真人偶像塌房等一系列热点爆发，让虚拟偶像再次进入大众视野。虚拟偶像不仅是元宇宙概念最具体验感和最接近沉浸式虚拟世界的人物，同时作为全民偶像，还能做到“颜值不倒”、“人设不塌”，深受00后人群追捧。这期【捕光之旅】聊聊实时音视频技术如何助力虚拟偶像养成。

去年8月，在上海Vapollo Theater，国内首场虚拟偶像神乐七奈实时跨国演唱会成功落地，现场上座率超95%。神乐七奈全息投影在现场现身，不管是画面还是声音都以自然的姿态与现场观众进行实时互动。

这次演出现场的火爆，不仅让人感受到虚拟偶像的受欢迎程度，更让人看到虚拟偶像实时渲染技术的突破和跨进。支持这场演出的技术公司正是创幻 科技 ，其背后虚拟偶像演出音频的实时远程传输技术则是由声网提供，并给予了高质量、高可靠、低延时的解决方案。

技术变革推动虚拟偶像爆发

近年来，这种虚拟偶像的演出待遇和受追捧程度早已不亚于真人偶像。所谓虚拟偶像，是指通过绘画、音乐、动画、CG等形式制作，在网络等虚拟场景或现实场景进行演艺活动的人物形象。

全息投影塑造了它们在舞台上的动作和外形，声音来自合成软件，舞台上是齐刷刷一片的应援灯海和粉丝呐喊。今年春晚，国内最具影响力的虚拟偶像洛天依登上央视舞台，在11亿观众的见证下突破次元壁，走进了主流视野，让虚拟偶像表演更加受到关注和追捧，成为新 经济 中炙手可热的风口。

虚拟偶像的快速发展和热捧，除外界因素影响之外，更核心的是技术的进步和推动。在演变上，最初的虚拟偶像大多是以语音合成软件支撑的“纸片人”，后来演变为可实时互动的3D形象，再到现在，虚拟偶像的应用场景已经从从离线、完成时，走向在线、进行时，可以在舞台上实时进行唱跳表演，有望打破二次元和三次元的界限。

在本质上，虚拟偶像是类似于影视动画和 游戏 里的各种虚拟 IP 形象。不同的是，得益于 VR 虚拟现实、AR 增强现实、计算机图形技术、AI 技术、实时渲染等应用技术的不断成熟，虚拟偶像融合了现实场景，让 2D" 纸片人 "与真实世界产生了链接。同时，在具体的生产流程上，虚拟偶像至少都要经过原画、建模和动作捕捉三个环节。

提到虚拟偶像，在国内绕不开的就是B站，凭借现有的虚拟艺人 UP 主、所聚集的粉丝，以及粉丝围绕虚拟艺人进行创作和传播的视频内容，显然已成为国内最大的虚拟偶像社区。B站每年的BML-VR演唱会，以及每月推出的虚拟主播演出活动—冰火歌合战3D，每期活动超过10名嘉宾，直播观众人气高达200万。

而在这些虚拟偶像线上live的技术制作背后都有创幻科技的身影，创幻科技是国内虚拟偶像全链路运营商，在B站冰火歌合战3D、BML-VR演唱会以及线下Vapollo全息剧场演出中都有全程技术参与，从动捕场地到内容录制及后期制作，再到演出中的实时互动环节技术支持。

实时传输提升虚拟偶像互动体验

以往，虚拟偶像表演的难点在于实时渲染的效果比不上离线渲染，使得超写实虚拟数字人的行动不够逼真，现场互动性也差。但在去年Vapollo全息剧场完成的神乐七奈中日跨国演唱会中，神乐七奈是在剧场进行实时渲染，输出画面，全程毫秒级时延，让现场观众在真正意义上实现了与虚拟偶像实时互动。

一场虚拟偶像的演出，现场画面和声音同等重要。在画面上，创幻采用了自研的数据结构化技术，在保证动作和表情精度不产生损失的同时，将数据压缩到原来5%的大小，从而实现数据的实时远程传输。而声音上，声网助力了创幻在所支持的多场虚拟偶像演出中，都做到了现场声音高品质、低延时的传输。“创幻落地的虚拟偶像演出活动中大都涉及到歌唱类的演出，所以对现场音频的质量要求很高，而声网的音频方案完美地解决了我们对声音方面的高标准需求，在音频数据传输抗网络波动能力、音质还原度、效果稳定性、方案经济性等多个维度的表现都十分出色，最终的演出呈现效果也给了我们很大的惊喜。”创幻科技CEO陈坚表示。

在创幻举办的虚拟偶像神乐七奈跨国演唱中，音频是从日本传回国内，传输过程中对稳定性、流畅性有着很高的要求，一旦出现有延时就会造成现场观众体验感差，而声网的音频解决方案为虚拟偶像跨国演出场景提供了有力支撑，并具备了以下优势：

·  软件定义实时网SD-RTN™保障跨国传输稳定性

在虚拟偶像演出的场景中，会涉及到音频的跨国传输，Vapollo 神乐七奈线下演出，是演员在东京动捕棚进行动作表演，再将动作数据传输到创幻的VT服务器进行实时渲染，输出画面和声音。

针对这种需要音频跨国的传输，声网Agora 自建的软件定义实时网SD-RTN™覆盖了 200+ 国家与地区，可做到全球端到端优质传输率>99%，全球端到端网络延时小于400ms，延时中位数76ms，有效保障虚拟偶像演出声音的超低延时体验。同时针对弱网情况下的音视频互动，声网拥有一套抗弱网传输与抗丢包算法，结合网络探测（如延时估计、带宽估计、丢包估计等）、抗丢包技术（如ARQ、FEC等）、自适应jitter buffer、网络拥塞控制策略等技术，保障80%丢包下语音通话流畅，为演出现场观众提供更高品质的实时音视频通话服务。

· SOLO™、NOVA™  两大语音引擎提供卓越音质

不仅如此，对于虚拟偶像演出现场传输的音质问题，声网也有自研的Agora SOLO™、NOVA™  两大语音引擎，支持 48kHz 采样率的全频带采样，还原声音高保真度，音频 MoS 分高达 4.7，可以提供高清流畅音质体验。

在神乐七奈跨国演唱会中，是将远在东京动捕棚的动作及音频数据实时传送到国内，同步在广州及上海完成渲染，并推流到B站及日本的线上直播间。相当于通过远程技术，进行4路数据流推送，同时在4个地方完成实时演出，技术上有很大的挑战。“但在声音部分，我们与声网团队持续沟通，在专业指导下对音频数据传输方案进行了优化，最终通过创幻的数据结构化技术加声网音视频传输方案完美落地了此次活动。”陈坚介绍。

在声网的技术保障下，创幻已经连续4年服务于国内最大的二次元盛会-Bilibili的BML-VR演唱会及BW漫展，并持续制作、推出包含Bilibili冰火歌回（3D）在内的线上Live。

虚拟偶像正成为下一代全民偶像

正因为实时音视频技术的进步和升级，赋予了虚拟数字人真实的人物性格，拥有与观众和用户互动的情感，也让在“真人偶像”人设不断塌房的情况下受到网友喜爱，独特的外形、完美的人设，经过精心打造的虚拟偶像正逐渐走进现实世界。

从顶流洛天依到品牌自身的虚拟人，再到 社交 媒体 上的各类虚拟主播，虚拟偶像们塑造人设、分享日常生活，也拓展出品牌代言、明星同台、直播、授权、线上线下演唱会、带货等方式，变现的想象空间巨大。相较于真人偶像的不确定性，虚拟偶像拥有颜值不倒、人设永远完美的优点，也正因此，虚拟人物受到粉丝和资本的偏爱，正在成为下一代的全民偶像。

“另外，虚拟偶像技术的成熟，也将推动元宇宙的快速发展，每个人都可以在虚拟世界有一个自己的avatar，而实时音视频技术的低延时、稳定性可以打破虚拟和现实的边界，帮助用户在虚拟世界中得到更好的体验，助力市场养成下一代全民偶像。”声网 IoT 产品负责人侯云忆表示。