如何让VR世界当中的声音也活起来?有家公司给出了一个简洁的答案
早在 2012 年,Palmer Luckey 在 Kickstarter 上线了 Oculus 的众筹项目,在当时一举成为众筹最多的项目,也意味着现在市面上三大高端 VR 头显开始走入公众视野。在那之后的四年,Kickstarter 上的另外一个项目 Ossic X 也结束了众筹。此项目获得了 270 万美元的众筹金额,这一数字甚至超过了 Oculus Rift 的众筹金额——240 万美元,成为 Kickstarter 上有史以来最成功的虚拟现实类众筹项目。
Ossic X 耳机
Oculus Rift 头盔与 Ossic X 耳机,分别作为 VR 里的视觉输出类和听觉输出类硬件已经拔得头筹。在此之后,市面上 VR 类型的硬件如雨后春笋一般冒出,其中既有视觉输出类的 VR 头盔产品,又有输入类的产品全景相机。然而专业音频输入类的产品却依然罕见。钛极客记者曾经在一次虚拟现实展会上体验过一家专注于「全景声」的公司——时代拓灵。当时他们做出的一个可以感受不同方向音频变化的 Demo,而现在他们发布了一款专业级的 VR 收音设备——Twirling720。
全景声真有那么重要?
在了解 Twirling720 之前,首先我们要明白一个概念,什么叫全景声?——有些读者可能会将全景声等同于 3D 音效,但两者根本不是一个量级的。引用时代拓灵 CEO 孙学京的解释:「全景声是一个 360×360 的全方位展现形式,增加了高度信息,并在三维空间中每个方位的支持更加精准。这种沉浸感体验在每个位置都是均匀的,无论用户转头或者移动,都能拥有和现实生活中一样的声音体验。通俗地讲,全景声是活的,3D 音效是死的。」
Dolby 5.1
影院中现在所称的全景声,是在杜比 5.1(一种环绕声标准)基础上加了顶部的扬声器,底层的音频格式从 5.1 跨越到了 Object Audio。在 VR 里面打造的全景声,是在模拟影院中的听音效果。影院里的听音效果,也不是终极的全景声效果,因为观众听见的声音只是混音师,或是内容制作方,想要营造出来的声音。
比如,观众在影院中听到的声音,如大炮的声音总是从一个方向传来,这是因为他们希望坐在影院的位置,听到大炮的声音是一样的。如果在虚拟环境中,你走到不同的位置,听到的声音应该是有变化的,这是终极的全景声的定义。
全景声对于 VR 沉浸感的营造有着至关重要的作用——无论是在现实世界里还是虚拟世界中,声音对于用户判断自己的位置和物体的方位都是不可或缺的。
时代拓灵的解决方案
时代拓灵 CEO 孙学京他们曾经录制过音乐会现场:当时他们需要携带大量的线缆和设备,深知目前声音采集装置的不便之处。于是他们做了一款专业级便携式录制机 Twirling720。其最大特点是一体化程度高、便携易用,体积与传统的收音设备相当。顶部的 360° 收音球集成了 4 轨麦克风阵列,可以直接录制 3D 声场。
Twirling720 理论上可以适配市面上所有的全景相机,只有原生支持录制全景声的 OZO 除外。设备底部和背部都有 1/4 通用螺口,以适用不同的全景相机组装形式。音频格式上,Twirling720 原生支持 First Order Ambisonic(一阶环绕声,以下简称 FOA)。FOA 是当前最通用的两种 3D 声场格式之一,另一种是 Quad Binaural。
Twirling720
他们还准备针对普通用户也开发了一款 Twirling720 Lite 的录制机,使用方法十分简单,插上手机即可录制。
当然专业化的硬件自然也需要专业化的软件搭配,时代拓灵针对全景声处理也开发了一款软件 TwirlingWoriks。TwirlingWorks 的强大之处在于可以实时编辑声源各种属性。经过很深层次的优化,最多能够支持 128 条音轨的并发。这对于一般的音频工作站来说是足够了。并且它支持输出成多种全景声格式(比如 Ambisonic,QB,Twirling Format),以及兼容以前的杜比 5.1。
时代拓灵 VP 张晨表示,「我们同时有 Mac 和 Windows 版本,制作的全景声内容格式支持在 Google、YouTube 主流视频网站上播放,当然还有时代拓灵的全景声内容平台。相信随着全景声逐渐被业界所重视,会有越来越多的平台支持全景声视频播放。」
TwirlingAmbis
除了 TwirlingWorks,他们还着手开始打造一个大型全景声素材库 TwirlingAmbis——现阶段的混音师有 mono 或 stereo 的声音素材可用,但今后可能他们需要使用全景声,那么素材库是必不可少的。目前整个素材库支持在 H5 浏览器,iOS 和 Android APP 上在线播放、下载、上传和分享。支持头部旋转和手持拖拽的声场旋转——尤其是头部旋转,普通音频的素材库或者内容都只是一个立体声的播放,但它能实现声场旋转。
现在 TwirlingWorks 已经在时代拓灵官网上进行公测了,符合条件的申请者甚至能获得终身的 VIP 技术支持。至于 Twirling720 早就在海外上市开放购买了,国内外定价相同,3999 元。除了销售之外,时代拓灵也向 B 端销售和租赁 Twirling720,以及面向专业录音师售卖高级软件插件。