斯坦福开发全息声音合成系统 自动为计算机动画渲染逼真声音

通过计算快速移动和振动表面(例如钹)所产生的压力波，斯坦福研究人员开发的全息声音合成系统可以自动为计算机动画渲染逼真的声音。

计算机生成图像的进步带来了生动逼真的动画，但与之相关的声音通常只是录音。现在，斯坦福大学的研究人员开发出了一种新系统，可以自动为各种动画现象提供准确的声音。

斯坦福大学计算机科学系的道格·詹姆斯(Doug James)教授说道：“计算为人类模拟现实的过程中存在一个圣杯。我们可以用物理和计算机图形为场景制作动画。但对于声音，它们通常都是编造而成。目前无法为复杂的动画内容生成逼真的同步声音，比如说自动溅水或碰撞物体。这(新系统)填补了空白。”

研究人员将在ACM SIGGRAPH 2018大会介绍这个声音合成系统。研究人员表示，除了电影和虚拟现实世界外，这个系统还可以帮助工程公司在物理生产之前对产品的声音进行原型设计，并希望能够鼓励更安静，更少刺激的设计。

计算与数学工程研究所(ICME)的研究生Jui-Hsien Wang说道：“我花了数年时间试图解开偏微分方程，这是控制声音传播的方式。这对我来说真的很令人兴奋，而且很有趣。”

1. 预测声音

通过几何和物理运动，系统可以计算出每个对象的振动，以及如何像扬声器那样通过振动来激发声波。它计算由快速移动和振动表面抛出的压力波，但不会复制室内声学。因此，尽管不能在宏伟的大教堂中重现回声，但它可以应对各种情况下的详细声音，例如钹相撞，颠倒的碗旋转到停止，杯子填满水，或虚拟人物用扩音器说话。

与动画相关的大多数声音都依赖于预先录制的剪辑，这需要大量的手动操作来与屏幕上的动作同步。片段同时受限于存在的噪音，它们无法预测任何新的东西。能够产生和预测声音的其他系统仅支持特殊情况，或者假设几何体不会出现太多变形。对于每个单独的对象，它们同时需要很长的预计算阶段。

论文共同作者Ante Qu说道：“我们基本上只是一个渲染按钮，具有最少的预处理功能，在一次声波模拟中将所有对象放在一起。”

由此方法产生的模拟声音非常详细。它考虑了动画中每个对象产生的声波，但也预测了这些声波如何根据它们与场景中其他对象和声波的相互作用而弯曲，反弹或减弱。

2. 挑战

在目前的形态中，小组的流程需要一段时间来创建成品。但是，现在他们已经证明了这种技术的潜力，他们可以专注于性能优化，例如在并行GPU硬件上实现他们的方法，而这应该会提高其速度。

然而，即便是在当前的形态下，这一切都值得我们的等待和期待。詹姆斯说道：“我们用系统生成的第一个水声是我们模拟过的最好水声之一，而水是计算机生成声音方面的巨大挑战。我们认为我们可能会有一些改进，但它已经比以前的方法要好得多，甚至是开箱即用。这真的非常令人震撼。”

虽然该小组的研究能够忠实地呈现各种对象的旋转，摔倒和撞击声，但仍难以逼真地模拟更复杂的对象和相互作用，如斯特拉迪瓦里小提琴的回响音。这个研究小组表示，他们将不得不等待未来的解决方案。

来源：yivian