ObEN:声音模拟x三维图像重建,重新定义虚拟世界
经原作者授权转载
今年8月,中国最著名的时尚博主之一Gogoboi采访了少女时代门面担当林允儿,在采访里,Gogoboi一口流利韩语。再加上在各大时装周上,能够轻松用英文采访欧美时尚Icon,他的语言能力其实已经超出了大部分时尚博主,这也是他在时尚界极为受宠的原因之一。
可其实,随着声音模拟技术的迅猛发展,多语言人才的优势,很可能会不复存在。
记者了解到,位于美国加州的初创企业ObEN,能够提供迅速、准确的电音模拟技术。用户只需要念上两分钟由ObEN指定的文字,他们的电音就能被模拟出来,并且被用在唱歌、朗诵、用一切可以想象到的语言做一切可能的事情。
ObEN团队的另一项三维图像重建技术,还能够迅速地通过一张自拍照片为消费者建立三维人脸模型,让虚拟世界与现实世界之间的距离,更进一步。
ObEN 联合创始人 Nikhil Jain 及A dam Zheng
模拟技术给声音带来无限可能
这项声音模拟技术,有着许多动人的未来蓝图。
比如将家里小朋友的声音记录下来,而这个声音模型,可以一直保留到他长大成人,还可以说新的内容;比如电影在国外放映时,可以使用由明星原声而制作的外文配音,让他们本人的声音也能顺利“出口”;而对时尚博主们来说,别说采访韩国、欧美明星了,就算时尚博主们进军印度、土耳其、甚至非洲,也可以轻松用当地语言进行采访。另外,人们与家人分隔两地时,也可以通过这项技术,在各类智能设备中听到亲人熟悉的声音。天涯若比邻,不再是一种想象。
这些蓝图,让ObEN已经成功和各个行业顶尖的企业达成了合作意向,其中包括与美国最大的玩具公司合作开发智能玩具,跟好莱坞最大的配音公司以及电影公司合作等等。
虽然有了以上各类可预见的蓝图,电音模拟技术,听起来还是有些抽象。具体来说,ObEN是这样做到给消费者的声音提供各种使用方案的。
首先,这项业界领先的技术大大缩短了发声模型的训练时间。也就是说,消费者们只需要花上2-3分钟念出指定的文字,ObEN就能通过人工智能领域的机器学习技术,制作出消费者的专属电音模型。这就像每个人有着独特的指纹一样,ObEN能够通过深度学习,获取每个用户的“声纹” 。
要知道,如今市面上所有的专属发声模型都只有少数人可以体验,并且需要好几天、甚至几周的时间录入数据。
再者,有了这个电音模型,ObEN可以做到让消费者本人的电音,用中文、日语、韩语、乃至世界上任何一种已经存在的语言说话、唱歌、朗诵等等,而非局限于源声音的语言种类及用法。试想,一个完全不懂中文的美国白人,可以用他的自己的电音唱秦腔;一个中国人,也可以听到自己唱出的宝莱坞歌曲了。
除了精进算法以外,使用这个技术的消费者们越多,ObEN的电音模型就会越逼真。
ObEN的声音模拟技术背后,有着UCLA(加州大学洛杉矶分校)以及CalTech(加州理工学院)两所重量级院校的计算机人才们。在决定开发这个技术后,ObEN的两位Co-founder Adam Zheng与Nikhil Jain邀请到了UCLA的声学研究所所长Abeer Alwan以及CalTech的高级计算机科学家Julian Bunn合作开发。这两位教授,以及他们的其他合作伙伴与博士生们,都为ObEN在自主研发声音模拟技术的过程中提供了重要帮助。
声音模拟x 新锐科技
更重要的是,如今科技行业里的许多主要方向,也将因为这个技术而更进一步。
首先,各类机器人的拟人化,将因为能够接入真实、可控的声音模型而更加成功。一个具体的例子就是在今年的CES期间,ObEN和凯撒娱乐集团以及微信进行合作,在凯撒娱乐旗下酒店里,提供名为“Ben”的虚拟客服。住在凯撒娱乐集团旗下的LINQ酒店的客人可以通过关注凯撒娱乐集团的微信号,在手机上跟Ben互动――他能够以任何声音或语言来进行回复。
而且,哈工大机器人集团与ObEN合作也在LINQ酒店大堂里提供了迎宾机器人,让虚拟客服Ben“实体化”成了一个看得见摸得着的机器人,客人们可以通过与迎宾机器人的沟通,直接感受到多语言、多声音的机器人提供的便捷服务。
ObEN 与哈工大机器人集团合作,在LINQ 酒店提供的迎宾机器人
再次,声音模拟技术,将在虚拟现实领域有着极多发展机会。比如在虚拟教育领域,当声音来自真实的老师、同学时,孩子们会更容易沉浸其中;再比如在虚拟医疗领域,更真实的声音也会让患者更加轻松。
结合三维图像重建,重新定义虚拟世界
早在1946年,美国学者埃德加·戴尔提出的“学习金字塔”(Cone of Learning),以及多年来认知科学界的研究,都证明了当听觉与视觉结合时,人类的理解、学习能力更强,远远超过只有听觉、或只有视觉。
也正是因此,为了进一步缩短虚拟世界与真实世界之间的距离,ObEN团队还开发了基于手机的写真级的三维人脸重建技术。声音与图像紧密配合,未来的想象空间极大。
在过去十几年间,对未来游戏的一个常见想象就是,玩家以几近真实的相貌及声音,在游戏世界里闯荡。
而ObEN提供的声音模拟及三维图像重建技术,很可能在现实里第一次实现这种想象。
其实,三维人脸重建技术并非ObEN首创。在准确度上,使用深度摄像头进行较长时间的扫描,建立的模型也必定更加真实。然而这种耗时长、需要深度摄像头的三维重建技术,想要在消费者端普及使用,极为困难。
因此,ObEN选择了开发只需使用手机拍摄一张照片,就能由平面照片生成三维人脸模型的技术。这项技术基于机器学习,通过大量学习二维照片与相应三维模型的关系而最终成型。当然,假如消费者们愿意多提供几张照片,比如侧面照等,也会让ObEN最终呈现的三维模型更为准确。
通过 ObEN 技术,用创始人之一 Nikhil Jain 的 2D 照片完成的 3D 模型
正如上文中提到的,这项技术在虚拟现实/增强现实领域,有着极多可能性,包括教育、医疗、游戏、设计、音乐等。几乎可以说,只要是需要人物的地方,都可能需要。这也意味着ObEN与许多虚拟现实行业内的企业都有着合作可能。
比如在医院中,相比一个卡通形象的虚拟医生,患者自己的医生的虚拟形象必定更受患者青睐。在VR教育领域,假如小朋友们能看见、听见真实的同学、老师,教育效果也会好不少。最重要的是,只要消费者们使用ObEN提供的这种三维图像重建技术,就能轻松地把社会关系导入到虚拟世界里。
这一特点,是当年QQ、微信大火的基础,而有了ObEN,在虚拟现实领域的杀手级应用,我们也能有所期待了。
虚拟现实元年,发展空间极大
2016年是虚拟现实/增强现实(VR/AR)的元年,而ObEN的声音模拟技术与三维图像重建技术,很有可能成为VR/AR发展的重要助力。
近几年,业界一致强调虚拟现实中3D音频的重要性。而可以提供不同声音、语言的ObEN,则是在3D音频技术之外,补足了虚拟世界里声音的“内容”这一部分,让虚拟世界里的声音,更具有吸引力。
而声音与图像技术的结合,也是ObEN乃至VR/AR界可预见的重要方向。ObEN已经开始自行开发应用,尝试将两项技术结合。他们即将推出的全新的VR/AR交友App,就是希望能够“复制”出每个用户的虚拟形象与声音,这意味着不论你在线与否,都可以跟有着真实虚拟形象的其他用户进行交流。
“我们认为在未来,每个人都需要一个与自己形象相符的虚拟世界助手,”ObEN的COO Adam Zheng说道。在VR/AR领域,这样的虚拟世界助手可以在各方面为自己的主人服务。
据悉,ObEN已入选HTC的Vive X加速器项目,在一千多个项目中脱颖而出,与其他32家创业公司共同探索虚拟现实领域的未来可能。据Adam透露,加速器项目中不少虚拟游戏公司已经对ObEN的这两项技术表达了兴趣。
ObEN成立于2014年,主要创始人分别为COO Adam Zheng以及CEO Nikhil Jain。其中,Adam是清华大学环境工程硕士、Berkeley金融工程硕士、UC Davis交通工程博士,他也是百合网的联合创始人以及光速创投的投资合伙人。Nikhil Jain 拥有南加大的MBA学位,是加州地区的连续创业者。ObEN的首席工程师Dr. Mark Harvilla是卡耐基梅隆的电子工程学博士,曾师从Richard Stern(Apple Siri的负责人Alex Acero的导师,李开复的博士毕业论文指导教授之一)。
想要了解更多ObEN的科技,请登录oben.com