科幻作家陈楸帆:虚拟现实时代的人机交互什么样?
11月25日,由百度新闻、百度百家、百度新闻实验室主办的“The Big Club”融合传播精英沙龙在北京举行。活动邀请到来自包括诺亦腾科技有限公司、焰火工坊、蚁视科技、财新传媒等数字领域传播专家及企业决策层,共同探讨VR技术带给传播生态的深刻影响。
众所周知,虚拟现实的时代已经到来,如何把控和正确使用VR已经成为了一个意义重大的话题。"如何在虚拟现实时代更好地进行人机交互"、"虚拟现实语境和传统交互语境的不同之处在哪里"、"大空间的可触碰可交互虚拟现实游戏体验有哪些"?北京诺亦腾科技有限公司品牌副总裁、著名科幻作家陈楸帆先生在“The Big Club”上做了他的心得分享。
以下是演讲实录
非常感谢各位在这个冬季下午来到这里,跟我们分享一些关于虚拟现实的思考。我叫陈楸帆,非常感谢百度新闻、百度百家、百度新闻实验室的邀请。之前我也是百度人,今天再次来到老东家的主场。原来在百度的时候就觉得百度新闻团队的“The Big Club”是一个非常“高逼格”的沙龙,一直只有耳闻,没有亲见,今天终于来到现场,感到非常荣幸。
1.VR不是360度视频,虚拟现实=虚拟影像+交互
我来自诺亦腾,英文名NOITOM来自于“motion”(动作)的倒拼,我们公司做的是基于惯性传感器的全身动作捕捉系统。去年我们在KickStarter做众筹时获得了57万美金,创造了中国科技企业众筹的记录。大家可以看一下我们的简单演示。我们就是 用这套基于全身的惯性传感器的动捕系统,把所有玩家身体的动作实时记录下来,从而进行后期的影视动画、体育医疗、工业仿真等等方面的非常多的应用。
说到这里,大家会问 动作捕捉技术怎么应用到虚拟现实中 ?今年5月份我们受邀作为中国唯一一家虚拟现实公司来到了硅谷虚拟现实大会上,CTO戴若犁博士作为嘉宾,上台与来自SONY等等各家虚拟现实公司代表进行交流。这一幅就是现在我们在虚拟行业里的版图,这等于是硅谷虚拟现实大会的赞助商,你可以看到,三星、HTC、英特尔、Facebook、Sony、苹果等等这些大公司都有非常多的投入。
这里面可能涵盖了VR这个领域一些上下游的关系。它包括了这样几个方面,比如说现在有非常多的 输出设备商 ,像Oculus、HTC、三星、SONY等等。同时也包括了各种 输入设备 ,比如以往我们用电脑、手机、Pad的时候,我们会需要一个鼠标、键盘或触摸屏,虚拟现实里面同样也需要相应的解决方案。
现有的设备包括用摄像头对人们手势或全身动作的识别等等。最重要的还有另外一点,那就是当你有了这些输入输出设备后,你需要一些 内容和平台 去体验,那么就会有一些公司用VR形式对体育赛事、音乐会、演唱会等内容进行转播。也会有做VR社交的公司。在21世纪初的时候有一个非常有名的平台“Second Life”,它们希望在虚拟空间里建造一个第二人生,每个人都有一个属于自己的数字化身Avatar(就是阿凡达的意思),并在里面进行交互,但是因为技术等因素的不完善,那个平台最终也没有活下来,但现在它可能以VR的形式重生。
在种种环节里我们可以看到,众多的巨头已经在里面投入了非常多的资源、人力、科研的力量。交互可能是决定VR能否真正成为商业级应用的因素,或者说是决定VR能否进入千家万户的生活消费领域的一个关键瓶颈。
我们知道其实VR不同于3D电影或者全景式的360度的电影,我们的沉浸感,很大一部分是来自身体的感受以及你与虚拟环境的交互,所谓虚拟现实其实就是你对现实环境的虚拟。你在现实环境里可以用这根笔去遥控PPT,可以用手摸桌上的花,可以跟人打招呼,可以跟对方握手、拍肩等等,这样一些交互方式,如果在虚拟现实里做不到的话,这种真实感、沉浸感是大打折扣的。 在VR的语境里面我们需要一种新的交互方式,把人真正的从现实世界带入虚拟世界 ,这也是NOITOM一直致力于将动作捕捉系统用在虚拟现实交互领域的一些思考,以及技术的延伸。
以往我们所习惯的交互方式,是游戏杆、手柄、方向盘等等。现在我们拥有包括光学捕捉、深度摄像头、数据的手套在内的等等用于人机交互的动捕设备。那么我们就要考虑一个问题—— 到底什么样的方式最适用于VR这种语境从而进行交互?
在传统的交互语境中,我们在电脑、手机上看到的是一个二维信息界面,而戴上VR的头盔后我们就多看到了一个维度——深度,你戴上眼镜后无法正常的使用鼠标键盘,这时候,一些像语音、手势等更贴近我们真实生活的交互方式会变得非常重要。
2.虚拟现实语境的六大特点
① 在虚拟现实语境中,我们会有非常高的 沉浸感 ,这种沉浸感会让你忘却了外部环境的存在,以至于时不时的摘下眼镜寻找键盘鼠标都会破坏这种感受。
② 在这种非常高的沉浸感的环境里面,你会产生一种 对于自然交互异乎寻常高的期待 ,这也是可以理解的。
③ 你 看不到外面的环境,看不到你的工具 ,你想用你最自然的方式进行交互。
④ 我们也知道这个眼镜有点沉,同时你的眼睛会不断跟着头部的运动去聚焦、放松,这时候 视力会非常疲劳 ,这种疲劳的情况下要让他做更加费力的动作,对用户是非常不友好的。《少数派报告》描写了一种交互式的数据手套,但那种方式是非常愚蠢的——你把手举在空中超过30秒就已经觉得非常累了,更不要说还要抓取数据。这样是 非常疲惫 、不人道的。
⑤ 分辨率较低 。虚拟现实现在做的还是2K屏,它的分辨率较低,很多像素点可以看到。这种情况下,我们需要把像按纽、文字等非常多的交互做得足够大、清晰,而且又非常容易辨识、指引人们进行交互体验。
⑥ 它会让人产生 晕动症 ,这是由于视觉上的运动和身体上的运动两者不一致,或者信号延迟超过20毫秒的时候导致的对大脑前庭系统的干扰,让人们产生的眩晕感,就好像你站在一艘向前开动的船一样,看到滚滚江水向后移动,但是你的身体是不动的,这时你会犯晕。这是决定了VR能否被千家万户、被广大消费者接受的最重要的原因,我们用动作捕捉系统也是为了解决这个问题。
现在我们用的是一套 混合动捕解决方案 ,能够在一个相对比较宽阔的空间里,用光学捕捉的镜头,加上一些可穿戴式的惯性动作捕捉装备,来弥补这两者之间的各自的局限。
3.虚拟现实:交流的语法和讲故事的方式都变了
视频截图
光学摄像头根据对你身上马克点的捕捉来进行返算定位,但是如果被遮挡的话就会造成数据丢失。我们用惯性动作捕捉的技术弥补这样一个缺陷。可以给大家看一下我们自己在实验室做的一个小实验:在屏幕里面,可以看到戴博士第一人称的世界里的画面。整个体验的延迟是非常小的,我们可以把一些虚拟物体和真实物体同步起来,你可以拍球、转球,虽然你看不到外界的情况,但是你仍然能够准确的接到这个球。这就是我们现在研发的一个重度的VR交互方案。在今年年底或者明年年初,我们会有一个关于多人在一个虚拟环境里面交互、跟环境的交互、跟不同玩家的交互等等的完整解决方案。
VR是一个全新的媒介,它不同于以往的报纸、电台、电视、互联网。 整个信息的传递方式、交流语法,媒介中讲故事的方式都会发生非常大的变化。 我们现在用了一些新的技术方式,思考在虚拟现实里怎么样与这个环境交互,以及如何引导用户和玩家进入我们所要达到的效果。
同时,我们设想未来的新闻可能不再是现在所听、读、看到的方式,而是你真正能体验到,能够进入到那个语境里面去,跟所有的元素、所有的对象去交互的一种新形式。在那样一种情况下,人的同理心包括你的认同感会被极大的激发,因为人类的大脑是很容易被欺骗的。 我们所谓的虚拟现实就是用一些光电磁化学等等信号来欺骗你的大脑,让你觉得身临其境,做出一些在那种情况下身体以及情绪所能做出的反应。
简单讲一下我们思考过的一些关于虚拟现实交互的关健词。
安全性 这个很容易理解,而 体面性 说的就是人们戴上头盔以后不能让人觉得非常傻,不然的话很多用户会因为体面性拒绝用你的产品。
目的性 和 能量最低原则 就是说不要让人觉得累,不要觉得这个事很需要我怎么样。 自学习原则 ,则是说小孩会像玩Ipad一样通过滑动、触摸,甚至拿起纸的杂志都信点击上面的东西等方式进行操作,这些都是非常符合人的认知原则的交互方式,在VR里面也要做到这种程度。
5.2016年,虚拟现实可能迎来真的爆发
其实我们刚才看到的那些,都是重度交互,是一种全新的交互。
轻度的游戏就是那些只看,只听,只去体验,但是你没有办法去进行交互的。
还有一些强调观看、交互和操控的游戏。
计算能力 算是一大难点。以前我们看一些东西,只需要30帧每秒,但是VR如果做不到75帧每秒就会让人觉得非常不流畅,会产生眩晕。 功耗 也是一样的,手机里的一个VR程序就占了一半以上的功耗。 游戏空间 指我们如何在客厅、公众空间或更大的空间内设计我们游戏的交互、游戏的内容,并保证它的安全性、体面性、好玩性、可操作性。 硬件成本 则是我们以后要把VR推向更广阔的市场所要考虑得事情。
这些就是NOITOM在虚拟现实领域的一些思考及分享,希望大家期待我们接下来的动作。每一年都有人说是VR元年,但我想明年可能会真正的迎来一个爆发。谢谢大家!
编辑:金雯思