究竟什么是虚拟,什么是现实?谈沉浸式虚拟现实技术和应用
董飞 / 文
“你选择红色药丸还是蓝色药丸?”,影片黑客帝国抛出了这样一个令人深思的问题。想象眼前 的一幅画面上,你可以看到两颗药丸:一颗红色,一颗蓝色,而当你把背景颜色去掉,就会发现药丸都是灰色的。
这个例子告诉我们: 现实中多数时候的,颜色都是由我们的感知系统凭空捏造出来的,而且 其捏造程度远远超出你的想象 。
月光奏鸣曲 Ludwig van Beethoven - 快乐宝宝古典乐之大自然摇篮曲
我们把目光拉向远方。《黑客帝国》、《阿凡达》和《Tron》在展示真正的未来吗?我们的大脑可以分辨哪里是“真实”的终结,哪里是“虚拟”的开端吗?在数字化世界中,永生意味着什么?技术会在五年、五十年和五百年后引领我们去向何方?宇宙是不是根本就没有时间,时间只是我们定义自己的存在而假想的概念?
答案,就在墨菲斯的那句世界名言里:
多数人对于虚拟现实关注点放在“虚拟”二字上,针对人的各个感官系统打造的各项信号系统。 但实际上,真正应该关注的是“现实”二字。墨菲斯的名言则几乎就是虚拟现实意义的核心所在。
我们的意识,或者称之为“灵魂”,从未和真正的现实(如果存在)进行过交流。实际上,我们一直在交流的,不过是眼耳鼻舌身意对应的大脑活动而已。
再回头看看墨菲斯那句话的定义部分:真实不过是大脑给你的电子信号而已。
虚拟现实,从阿凡达到永生
这里提到一本书,英文书名: Infinite Reality: Avatars, Eternal Life, New Worlds, and the Dawn of the Virtual Revolution
书中两位虚拟现实的先锋权威――斯坦福大学的杰里米?拜伦森和加州大学圣巴巴拉分校的吉姆?布拉斯科维奇――以开创性的研究展示了我们大脑在数字世界中的行为方式,把我们带入一段穿越虚拟宇宙的神秘旅程。 即将来临的虚拟现实技术和应用的爆发,加上最近对大脑工作方式的研究突破,将会很快让我们的生活演进到过去只有科幻小说中才能想象的程度。
书中探索了计算机技术的发展与快速应用,对未来的人类生活和社会带来何种影响。沿着这一思路,拜伦森和布拉斯科维奇在数字体验下研究了永恒的哲学问题――关于自我和“真实”;阐释了虚拟现实当前和未来的形式――沉浸式视频游戏和社交网站等形式将会无缝整合进我们的生活;展示了许多虚拟现实技术令人震惊的实际应用,从教育到医疗再到战争;探索了长远的可能性,例如“全人格下载”可以让你的后代在你过世一百年后,依然能和“你”对话。
书的英文名infinite reality――字面意思“无限的真实”。又在暗示,既然真实本来就是相对的,如今它便有了无尽的潜力。 笔者也听了这本书的分享会,分享人 金晶 任职于Facebook,心理学博士,在心理学界很多年,初心未改,理想是能够应用现代科技与创新手段为传统的心理学问题寻找下一个突破点。
下面是来自她的演讲PPT和个人拙见。
关于作者
杰里米?拜伦森(Jeremy Bailenson),斯坦福大学虚拟人机交互实验室的创始主管(https://vhil.stanford.edu/),斯坦福大学传媒系教授,博士毕业于西北大学认知心理学方向。该实验室致力于通过实证科学来研究人们在虚拟环境(VR)中的行为和交互模式。
吉姆?布拉斯科维奇是加州大学圣芭芭拉分校虚拟环境研究中心的主管和联合创始人,著名社会和实验心理学教授。他曾担任一些国际科学学会的主席,包括人格与社会心理学学会和实验社会心理学学会会长。
真正的现实是怎么样的
20世纪30年代,科学界开始酝酿基于护目镜的VR系统,名为Pygnalion's Spectacles。这个命名有个有趣的故事背景:皮格马利翁是希腊神话中的塞浦路斯国王,善雕刻。他不喜欢塞浦路斯的凡间女子,决定永不结婚。他用神奇的技艺雕刻了一座美丽的象牙少女像,在夜以继日的工作中,皮格马利翁把全部的精力、全部的热情、全部的爱恋都赋予了这座雕像。他像对待自己的妻子那样抚爱她,装扮她,为她起名加拉泰亚,并向神乞求让她成为自己的妻子。爱神阿芙洛狄忒被他打动,赐予雕像生命,并让他们结为夫妻。
核心观点
周围的世界是由自己的头脑创造出来的。重建现实就是去扩展现实的制约 ,其实,我们所看到的东西,并不一定都是现实。首先,很多层面的现实,是人类的感觉器官无法捕捉到的,例如,我们看不到红外线,我们闻不到一氧化碳。并且,人们接收到的感官刺激的质量――天空的颜色、玫瑰的香味、砂纸的触感、钢琴上弹出的低音 C――对每个人来说并非完全一样。所以,包括赫胥黎在内的许多科学家、作家和哲学家,到宗教领袖们,都认为所有感觉实际上只不过是拥有一些特质的幻觉而已。
杰里米 说:“所有的现实都是虚拟的。”
这项技术为什么和之前所有的技术有那么大不同 � VR 是让你真实地去体验一个虚拟的世界,而上面这些例子告诉我们的就是,一个体验是否真实,完全由你的感官系统决定。你的感官系统会自动为你做出判断,无论你觉得自己有多理性,多“聪明”。
也就是说,当虚拟现实做得足够好,就是现实。
从另一个角度也告诉我们,我们无需完美地复制出现实(现在也做不到),就能让你感觉真的去到了另一个世界。
Facebook CTO Mike 在F8开发者大会演讲
Mike 问了大家一个问题:“你们中有多少人是自己一个人去电影院的?”
“为什么你会和别人一起去一个封闭的空间里,也没有办法和他人交流,只是一起盯着一个大屏幕?为什么不一个人去?”
“因为,你和他人在一起,共享一个空间,创造了一段体验和回忆。无论是在去的路上的兴奋和回来的路上的探讨,你和你的家人、朋友、爱人共享了一段体验、生活。”
正是和在乎的人在一起,体验才有了意义。那些无法赶到现场的人。那些生活中的每一个惊喜。那些天涯海角的眷念。
我们认为的现实,不过是幻觉而已 � 一个经过了千万年进化锤炼、能让人自如地在这个危险世界里生存繁衍的精致幻觉。 这些例子告诉我们,一旦给予了我们合适的信息,即便从理性上我们知道真正的“现实”是怎样的,我们也很难去选择感受到的一切。
简单来讲,我们所讲的现实,往往只是我们意识到的现实,它有时候只是现实的子集,有的时候,则是经过意识加工、偏离现实的幻象。
这,就是虚拟现实之所以成为可能的心理学根基。
欺骗大脑,如何让幻象显得真实?
前一张是红绿色盲看到的世界,后一张是白内障患者所看到的世界,这是不是很难受?体验别人的生活比只是嘴里说说对一个人能产生更大的影响。这就是移情模型的原理。在移情模型里,你也许会看到前面有一个斜坡,这个斜坡也许很陡,然后你就会滑下来。通过体验残疾人士真实的生活,可能将会影响到你的设计策略。
我们永远不知道,真实的世界在经过我们的感官系统过滤之前是什么样子 � 而且这些感官感知到的也不过是真实世界中非常小的一部分。
就拿我们感知系统最发达的一部分 � 视觉来说吧,我们看不见红外紫外X外线,我们只有三原色的感觉系统,真正的高分辨率部分的可视角度只有2°左右和一个拇指指甲大小差不多,我们每只眼都有一个盲点,除了焦点以外其它都是模糊的……
知觉
知觉的特性
我们是如何通过如此有限的信息感知世界的呢?基本上,我们已经有了一个关于这个世界的静态模型,然后不停地根据外在信息来更新它。而正是这个模型,才是你的世界,以及你感知到的一切。
我们感受到的并不是这个世界,而是这个世界的模型,我们本身不过是一个感受器而已。
所以,我们认为的现实,不过是幻觉而已 � 一个经过了千万年进化锤炼、能让人自如地在这个危险世界里生存繁衍的精致幻觉。这些例子告诉我们,一旦给予了我们合适的信息,即便从理性上我们知道真正的“现实”是怎样的,我们也很难去选择感受到的一切。
知觉重构
举打电话例子,其实你听到的不是真正对方的声音,而是声波变成电信号,通过无线和有线传播,在近似实时得把电信号转换成为声波,这就是 信息的重构。
视频:通过舌头来重新感知世界。
婴儿在生下来通过视觉来学习外在世界的表征,在大脑皮层建立映射,当盲人失去了这种视觉联系,还可以通过舌头或者其他任何可操控的神经,重新建立感官的适应,大脑皮层进行一一对应,就“看到了”东西。
另一个例子,让你戴上upside down的眼镜,你看到是完全 颠倒的世界, 不用多久你可以适应这种方式。这样你在VR中生活了一段时间,你就真分不出哪里是真实,哪里是虚幻的世界了。
知觉重构的关键
1. Tracking
-
通过两个相机来看你的动作。
-
kinnect,相机,运动传感器。
-
可穿戴的手套,马甲,指关节有磁铁感应
-
红外线来扫描,知道你的身体状态
-
眼球定位技术来判断性感女生
记录用户行为数据,眼球运动产生热力图,比如上课的注意力停留,知道哪些学生听懂了,哪些学生开小差。
2. Rendering
渲染时关键是把眼前的世界去做不断更新。我们玩3D游戏的话每一秒更新30帧,最起码到每一秒到75帧,像Oculus,HTC可以到90帧,索尼的PS可以达到120帧。当渲染速度跟不上大脑加工速度就会眩晕,产生晕动症。在比如说耳朵里面也有传感器来感知速度和方向,如果视觉告诉你在跑,而听觉没跟上,会导致失联。
稍微转动脑袋,你专门感受运动的前庭器官,对应上了视觉上的平移视差,完全符合了你对于这个世界的认知模型。当这些对应关系的延迟足够低(20毫秒以内)时,你的大脑就混乱了,将这些虚拟的人造信号认知为真实世界的一部分。这就是虚拟现实和之前所有媒介的最大不同之处。技术难点是生产速度跟不上,比如你头转一下,就有延迟的感觉,这里可以通过建立数学模型去做预测。有一种办法在头显上加摄像机,随时记录外界信息,这样去更新你眼前的景象。
3. Display
把你的眼前遮住,让你跟现实区分开,当你戴上头盔呈现90度-180度。 在可视角度、像素密度、动态范围、图像质量、可变焦距都有非常大的上升空间,而伴随着这些参数的改进,工业设计和体积也会得到升级。这些上升空间有多大呢?假设我们希望显示质量和你桌子上在正常视距下的普通显示器一样,那么VR的单眼分辨率至少要到5k×5k。
重构现实的基 础
-
本能反应:virtual pit,比如恐高,害怕昆虫,降低恐惧
-
社交距离,保持一些距离。
-
究竟多真才是真: 运动真实性 ,只要动就行了, 人体测量学真实性,有脸,身体,胳膊腿(小布什)
研究中也有趣地发现,如果画面特别真实,反而效果下降。(左下图的小布什反而认知度更好)。
虚拟到现实的转换
关于行为模仿
老师的眼神:虚拟老师,如果把老师的注意力放到每一个学生身上,他的学习效果提高。在未来的网络课堂中,可以用一个虚拟的教室将所有的同学放在一起,每个人都在认真听讲,但教师的关注点永远都在你的身上(其实在每个同学的眼里,老师都始终在关注着他自己),处于一个如此真实而正能量的学习氛围之下,“洗脑”的效果不言而喻。
哪里是虚拟,哪里是现实
哪个是我,哪个是我的Avatar?
虚拟世界中的人物一般有两类:一种是屏幕背后有真人操纵的角色,可称之为“化身”(英文单词avatars,阿凡达);另一种是由计算机算法生成的角色,被称之为“代理”。如果没有“实体的接触”,一般人很难判断屏幕的对面究竟是化身,还是代理,也许凭一些小的细节就会把对方当做真人(无论对方究竟是什么,想想那些跟金山杀毒软件的小狮子逗闷子的人吧)。
人工智能 + 虚拟现实 = 永生?
应用场景
虚拟现实与教育
Google 把 Cardboard 应用在中小学进行实验(见如下视频),便很自然了:如果 VR 对 “了解风土民情”的满足最为专长,那么,教育,自然而然便是当下以及未来重要的应用领域。试想一下,未来的小学生,可以不用像我们这代人一样,只靠着书本的文字,想象各个国家的地理风土进行学习;而是可以通过 VR,身临其境得在异境行走、观察,从而对各国文化进行深入的体验 ― ― 这对教育将是一场极大的变革。
电影还是游戏
加入观者互动的媒体形式并非尚未存在。游戏之所以被称为第九艺术,就在于玩家可以参与其中。从最为基础的文字小说游戏,到自由度极高的游戏(比如 Minecraft),不变的核心就是游戏者的参与。
如果电影加入互动,它和游戏的界限便会模糊。那时的电影,还会不会叫电影?
不过,短期来说,VR 提供的环绕式的沉浸体验,确实会对电影的观感带来革命性的提升。试想,如果在一段 VR 电影里,观者和明星可以身处同一间屋内,看到近在眼前的他们微笑、聊天、争执、打斗…也将是一种激动人心的体验。
CG电影版 圣斗士星矢
下一个平台是什么?
对于我们来说,VR 可能不仅仅只是下一个平台,因为它能创造出所有的人类体验,它可能就是人类的终点。当然,现在还有很多碎片没有拼合上:没人知道应该如何解决在虚拟现实中的移动问题,没人有完美的输入方案,更不要说 VR 电影、社交方式以及人们想在 VR 中玩的游戏了。但这些,迟早都会解决,在这个过程中留给大家的就是各种机会。我们都有可能成为 VR 大潮中的一部分 � 而我们每个人要思考的就是,到底在何时加入到这股永生难忘的浪潮中?也许你希望成为领导者,推广者;也许你希望等到这个技术成熟以后。但 VR 有着改变世界的潜力,且奇酷无比。因此,早晚你都会来到我们的身边。
哲学拷问
究竟什么是虚拟,什么是现实?现实止于哪,虚拟开始于哪里?
你自己可以欺骗你自己,你看到的信息是由头脑决定的,你怎么去解释。从“心静自然凉”到笛卡尔“我思故我在”,是意识主义的晋阶。前者只是强调意识可以影响肉体,后者则完全否认了肉体决定意识的观点,它认为,人的思想才是一切物质的基础,失去了思想的身体就是行尸走肉,不具有任何意义。这不禁让我想起早年看的一些玄幻小说,作者普遍认为人的灵魂是一组记忆码,本身拥有极其强大的能量,反而是肉体的存在束缚了灵魂的力量,作者甚至幻想具有高度文明的外星人已经脱离了形体,全是一组组含有超多信息量的代码,仅靠“思想”就可以完成一切行为。
--------
回到开始的问题“ 你选择蓝色还是红色药丸?”,如果选择蓝色药丸仅仅是让生活像以前一样继续。如果去拿红色药丸, 墨菲斯 警告说:“记住,我要告诉你的只有一样东西――真相。”那里 象征着风险,怀疑和疑问。你要把整个生活和世界押在一个你从未体验过的事实上。这就是 好奇心 , 人类历史上许多人都已为此提出疑问或进行探究。其中大多数并非科学家、医生或哲学家,而仅仅是爱问“怎么了”或“为什么”的普通人。问这些问题最终引领我们来到一个选择面前。是继续提问,进行调查还是就此止步,永不生疑?
笔者相信,VR技术可以帮助人们更好地体验真实的世界。技术上而言,虚拟现实技术仍然充满很多想象空间与实际问题,亟待人们创新地去解决。相信随着深入发展和普及,人们的生活体验会变得更加丰富多彩,从此不必再受时空拘束。
未来,乘着想象的翅膀,也许我们终将得到无限的真实。
参考文献
[1] https://developers.facebooklive.com/videos/530/keynote-why-virtual-reality-will-matter-to-you
[2] https://www.eventbrite.com/e/by-tickets-21026653286
[3] https://book.douban.com/review/7378076/
投稿、提供新闻线索、转载授权请联系: iscientists@126.com
商务合作事宜请联系: dll2004@163.com
更多精彩文章:您可以回复"年份+月份",如201510即可 获取月度文章, 或返回主页点击子菜单获取最新文章、往期文章或直达赛先生微博。谢谢!
微信号: iscientists