在VR领域,脑电应该承担怎样的角色?
5月5日,云睿智能EEGSmart(以下简称“EEGSmart”)在中国科学院深圳先进技术研究院(以下简称“先进院”)举办第一届中国脑电峰会。这次会议邀请不少脑电学术界知名人物,包括先进院先进集成技术研究所所长兼EEGSmart首席科学家李光林、中国生物医学工程学会副理事长尧德中、华南理工“脑机接口与脑信息处理研究中心”主任李远清、西安交大机械学院副院长徐光华等。
脑电:脑神经兴奋时产生的电信号
与互联网大会主打趋势和商业颇为不同,这次脑电峰会更像是一次学术进展报告。上述的专家学者就脑电起源、历程、现状以及最新科研成果向人们做了一次介绍。
-
人们对脑电的研究最早可以追溯到1857年,英国生理科学工作者卡通(R.Caton)在兔脑和猴脑上记录到了脑电活动。目前,随着更多关于大脑的研究逐渐丰富,比如欧盟2013年开展的大脑工程,美国2014年启动的脑计划等,人们对脑电的研究也逐渐深入
-
简单来说,脑电是脑神经兴奋时产生的电信号,和心脏产生的心电、肌肉产生的肌电一样,都属于生物电。这些生物电数据被专家认为是蕴藏着巨大的信息,尤其是脑电。
-
大脑不同区域有着不同的职责和功能,相应地,不同脑区的产生的电信号有着不同的含义。比如大脑左额叶的布洛卡区为语言运动中枢,主要功能是编制发音程序。当这个区域的大脑皮层的电信号很活跃的时候,将意味着人们在进行说话歌唱等行为。
-
为了收集这些宝贵的脑电信号,业界采用了三种方式:(脑电极)植入式、半植入式以及非植入式。前面两者需要把电极内置头骨之下,与大脑皮层接触。最后一种是将电极与头皮接触。相应地,前两者的精度高干扰少,而最后一种信号弱、干扰多等。
-
每天活跃的脑电信号被人们以脑电波的形式进行表达。 一般情况下,人们可以通过收集到的原始脑电信号数据分离出四种波段,分别为α(阿尔法)、β(贝塔)、θ(西塔)、δ(德儿塔)。而它们的出现也有不同含义,如下图:
截止目前,人们收集脑电数据更普遍的用途是神经功能的评价和诊断,比如脑电是诊断癫痫的必要依据,是诊断各种颅内病变的参考指数。此外,还可以利用脑电信号数据来研究大脑的认知机制、 脑机接口 等学术和临床方面。但是,人们认为隐藏着感觉、知觉、注意、记忆、思维、想象、言语等心理认知过程的脑电并不应该只限制于这些方面,它应该拥有更广阔的运用领域和市场前景。
由此,在应用领域有了意念控制:利用脑电电极片收集脑电信号形成脑电波,并通过相应算法“翻译”出当中含义,最终实现识别和控制。简单来说,目前被人们广泛接受的意念控制是利用脑电信号实现控制,就像人们用语音进行控制一样。
举一个简单的例子。被《时代》杂志评为人类历史上最伟大的100款玩具之一的MindFlex就是一款意念控制玩具。玩家主要集中注意力让大脑相应脑区产生脑电信号,就可以让小球悬浮起来。再比如,风靡全球的意念猫耳朵necomimi,是通过采集脑电信号进而判断用户精神情绪状态,最后反应在“猫耳”上——竖立意味着注意力集中、下垂意味着精神放松。
脑电VR:为交互注入“人性”
在大会期间,EEGSmart CEO贺超向雷锋网 (搜索“雷锋网”公众号关注) 透露,他们正在开发一款脑电VR眼镜。虽然贺超想保持神秘,没有具体告知这是一款怎样的产品。但通过专利查询我们可以知道这款“脑电VR眼镜”在固定的头带部分增加了脑电信号采集的电极,分别采集了大脑左右中央区以及左右枕叶区的电信号,即C3、C4和O1、O2区域。收集得到的数据将会通过无线传输到终端进行计算。由此,我们可以得知,这是一款分体机。
说到VR+脑电,小编马上想起今年年初宣布获得1亿美元融资的瑞士公司MindMaze。这家公司先是利用VR模拟出中风康复患者的四肢。此后,病人便可以通过脑电来控制虚拟的四肢,实现“闲置”脑神经的锻炼,甚至能修复受损的脑神经。在MindMaze的案例中,脑电扮演着一种控制手段,而且还是延续了康复机器人对脑电利用的思路。
至于贺超提出的“脑电在VR应用方案”则是利用EEGSmart的技术方案识别用户的精神情绪并反馈到内容当中,实现内容与人的互动。从这个角度看,EEGSmart的脑电VR方案属于一种输入。和基于惯性传感器的动作捕捉系统 、光学动作捕捉系统捕捉动作数据并输入内容相似,EEGSmart的脑电VR则是把用户的精神情绪状态数据映射到内容中。从某种程度上说, 脑电VR比目前的VR设备多了一个信息维度。
对此,贺超举了好几个例子。比如在成人VR体验中,“苍井老师”可以根据用户的精神情绪状态作出相应的反应,具体细节自行脑补。比如在VR心理咨询中,医生可以根据病患的精神情绪反馈进行治疗步骤。比如在密集恐惧症的治疗中,可以根据病人的情绪反馈来实施治疗方案。
这些看起来让人十分兴奋。毕竟,多一个维度的信息输入将会意味着更加逼真的VR世界。对于社交VR而言,能提取人们精神和情绪状态的脑电VR就像时下的表情包。对于心理领域而言, 脑电VR就是新的心理指标。对于直播来说,脑电VR就是新的弹幕……总之,作为精神和情绪的表达,作为多一纬度的数据输入,脑电VR大有作为。
不过,脑电不适合作为VR的控制手段
除此之外,贺超还提到脑电VR可以作为VR游戏的控制手段。对于这一点,小编并不认同。 和键盘鼠标不一样,VR输入设备强调沉浸感。虽然脑电作为输入更自然更贴心,但以目前的水平把 脑电作为VR控制手段是一个错误的思路。原因有两个:第一,目前的水平,脑电控制是模糊的,而且是0和1的模式;第二,脑电发展十分缓慢。
目前的VR控制设备虽然没有形成统一的标准,但输入指令和控制之间的关系是对应的。比如在HTC Vive的追踪系统Lighthouse中,你向左转90度在VR世界中你也是向左转90度,如果是100度VR世界也是相同。 但利用脑电控制则达不到这种连续状态,它只能实现0和1的模式:左转或者右转。
脑电控制所收集的数据是一个特征值(上图的四种波段),并通过这个特征值来判断用户的大致状态,比如精神紧张、疲惫等。但在现实生活中,人们的这些状态是连续的,从十分紧张、紧张、不太紧张、不紧张的变化,而如果这些所有的精神状态都对应着“yes or no”控制结果。这种控制将会为用户带来很多困惑,比如紧张状态——开枪,疲倦状态——不开枪的模式中,人们是可以同时存在两种状态。事实上,现在利用脑电控制一盏灯都是一件不容易的事情。因为你需要安静的环境,需要集中注意力。
一种好的VR控制手段需要具备9点要素: 空间沉浸感、稳定、 精确、低延时、便利性、 舒适性、直觉控制、低价、 兼容普适性。
此外,相比于目前主流的VR控制技术,脑电的发展速度落后。在会后的采访中,李光林告诉雷锋网:
”为什么说脑电研究了90年现在还没有普及,就是因为脑电的难度太高了。脑电储存的信息太多了,比如你旁边有人说一句话,虽然你没有注意,但大脑也会出现脑电。我们做脑电图实验,有时突然一声巨响,整个都变了。
此外,在信息提取上也有难度。 脑电信号在大脑皮层活跃,但我们是要隔着一层 头颅骨采集信息。这个骨头的电阻是非常高的,传出来的时候,已经把很多信息都屏蔽了。如果你把大脑打开,把电极放进去,提取的信息十分漂亮。但你要是隔着头骨,这些信息就非常微弱了。
还有一点,不像心电那么规律,脑电的影响因素非常多,比如休息、情绪、环境等都会产生干扰。 不过,脑电胜在蕴含大量信息,比如情感、运动、我与你之间的对话等等,这些都有待开发。"
和很多人一样,小编期待着脑电控制的未来,并希望在有生一日科学家真的能解读脑电信号的含义,做到《三体》中所提及的利用脑电信号进行交流。不过这一天需要等待很长时间。由此,小编希望大家别把精力放在脑电作为消费级VR控制的点子上。不如想办法更精确地提取情绪和精神状态的信息,并融合到VR内容中。