MindLeap：第一款靠意念控制的虚拟现实游戏系统原型

近日在旧金山举行的游戏开发者大会（GDC）上，瑞士的神经技术初创企业MindMaze 发布 了全球第一款靠意念控制的虚拟现实游戏系统原型MindLeap，同时宣布获得了850万美元的天使投资。

从医疗到游戏

MindMaze成立于2012年，总部位于瑞士洛桑、其研究领域主要是神经科学、虚拟现实和增强现实，此前主要应用于医疗，用来帮助中风、截肢及脊髓损伤患者康复。创始人兼CEO是Tej Tadi博士。创办公司前他曾在瑞士联邦理工学院从事过10年的虚拟现实研究。

我们知道，人的动作是由大脑控制的，比方说移动手臂这个动作的执行过程首先是大脑想要手臂移动，这个决定由神经网络经过数毫秒之后传递给相关肌肉才执行动作。MindMaze则是通过跟踪大脑和肌肉的活动来侦听相关的神经信号。

MindMaze的应用一开始并不是游戏，而是医疗。比方说，截肢病人有时候会出现 幻觉痛 ，即感到被切断的肢体仍在，且在该处发生疼痛。Tadi介绍了一个例子，某位左臂被截肢的女患者就出现了幻肢痛。MindMaze利用技术跟踪患者正常的右臂的活动和神经信号，然后在屏幕上呈现出其左臂在作相应动作的图像，如此来“欺骗”她的大脑认为自己左臂也能动，从而缓解幻肢痛。这里的关键是屏幕的动作展示必须是实时的—时延不能超过20毫秒（触觉传递到大脑需要20毫秒，视觉则需要70毫秒，这些似乎是能够区分出相关信号的关键）。正是无时延方面的努力让MindMaze想到可以把它用在游戏上，开发出了MindLeap这套游戏装置的原型。

这套装置由动作捕捉系统、脑电波读取系统以及集成平台组成。其HMD（头戴式显示器）外观上跟Oculus Rift DK2、Razer OSVR有些类似。比较奇特的是它的头箍，像一张网，其实那是用来采集脑电波信号的装置，不过未来MindMaze计划改进成跟目前的HMD的头带类似的东西。无线3D摄像头运动捕捉系统类似于Kinect，可进行3D的全身运动跟踪，但是需要进行一些调整以适应医疗用途。目前这套原型可提供720p的显示以及 60°的视野范围，未来计划升级为1080p即120°的视角。

VR与AR结合

HMD和动作捕捉系统的结合跟我们不久前介绍的 伊利诺伊大学香槟分校团队的工作 类似，可以带来虚拟现实（VR）与增强现实（AR）的双重体验。但是MindLeap还融入了脑电波读取的技术，Tadj称，这是全球首次将神经科学、虚拟现实、增强现实及3D全身动作捕捉融于一体，将带给玩家无时延的游戏体验。

佩戴上MindLeap之后，头向右转即开始AR模式，此时头部的摄像头开始跟踪在面前晃动的手指动作。屏幕上则呈现出用户手部的动作以及周围的环境，不仅如此还会在手指上渲染火焰（增强现实）。而且头箍会跟踪用户的精神状态，如果是放松的，火焰是蓝色的，而如果用户紧张，火焰聚会变成红色。

如果用户将头向左转则激活VR模式，此时用户的手还在平面上现实，但是周围的环境则变成了未来主义的空间。用户可以在虚拟世界中触摸、感知、表现、移动，仿佛置身于现实世界。

脑力竞赛

不过最有趣的是MindMaze展示的仅靠意念控制的对抗游戏。游戏里面屏幕两头各有一个会伸缩的魔法球，中间则是一个小球。魔法球靠对战双方的意念控制，双方均佩戴植入前额传感器的头带，游戏目标是利用能量爆发将屏幕中央的球膨胀推开对方的球。球膨胀得越大代表脑力越强。不过，不习惯的玩家一开始必须靠缓慢的深呼吸来放松精神。原型演示中仍有一些时延，而且还需要校准。不过看起来整个游戏呈现的效果的确不错。

根据MindMaze科学顾问Olaf Blanke的说法，MindLeap利用医疗级技术创建了一个直观的人机接口，通过识别关键的神经特征实现无与伦比的响应性，将会开启一个神经康复与游戏的全新时代。

在 VR 最近风生水起的大环境下，MindLeap的未来看起来不错。但是要想实现消费化还有大量的工作要做。仅靠精神的放松和紧张来控制游戏档案还是不够，不过如果MindMaze掌握了精确的神经信号识别技术，辨别面部表情、情感等高级用法也不是天方夜谭。公司的目标是实现技术的开源化、无线化以及跨平台。系统将支持Xbox、PlayStation、iOS及Android等多个平台，在获得850万美元天使融资后，公司计划将在未来数月开放MindLeap引擎SDK给游戏开发者，MindLeap装置则会在今年晚些时候面世。到时候我们再来看看，他们又能取得哪些突破吧，不过下面The Verge的这段体验视频我们可以先睹为快：

[ 36氪 原创文章，作者: boxi]