Facebook详谈脑机接口成果：全天候可穿戴AR眼镜强大输入方式

来源：映维网  作者  黄颜

日前，Facebook Reality Labs通过新一期的博文介绍了他们的脑机界面（Brain-Computer Interface；BCI）研究团队和最近进展，以及这对未来增强现实眼镜的意义。下面是映维网的具体整理：

对于艾米丽·穆勒（Emily Mugler）来说，那是一个改变一切的时刻。

当时是2017年4月下旬，雷吉娜·杜甘（Regina Dugan）刚刚登上F8讲台并提出了一个煽动性的问题：“假如你可以直接从脑海键入文本，这又将如何？”她接着详细介绍了Facebook正在进行中的研究：只需要在脑海构思你要说的话，系统就可以直接帮助你键入相应的文本，无需发出一个音节或敲打一个键盘。

穆勒回忆道：“那天晚上我就给他们发了我的简历。”当时她正在美国西北大学攻读生物工程博士学位，并尝试根据清醒时大脑手术数据来解码语音。这是患者在记录语音和大脑信号时依然能够保持清醒的位置，并且通常可用于帮助绘制能够安全移除而不损害认知功能的组织。

在那之前，穆勒与因肌萎缩侧索硬化而无法说话的患者进行了合作。为了帮助患者更轻松进行交流，她曾使用脑电图来测量大脑的电活动。遗憾的是，设备用起来十分困难并且缓慢。她解释说：“患者有时需要70分钟才能键入一句话。”这次尝试激励了她在整个博士研究期间及以后的工作，并立志追求更好，更有效的方法来帮助改善人们的生活。

艾米丽·穆勒是Facebook Reality Labs脑机接口团队的工程师。当她在2017年的F8演讲中知道Facebook正在追求一种非侵入性的可穿戴的BCI设备时，她马上选择要加入这家公司。

她开始将言语作为一种更为有效的交流方法。尽管对脑机接口技术的探索最初是从2004年开始，并以脑皮层电图（ECoG）的方式进行，但当时世界范围内致力于解决这个问题的实验室数量非常稀少。另外，由于ECoG需要在脑皮层放置电极，所以这不是一种完全无创的解决方案，亦即一种可以在体外运行的解决方案。

在看完F8大会的主题演讲后，穆勒对Facebook的脑机界面研究感到非常兴奋，因为那里看起来最有可能给出她所寻找的答案。

1. 设计未来

想象一下这样一个世界：你可以立即访问当今智能 手机 的所有一切，并且完全可以实现免手操作。你可以随时随地与生活中最重要的人共度美好时光。不管有什么外部干扰，地理限制，甚至身体残疾和运动限制，你都可以以有意义的方式与他人建立联系。

这是我们相信的未来，我们认为这将是一对时尚增强现实眼镜的终极形状参数。在首席科学家迈克尔·亚伯拉什和Facebook Reality Labs（FRL）团队看来，我们正站在下一波计算浪潮的最前沿，未来AR和 VR 的组合技术将出现融合，并彻底改变我们与周遭世界的交互方式，以及我们工作，娱乐和沟通的方式。

这个未来尚有非常遥远的距离，但今天进行的早期研究是实现其承诺的第一步。我们需要解决的最有趣和最具挑战性的问题之一是输入问题。换句话说，当我们戴上一副AR眼镜后，我们将如何实际地使用它们？

亚伯拉什写道：“这一定是全新的方式，不同于基于鼠标/基于图形用户界面的界面，穿孔卡和电传打字机。”

这时正是脑机界面发挥作用的时候。

2. 寻找全新的界面

FRL的研究总监马克·雪佛莱特（Mark Chevillet）说道：“我从小就看着威廉·吉布森和尼尔·斯蒂芬森等关于脑机界面的小说长大，而我在长大后有很大一部分时间都在尝试探索脑机界面是否能够成为现实…但对于这最终变成了一份真正的工作，我现在都依然感到惊讶。”用意念控制机器已经不再局限于科幻作品。人类已经在利用脑机界面技术来进行自我喂食，牵着亲人的手，甚至驾驶喷气式飞机模拟器。但是，这个领域迄今为止都只能选择植入式电极。他指出：“今天没有其他方法可以做到，但我们团队的长期目标是以一种非侵入式可穿戴设备实现这个目标。”

马克·雪佛莱特是Facebook Reality Labs的脑机接口研究项目的负责人。这个项目的目标是开发一种非侵入性的，无声语音界面，并允许用户只凭意念即可实现文本键入。这种技术未来有望成为全天候可穿戴的AR眼镜的强大输入方式。

在加入FRL并建立和领衔一直致力于脑机接口研究的团队之前，雪佛莱特曾在约翰霍普金斯大学应用物理实验室（Johns Hopkins University Applied Physics Laboratory ；APL）工作。他解释说：“吸引我加入APL的地方是，是他们将尖端机器人技术与手术植入电极结合起来，并为受伤的老兵开发假肢的研究。”

受到启发的雪佛莱特帮助APL建立了一个更广泛的应用神经科学相关研究项目，并旨在探究这项技术未来的发展方向，以及它将如何以非侵入性方式帮助更多的人群。他介绍道： “我领导了一个内部研究计划，其目标是看看我们是否可以利用运动假肢方面的概念，以及我在认知神经科学方面的其他工作来为无法说话的人群开发一种通信假体。我们同时尝试探索是否可以利用非侵入性的方法，从而允许更多的人进行使用。”

在接受Facebook邀请并建立一支专注于脑机接口的团队之后，雪佛莱特提出了一个雄心勃勃的长期研究项目：挑战可能的极限，并重新定义最先进的技术。这时他突发灵感：基于可穿戴设备的通信脑机接口不仅能作用于无法说话者，它可能同时是人们与数字设备进行交互的一种非常强大的方式。

尽管支持语音作为输入机制的智能家居和智能手机正越来越受到市场的欢迎，但它们并不适合所有的情况。如果你身处一个拥挤的房间，走在嘈杂的城市街道，这可怎么办？正如雪佛莱特所说，“大多数人都用过手机的语音助手，但他们几乎不会在其他人面前使用它。”

然而，如果你可以实现免手操作的便利和语音语言的速度呢？

3. 两支团队，一个目标

对于这个愿景，雪佛莱特开始建立一支旨在探索非入侵性的可穿戴脑机接口设备是否可能成为现实的跨学科团队。

“我们显然需要真正理解语音产生及其背后的神经科学的人才，而我们幸运地找到了艾米丽，或者说她找到了我们。”他如是说道。随着团队的发展，这个问题的跨学科性质吸引了各种各样的顶尖研究人员，涵盖从生物医学成像到机器学习和量子计算等领域。但FRL团队暂时无法解决一个问题：在确定要构建何种类型的可穿戴设备之前，他们需要明确是否可以实现无声的语音接口。如果是，这又需要什么神经信号。

就目前而言，这个问题只能通过植入电极来解决，所以雪佛莱特联系了加利福尼亚大学旧金山分校的世界著名神经外科医生张复伦（Edward F. Chang）教授。张复伦同时在负责一直大脑测绘和言语神经科学研究团队，并致力于为神经系统疾病患者探索新的治疗方法。

雪佛莱特回忆道：“我去了他的办公室并介绍了这个愿景。我解释说我希望知道语音BCI是否可以通过可穿戴设备的形式实现，以及他们团队对植入电极的研究在多大程度上可以推进我们的非入侵性研究。”

他发现，张复伦早就计划为因脑损伤而失语的患者开发一种交流设备，如脑干中风，脊髓损伤，神经退行性疾病等等。但他明白这个目标需要的资源在短期内尚不存在。

在讨论了加利福尼亚大学旧金山分校旨在改善瘫痪和其他形式言语障碍的患者生活的研究重要性，以及Facebook对通过脑机界面来改变我们与技术交互方式的长期潜力的兴趣后，两人决定为了共同的目标而合作，一起探索是否真的可以实时解码大脑活动中的言语。

4. 一个充满前景但尚未成熟的结果

张复伦及其实验室同事大卫·摩西斯（David Moses）日前通过《Nature Commnications》期刊发表了他们的研究成果。他们证明了在记录大脑活动过程时能够以几乎实时的速度解码大脑构思的言语。原来的解码研究都是离线进行，而这一论文的关键之处是他们能够实时根据大脑活动解码完整的口语单词和短语。当然，研究人员强调他们的算法目前只能识别有限的单词和短语，但他们希望在接下来的研究中扩大可识别的词汇量和降低错误率。

神经科学领域在过去十年间经历了显著的进步，我们对大脑理解和产生言语的方式有了进一步的了解。与此同时，全新的人工智能研究提升了我们将语言变成文本的能力。在结合起来的时候，它们有朝一日或许能够帮助我们直接通过意念进行沟通，而这个可能性将会极大地改善中风患者的生活。

发表于《Nature Commnications》期刊的论文研究了当时正在接受大脑手术以治疗癫痫的正常言语患者。这属于一个由FRL支持的更大规模的研究项目的一部分：Project Steno。Project Steno的最后阶段将涉及为期一年的研究，并旨在确定是否有可能利用大脑活动来恢复患者的交流能力。除了提供资金之外，一小组Facebook的研究人员与张复伦及其实验室进行了直接合作，为其提供输入和工程方面的支持。加利福尼亚大学旧金山分校负责监督研究计划，并直接与研究志愿者合作。Facebook研究人员对数据的访问权限有限，后者始终由加州大学旧金山分校保管。

最终，研究人员希望实现每分钟100字的实时解码速度，词汇量1000字，单词错误率低于17％。通过证明这个利用植入电极来帮助失语患者的概念证明，我们希望加州大学旧金山分校的研究能够为我们开发完全非入侵性可穿戴设备所需的解码算法和技术规范提供支持。

要以非入侵性的方式实现加州大学旧金山分校研究的相同结果，我们尚有一段非常遥远的路途要走。为了实现这个目标，FRL将继续与其他合作伙伴一起探索非入侵性脑机接口的方法，包括华盛顿大学医学院的马林克罗特放射学研究所（Mallinckrodt Institute of Radiology）和约翰霍普金斯大学应用物理实验室。

我们正在从一个利用近红外光的系统开始。

5. 看见红外光

与身体中的其他细胞相似，神经元在活跃时会消耗氧气。所以，如果我们能够检测到大脑氧气水平的变化，我们就可以间接地测量大脑活动。想象一下脉搏血氧仪，就如同它能够通过手指测量血液中的氧饱和度一样，我们同样可以使用近红外光以安全，非入侵性的方式测量大脑的血液氧合作用。这类似于今天通过功能行磁共振成像（fMRI）中测量的信号，但不同的是我们将采用由消费级零件制成的便携式可穿戴设备。

下图是Facebook Reality Labs开发的可穿戴脑机接口设备的早期研究工具包。团队一直在测试使用非入侵性技术来解码单个构思单词的能力。即便只是少数的想象式单词，比如“选择”或“删除”，能够解码它们将提供与当今VR系统和未来AR眼镜进行交互的全新方式。

我们不认为这个系统很快就能解决AR的输入问题。它目前十分笨重，缓慢，而且不可靠。但潜力非常大，所以我们认为它值得我们投入时间来不断进行改进。尽管测量氧合可能永远不会允许我们解码意念句子，但这能够识别少数的意念命令，如“主页面”，“选择”和“删除”，并为我们提供与当今VR系统和未来AR眼镜交互的全新方式。

我们同时在探索从将测量血氧作为检测大脑活动的主要手段，拓展至测量血管运动，甚至神经元本身。得益于智能手机和LiDAR光学技术的 商业 化，我们认为我们可以创建小巧，方便的BCI设备，并允许我们以更接近于植入电极水平的神经信号，甚至终有一天能够解码无声言语。

这可能需要十年的时间，但我们认为我们可以缩小差距。

6. 负责任的创新

科技 的发展不可避免，而且它永远不可能是中立。它始终与特定的社会和历史背景相关。在过去的五年中，神经技术取得了巨大的进步，部分原因是美国，欧洲，日本，中国和澳大利亚的大量国际 投资 。所以，社会需要一定的时间来理解其潜在的可能，以及它对人类的意义。

尽管BCI作为AR的主要输入机制仍有很长的路要走，但在这种潜在的强大技术成为商业产品之前，我们应该早日开始思考重要问题的答案。例如，我们如何确保设备安全可靠？无论肤色如何，它们适用于所有人吗？我们如何帮助人们按照期望的方式管理自己的隐私和数据呢？

雪佛莱特指出：“我们已经学到了很多。例如在项目的早期阶段，我们要求我们的合作者向我们分享癫痫患者的去标识电极记录，从而允许我们验证他们的软件。尽管这在研究学界非常常见，而且这对部分期刊而言是一项要求，但作为额外的保护层，我们已经不再要求他们向我们提供电极数据。”

穆勒补充说：“我们比其他任何人都更了解这项技术，所以我们现在应该开始与社区讨论这个问题。我们并非都是接受过培训的生物伦理学家，但这并不意味着我们不能或不应该参与对话。事实上，我们有责任确保每个人都明确知晓科学的进步，这样我们就可以对这项技术的未来进行讨论。”

这正是我们支持和鼓励我们的合作机构在同行评审期刊发表他们的研究，以及我们今天要讲述这个故事的原因。

雪佛莱特说道：“我们无法预测或解决与这项技术相关的所有道德问题。我们所能做的就是承认科技的进步已经超越了人们所知道的可能性，并确保向社区传达这样的信息。神经伦理设计是我们计划的关键支柱之一，而我们希望对我们正在开展的工作保持公开透明，这样大家可以告诉我们他们对这项技术的担忧。”

7. 未来的愿景

AR的承诺在于它能够将人们无缝地接入周遭的世界，以及联系彼此。我们不再需要低头查看手机屏幕或拿出笔记本电脑，我们可以保持对现实世界的视图感知，同时获取有用的信息。这是一个诱人的愿景，但需要一种进取的精神，大量的决心和开放的态度。

全天候可穿戴AR眼镜的输入问题仍有待解决，而脑机接口代表着一条通往解决方案的道路。十年后，直接根据大脑实现输入的能力可能将成为一种默认的模式。在不久之前，这听起来仿佛就像是科幻作品。但现在，这个未来感觉已经像是触手可及。当然，我们有责任确保这种技术适用于所有人。

原文链接：https://yivian.com/news/64373.html