脑波转语音，每分钟150词，华裔教授研发系统实现“不开口就能说话”-天下网商-赋能网商，成就网商

天下网商记者 贡晓丽

想象一下，如果有一天你醒来发现全身动弹不得，只能眨眨眼，你会怎么办？

法国时尚杂志ELLE主编鲍比就经历了这种事情。鲍比因为突如其来的中风，全身肌肉瘫痪，进入了完全闭锁的状态，眨动左眼是他唯一和外界交流的方式。不可思议的是，鲍比竟然靠眨眼睛“写”出了一本回忆录《潜水钟与蝴蝶》，同名电影2008年获金球奖。而他写书的方法，是“别人指字母，指对了他就眨眼”。

华裔教授 Edward Chang

如今，加州大学旧金山分校神经外科华裔教授Edward Chang及同事开发出来的一套人类语音合成系统，或许可以帮助像鲍比一样大脑和身体损伤的病人，使他们不必开口，就可以与正常人语音交流，彻底从束缚身体的“潜水钟”里解脱出来。该项最新成果已经于4月25日发表在Nature 杂志。

如何做到

其实像鲍比这样思维被封闭在瘫痪身体中的病人不在少数，著名物理学家霍金就是类似的症状，他患有肌萎缩性脊髓侧锁硬化症（ALS），也就是2014年夏天流行的“冰桶挑战”提醒公众关注的“神经渐冻症”。

使用特制语音合成器的史蒂芬·霍金

中国有一位年轻的神经渐冻症病人王甲，他也用“眨眼睛”的方式写了本书《人生没有假如》。

脑波转语音已经不是什么新鲜事了，大脑控制打字的脑机接口技术，依赖于测量头部或眼睛的残余非语言运动，或者依赖于控制光标以逐个选择字母并拼出单词，虽然能够交流，但速度太慢了。

已有的语音合成脑机接口每分钟只能生成8个单词，Edward Chang开发的新装置每分钟能生成150个单词，接近人类的自然语速。

这套将脑活动转化为语音的解码器，通过解码与人类下颌、喉头、嘴唇和舌头动作相关的脑信号，并合成受试者想要表达的语音。

说话这件事其实并没有想象中那么简单，看似只是动动嘴，事实上却是对声道咬合结构精准、快速的多维度控制。

脑机接口实现语音合成的图示

研究人员选择了深度学习方法。

为了进行试验，专家们招募了五名在医院接受癫痫治疗的志愿者。

神经解码的第一步是从高密度皮层活动中提取相关信号特征。志愿者们说了上百句话，而通过植入性大脑皮层电图（ECoG），研究人员可以跟踪控制语言和发音的大脑区域的活动，并将这些活动与志愿者说话时嘴唇、舌头、喉部和下颚的微妙运动联系起来，然后将这些运动学特征翻译成口语句子。

研究人员采用bLSTM（bidi-rectional long short-term memory）循环神经网络来破译ECoG信号表达的运动学表征。接着用另外一个bLSTM解码先前破译的运动学特征中的声学特征。

声学特征是能从语音波形中提取的频谱特征，因此用解码后的信号就可以合成出语音波形。在这个过程中，两个神经网络都会被投喂训练数据，以提高它们的解码性能。

对比志愿者说话的频谱图和大脑信号合成的频谱图，可以看到它们已经非常接近了。研究者们让以英语为母语的人听了听合成的语音，结果表明，至少有70%的虚拟语言是可以被理解的。

临床可行的语音合成脑机接口还难以实现

脑机接口这项充满未来感的技术，在现实当中或许会最先让存在发声障碍问题的群体重新获得“说话”的能力，但在科幻电影中，脑机接口则贡献过很多更大胆的主题。

在电影《阿凡达》中，人类的思维活动可以转移给“替身”(Avatar)，脑机接口系统在电影中是一台类似磁共振扫描仪的睡眠机器。

电影《超验骇客》中，神经科学家威尔遇刺病危，他的妻子因为深爱他，通过脑机接口技术把威尔的“思维”整体传送到了互联网上，电影中脑机接口被抽象为数十个植入电极和一台超级电脑。

技术当然值得期待，但现实中的这一系统要成为一个临床可行的语音合成脑机接口，还存在许多挑战。

该项试验的五位志愿者都是通过神经外科医生在颅内植入电极，来获得大脑活动的数据。而植入脑机接口又存在一个难以攻克的问题：植入电极因为神经胶质细胞的包裹而逐渐失效，无法继续记录神经细胞的放电活动。如果这个问题不能很好解决，长期植入就无法实现，每2-3年做一次手术更换电极的代价太大。除此以外，神经信号的无线传输也是个难题。

科幻与现实，从来都是相互促进、相互提供素材和灵感、相互印证。

也许有人会问，脑机接口技术最终会发展成什么水平？没人能给出答案，科幻作家刘慈欣在《三体》中提到一位面壁者希恩斯，他发明了“全息思维成像”和“思想钢印”，这或许就是终极的脑机接口技术，既能精确读出，也能精确写入，这大概可以作为脑机接口技术的理论终点，可以不断接近但永远无法达到……

本文由天下网商原创，未经授权，不得转载。