说话喜欢手舞足蹈？神经网络揭秘人类手势的奥秘

【网易智能讯4月3日消息】还记得上次有人翻过你的推特吗？无论这样的举动是否伴有语言上的表达，你都知道它究竟是什么意思。

从行动到意义的转换能够无缝而直接，是因为我们被赋予了不用交谈和倾听就能表达和理解的能力。我们可以通过指向、模仿来增强叙事，通过有节奏的比划强调并通过简单的手指组合来传达整个反应，从而引导对方的注意力。

虽然实际呈现的细微差别略有不同，但是通过肢体动作来辅助沟通的趋势是普遍的。例如，在巴布亚新几内亚，人们会指着他们的鼻子和头，而在老挝，人们有时会用嘴唇。在加纳，左手指向可能是禁忌，而在希腊或土耳其，用食指和拇指形成一个环以表示一切都OK可能会让你陷入困境。

尽管手势（gestures）多种多样，但我们可以将其粗略地定义为用于重复或强调消息的动作（无论该消息是否被明确说出）。手势是“ 代表行动 ”的动作，但它也可以传达抽象或隐喻信息。它是我们从很小的时候就开始使用的工具，即使先天性失明的孩子在演讲期间也会在某种程度上用肢体语言来进行表达。每个人都会这样做。然而，我们很少有人停下来考虑将手势视为一种研究现象――去思考它的神经生物学原理，它的发展，以及它在帮助我们理解他人行为方面的作用。随着研究人员对神经网络的探索逐步深入，人们发现手势会引导我们的感知，就像感知会指导我们的行为。

手势：先天倾向

Susan Goldin-Meadow在人类肢体语言领域做出了突出的贡献，虽然，正如她所说，在20世纪70年代她首次对手势产生兴趣时，“手势还没有成为人们关注的领域。”少数人曾做过手势方面的研究，但是几乎完全是非言语行为研究的一个分支。此后，她开始研究手势在学习和语言创造中的作用，包括聋儿在不接触手语时创建的手势系统。（手语不同于手势，因为它构成了一个完全发展的语言系统。）目前，她是芝加哥大学的一名教授，管理着一个最著名的实验室，研究手势的产生和感知。

“这是一个关于未说出口的想法的美妙窗口，而且未说出口的想法往往是最有趣的。”她这样说道，同时用了很多手势来辅助表达。

?

（图：芝加哥大学心理学教授SusanGoldin-Meadow协助创建了现代手势研究领域。她的职业生涯始于探索手势在学习和语言创造中的作用。）

许多接受过Goldin-Meadow培训的研究人员现在正在芝加哥大学以外探索类似的问题。Miriam Novack在2016年攻读了Goldin-Meadow的博士学位，作为西北大学的博士后，她研究的问题是手势在人的一生中如何发展和演变。

根据大多数报道，Novack解释说，没有其他物种可以用“指向（point）”来传达意义，甚至黑猩猩或猿类也不可以，除非它们是由人类饲养的。相比之下，人类婴儿在说话之前经常这样做，我们产生和理解符号行为的能力与语言同步发展。手势也是课堂上的一个有价值的工具，它可以帮助幼儿将动词延展到新的语境或解决数学方程式。“但是，当孩子们开始明白我们的手部动作是用于交际时，并不一定清楚它们是信息的一部分。”

当孩子们找不到表达自己的词语时，他们会通过双手来“交谈”。Novack发现，婴儿从肢体行动中获得意义的能力随着年龄的增长而增加。成年人如此自然地做到这一点，因而很容易忽略――将比划的形状和轨迹的映射意义放在一起并不是一件容易的事。

手势可能是简单的动作，但它们不是孤立地运作。研究表明，手势不仅可以增强语言，还有助于语言的习得。事实上，两者可能共享一些相同的神经系统。人们在一生中接触到的手势体验也可以帮助我们从别人的动作中汲取意义。但是，单个细胞或整个神经网络是否能够调解我们破译他人行为的能力，这一点仍有争议。

大脑：体验认知

Noam Chomsky是语言学和认知科学领域的著名学者，长期以来一直认为语言和感知行为系统是不同的实体―― 其不需要在手势交流中协同工作，即使它们都是传达和解释象征思想的手段。研究人员尚未完全理解大脑中语言的组织方式，因而这个问题尚未得到解决。但许多科学家，如Anthony Dick认为这两个功能依赖于一些相同的大脑结构。

?

（图：佛罗里达国际大学的神经科学家Anthony Dick发现手势和语言依赖于某些相同的大脑结构。）

Dick及其同事使用功能磁共振成像（fMRI）扫描大脑活动，证明 了手势与语言处理能够协同工作。所涉及的具体领域和激活程度随年龄而变化，这表明年轻的大脑仍在磨练其手势 - 语言整合技能并改善区域之间的联系。用Dick的话说，“手势本质上是更广泛的语言系统中的一个尖顶”，它集成了语义处理区域和感知行为区域。但是，语言本身在多大程度上是一种感知行为经验，一种了解依赖于感官印象和动作的世界的方式？

Manuela Macedonia最近刚取得了语言学硕士学位，她注意到一个学习意大利语学生群体中反复出现的模式：无论他们重复多少次同样的话，他们仍然无法结结巴巴地说出一个连贯的句子。在教学过程中，她让学生听，写，练习和重复，正如Chomsky所倡导的那样，但这还不够。有些东西缺失了。Macedonia 正在接近一个听起来很像Dick的假设：这种语言不过是模块化。

?

（图：Manuela Macedonia表示，通过将手势与运动和感官体验联系起来，手势体验可以丰富人们对言语知识的理解。）

Macedonia认为，当孩子们学习第一语言时，他们会用整个身体吸收信息。例如，“洋葱”这个词与所有五种感官紧密相连：洋葱具有球根状，纸质皮层沙沙作响，苦味以及切片时产生催泪的气味。甚至像“喜悦”这样的抽象概念也有多重感官成分，比如微笑，欢笑和欢乐。在某种程度上，认知是“呈现（embodied）”――大脑的活动可以通过身体的行为和经验来改变，反之亦然。因此，如果学生只是倾听、写作、练习和重复，那么学习外国词语就不会成功，因为这些口头经验被剥夺了他们的感官联想。

Macedonia发现，通过执行语义相关手势来强化新单词的学习者能够改善记忆。不要简单地重复“桥”这个词：在你背诵时用双手做一个拱门，这样做可以使大脑保留更深的记忆，因为单词是一生中获得的经验集群的标签。

多感官学习允许像“洋葱”这样的词语生活在大脑中的多个位置 - 它们分布在整个网络中。如果一个节点由于忽略而衰减，则另一个活动节点可以恢复它，因为它们都已连接。“每个节点都知道其他节点知道什么。”Macedonia说。

神经：体验连接

用手势来丰富语言的力量仅代表手势与感官体验相结合的一种方式，行为产生和感知也是如此。ElizabethWakefield认为，手势和理解背后的神经系统受到我们过去产生相同动作的经验的影响。

?

（图：芝加哥Loyola 大学的神经科学家Elizabeth Wakefield是最早使用脑部扫描研究儿童和成人手势感知发展的人之一。）

Wakefield研究日常行动如何帮助学习和影响认知。在深入研究这些问题之前，她需要了解手势处理是如何发展的。为此，她进行了一项fMRI研究，该研究是首批检查儿童和成人手势感知的研究之一。

参与者观看一则视频，视频中一位女演员在说话的同时做手势，研究发现，参与者的视觉和语言处理区域并不是唯一的活跃区域，与动作相关的脑区域也是活跃的。区别在于，成年人在这些地区表现出比儿童更多的活动，Wakefield认为这是因为成年人在做出类似动作方面有更多经验（儿童在说话时倾向于减少姿势）。

Wakefield的研究并不是唯一证据。无数实验证明，芭蕾、篮球、弹吉他等动作都有类似的动作“镜像”现象。在这种情况下，当技术人员观察他们的工艺由他人执行时，其感觉运动区域较普通人而言更活跃。（矛盾的是，一些实验观察到完全相反的效果：专家的大脑反应比非专家少。但研究人员认为，在这些情况下，经验使得他们的大脑在处理动作方面更有效率。 ）

 

Gallaudet大学的助理教授Lorna Quandt研究了聋人和听力障碍者中的这些现象。她使用脑电图（EEG）将手势分解为感觉运动组件，以显示某些行为的记忆会改变我们预测和感知他人手势的方式。

?

（图：Gallaudet大学助理教授Lorna Quandt研究了某些行为的经验如何影响我们对他人手势的看法。）

在一项研究中，她和同事记录了成年参与者的EEG模式，同时处理了不同颜色和重量的物体，参与者的大脑反应就像他们自己操纵物品一样。此外，其神经活动反映了他们自己的经验：脑电图模式表明他们对物体是重物还是轻物的回忆可预测地影响了他们对这个人正在做什么的看法。

“当我看到你表演手势时，我不只是处理我所看到你做的事情，我正在处理我认为你接下来要做的事。”大脑会预测感觉运动经验，即使只是在毫秒间。

究竟需要多少行为经验？根据Quandt的实验，对于在色彩关联方面变得更专业的直接任务，只需一次触觉试验就足够了。根据Dick的观点，大脑运动区域即使在人类不能活动但观察其他人的运动（一种被称为“观察 - 执行匹配”的现象）的情况下也很活跃。仍有争议的是这些相同地区从其他人的行为中获取意义的程度。更有争议的是什么机制将成为通过感觉运动激活加强理解的基础。这是跨多个大脑区域的协调活动，还是可以归结为单个细胞的活动？

镜像神经元或网络？

一个多世纪以前，心理学家Walter Pillsbury写道：“心灵中没有任何东西不能用行为来解释。”这种说法在镜像神经元理论中有其现代化的表现，手势和言语可以通过关键大脑区域中单个细胞的激活来解释。然而，关于镜像神经元在日常行为中的作用的现有证据可能已被过度阐释。

镜像神经元理论起源于20世纪90年代，研究人员发现，当动物做出一些目标导向的动作如抓取时，特定神经元会发生反应。科学家们惊讶地发现，当猴子被动地观察到一个实验者做出类似的动作时，同样的细胞也会被激活。这似乎是观察 - 执行匹配的明显案例，只不过是在单细胞层面。

研究人员提出了一些可能的解释：也许这些“镜像神经元”只是简单地传达有关动作的信息，以帮助猴子选择合适的运动反应。例如，如果我向你伸出手来发起握手，你的自然反应可能是反映我并做同样的事情。

随着岁月的流逝，有证据表明人类的机制相似，镜像神经元则涉及一系列现象，包括同理心、模仿、利他主义和自闭症谱系障碍等。此外，镜像神经元也与语言和手势相关联。

加州大学认知与语言科学教授Gregory Hickok是一位坚定的镜像神经元评论家，他坚持认为，几十年前，镜像神经元理论的创始人将其重心放在了错误的解释之上。在他看来，镜像神经元值得彻底研究，但精确关注它们在言语和行动理解中的作用阻碍了研究的进展。他认为，观察 - 执行匹配更可能涉及到运动规划而不是理解。

据荷兰神经科学研究所社会脑实验室负责人Valeria Gazzola说，即使那些继续支持行动理解理论的人也开始踩刹车。虽然她是镜像神经元理论的倡导者，但Gazzola承认，对于“理解”行动的实际意义并没有达成共识。“仍有一些变化和误解，”她说。虽然镜像神经元是认知的重要组成部分，但“无论它们是否解释了整个故事，我都会说这可能不是真的。”

最初，大多数人类镜像的证据来自于使用诸如fMRI、EEG、脑磁图等技术同时探测数百万个神经元活动的研究。研究人员已经开始尝试像fMRI适应这样的技术，他们可以用来分析特定皮层区域的细胞亚群。但他们很少有机会从人脑中的单个细胞中直接测量，这将提供镜像神经元活动的最直接证据。

“我毫不怀疑镜像神经元的存在，”Hickok说，“但所有这些脑成像和大脑激活研究都是相关的。他们没有告诉你关于因果关系的事情。“

此外，由于运动障碍而无法移动或说话的人，如严重的脑瘫，在大多数情况下仍能感知言语和手势。他们不需要功能完备的运动系统（和镜像神经元）来执行需要动作理解的任务。Hickok说，即使在猴子身上，也没有证据表明镜像神经元的损伤会导致动作观察中的缺陷。

由于关于个体细胞的说法仍然难以凭经验证实，今天大多数研究者都会仔细斟酌他们的观点。猴子可能有“镜像神经元”，但人类有“镜像系统”。（据Hickok所述，即使是针对猴子的研究也更倾向于关注网络中的镜像效果和系统）。

Quandt认为自己是一名镜像神经元中间人，根据她的脑电图实验，没有声称不同的经历如何改变个体细胞的功能。也就是说，她“完全相信”人类感觉运动系统的某些部分参与解析和处理其他人的手势。“我百分百肯定这是真的。”她说。研究人员可能无法确定帮助我们与身体进行交流和学习的确切细胞，但多感官系统之间的重叠是不可否认的。手势使我们能够表达自己，它也塑造了我们理解和解释他人的方式。引用Quandt的一篇论文：“其他人的行为是通过自我的视角来感知的。”

关注网易智能公众号（smartman163），为你解读AI领域大公司大事件，新观点新应用。