Google DeepMind突破大脑屏障：计算机终于有了记忆

DeepMind已经建立了一个可以像常规的图灵机一样访问外部存储器的“神经网络图灵机”。其结果是这个“神经网络图灵机”可以模拟人类大脑的短期记忆。

在神经系统科学领域中，其中一个最大的挑战就是要了解人类大脑的短期工作记忆。与此同时，计算机科学家们也热爱在硅片中重现同样的记忆。

Google 在今年年初曾花费4亿美金 收购 的创业公司DeepMind在今天公布了一台原型电脑，这台原型电脑可以试图模仿一些人类大脑的短期工作记忆的特性。这台新的计算机具备一种神经网络类型，它可以适应与外部存储器共同工作。其结果是这台计算机可以存储记忆并能在之后检索它们从而执行一些有逻辑性的任务，除此以外，它也可以被训练去做一些事情。

DeepMind在人们已经有着悠久探索历史的短期记忆方面取得了突破性进展。在20世纪50年代，美国认知心理学家George Miller进行了一项在脑科学的历史中非常著名的实验。George Miller对人类大脑工作记忆的能力十分感兴趣，他开始着手测量人类大脑的实验并邀请了大批的学生参与这项实验。

George Miller的实验结果显示，短期记忆的能力不能由它包含的信息量来确定。反而George Miller的实验结果显示出工作记忆是以“块”的形式来存储信息，并且大约可以存储7个。

这提出了一个奇怪的问题：这个“块”是什么？在Miller的实验中，一个块可以是一个单一的数字，如“4”，一个字母如“Q”，一个词或一个词组。所以每个块都可以表示任何从一个非常小的信息量变成一个非常复杂的想法的东西，它等效于大量的信息。

但是，无论一个单独的块能表示多少信息，人类的大脑也只能存储七个块在工作记忆中。

这里有一个例子。请仔细看下面的句子：“This book is a thrilling read with a complex plot and lifelike characters ”。

这句话是由大约7块信息组成的，显然这句话在任何普通读者看来都是可以理解的。

与此相反的是，尝试读读这句话：“This book about the Roman Empire during the first years of Augustus Caesar’s rein at the end of the Roman Republic, describes the events following the bloody Battle of Actium in 31 BC when the young emperor defeated Mark Antony and Cleopatra by comprehensively outmaneuvering them in a major naval engagement “。

这句话至少包含20块信息。所以，如果你发现它更难以阅读，不用惊讶。人类的大脑在工作记忆中确实很难以处理这类信息。

在认知科学领域，理解句子的组成部分，并将其存储在工作记忆中的能力被称为变量绑定。这是将一块数据取出，将其分配给记忆，并反复执行此操作的能力。

在90年代和00年代期间，计算机科学家多次试图设计算法、电路和神经网络，希望其可以执行上述操作。这样的计算机应该能够分析一些简单的句子例如“玛丽告诉约翰”，所以在这样的情况下，计算机可以区分出玛丽是说话的角色，说话这个动作和约翰这个倾听的角色。

DeepMind的人员透露，早期的机器的性能非常有限，而他们的架构借鉴了之前的技术并加强了它。

他们开始重新定义神经网络的本质。至今，神经网络已成为相互关联的“神经元”模式，它有能力改变相互连接的强度来响应外部输入。这是一种学习的形式，让他们发现不同的输入之间的相似之处。

但是，计算的基本过程包含一个重要的附加因素。在计算的过程中，外部存储器需要可以被读取和写入。在图灵著名的计算机说明中，存储器就像是一个电报纸条，通过计算机来回传递并存储各种各样的符号供稍后处理。

这种类型的可读和可写的存储器中不存在常规的神经网络。因此，他们仅仅添加了一个。这使得神经网络可以在其存储器中存储变量并返回给它们在之后的计算中使用。

这类似于一台普通的计算机可能把数字3和数字4输入进内部寄存器，之后将它们合在一起生成7。区别在于神经网络可以存储更复杂的表示变量的模式。

由于这种形式的计算与传统的神经网络具有不同的特点，DeepMind给它起了一个新的名字——他们称之为神经体统图灵机，而且第一款产品已建成。神经系统图灵机与常规神经网络类似，它通过接受外部世界输入的信息来学习，但它也会学习如何存储这种信息以及何时进行检索。

DeepMind的工作包括：首先构建设备，然后进行实验。他们的实验中包含了一些测试，看看神经系统图灵机能否执行特定的任务，它可以再扩展这个能力从而实现更大或更复杂的任务。

事实证明，神经系统图灵机已经学会了完美复制的序列长度为20左右的信息。然后在复制序列长度为30和50的信息时，也很少出现错误。对于长度为120的序列，错误开始增多。

他们比较了它们的神经体统图灵机的与常规的神经网络的性能。区别是很显著的。传统的神经网络学会复制序列长度是20的信息时几乎是完美的。但是，当涉及到那些更长的序列时，错误会立刻增多。处理长度为120的序列时几乎是不可识别的。

DeepMind团队也测试了神经体统图灵机执行其他任务的能力。例如，其中之一相当于是复印：该任务是复制序列，然后重复该序列一定的次数，并结束于一个预定的标记。这一次，该神经系统图灵机的表现显著优于常规的神经网络。

这是一个令人印象深刻的产品。DeepMind的实验表明，神经系统图灵机能够从数据中学习简单的算法，并使用这些算法来扩展它的能力。

大脑的这种重新编码能力是人工智能的关键要素之一。除非电脑能复制人类大脑的这种能力后，否则它永远都比不上人脑的表现。 

Google 旗下的DeepMind曾表示，他们的目标是“解决智慧”。如果此解决方案可以达到人类的智力水平，那么最好的测试就是看神经系统图灵机能否具有人类大脑重新编码的能力。 

via  technologyreview