【荐读】Michael Nielsen《神经网络和深度学习》：智能可以用简单的算法表示吗？

搜狐科技 • 8年前扫码分享

我是创始人李岩：很抱歉！给自己产品做个广告，点击进来看看。

1 新智元编译 1

来源：michaelnielsen.com

作者： Michael Nielsen

译者：刘小芹

　　 【重要通知：世界人工智能大会现场一律凭活动行二维码入场，不接受现金购票，分论坛票只有下午可以入场】 2016 世界人工智能大会活动行浏览过 5 万，大会售票进入尾声，还有一些已购票付款的公司和机构未换二维码。活动行在大会现场设有咨询席位，但提前换二维码节省签到时间。请团购注册的公司关注，务必提醒参会的同事们手机接收二维码，如果不清晰可以打印出来，现场在签到处换领大会嘉宾胸卡。

　　 AI World 2016世界人工智能大会（点击查看终极参会指南！） 【倒计时 6 天，点击“阅读原文”抢票！】 ? 业界领袖回溯 60 年 AI 历史，全球对话人工智能未来挑战，权威发布2016世界人工智能名人堂及中国人工智能产业发展报告；? 国际大咖“视频”远程参会， Bengio 和李飞飞联袂寄语中国人工智能；? 探秘讯飞超脑及华为诺亚方舟实验室，最强CTO与八大研究院院长交锋；? 滴滴CTO与百度首席架构师坐镇智能驾驶论坛，新智元三大圆桌阵容史无前例；? 中国“大狗”与"X-Dog"震撼亮相，龙泉寺机器僧“贤二”卖萌。

　　 【新智元导读】 本文选自量子物理学家、著名科普作家 Michael Nielsen《神经网络和深度学习》最后一章，探讨智能能否用简单算法来表示。Nielsen 从人类大脑复杂的工作机制讲起，介绍了正反两方的观点及其原因：分子生物学认为大脑机制终能得解，以明斯基 “心智社会”理论为代表的观点认为，智能描述的现象包含了复杂的机制。Nielsen 本人认为，保持乐观，相信能找到解释大脑的简单机制并为此而努力是非常有价值的。

　　（文／Micheal Nielsen）本书关注神经网络的一些基本性问题：神经网络是怎样起作用的？怎样利用它们来解决模式识别问题？本书提供了许多实用工具，但当然了，我们对神经网络感兴趣的原因之一，是希望它们能远远超出这些基本的模式识别问题。也许神经网络或其他基于数据计算的方法最终会被用来制造有人的思想，甚至超越人类智慧的机器。这个概念远远超出了本书讨论的范围――世界上也没有哪个人知道怎样制造这样的机器。但展望未来是挺有趣的事。

　　计算机拥有人类智能的可能性这个问题已经有过许多争论，但本书里我不会加入这些争论中。尽管这些争论仍在继续，我相信智能计算机的可能性不需怀疑――虽然这会非常复杂，也许远超现代技术的能力――但现在怀疑它的人总有一天会像生命力论一般被推翻。

　　用简单的法则解释复杂现象早有先例

　　我在本书中探讨的问题是：是否存在一些简单的法则，能用于解释智能？更具体地说，是否有一种能解释智能的简单算法？

　　这是个大胆的构想。也许听起来过于乐观，让人很难相信它会成真。许多人有一种强烈的直觉，认为智能具有不可化约的复杂性。他们深感人类思维的变化多端和可适应性，认为不可能存在一种解释智能的简单算法。尽管存在这样的直觉，我认为匆忙下结论并不明智。科学的历史长河中有无数这样的例子：一些现象最初看起来非常复杂，但一段时间之后就能用一些简单有力的观点来解释。

　　比如说，早期的天文学。人类早在远古时代就知道太空里有许多天体：太阳、月球、行星、彗星，以及恒星。这些天体运行的方式各不相同――恒星运行的轨道相对稳定，而彗星却有可能出现在任何地方，划过天际，然后转瞬即逝。16世纪时，只有傻瓜乐天派会认为这些天体的运行可以用一些简单的法则来解释。但到了17世纪，牛顿提出万有引力定律，不仅能解释天体的运动，甚至能解释地球上的现象，例如潮汐和影子。

　　科学上这样的例子还有很多。再如，组成我们这个世界的无数化学物质能够用门捷列夫的元素周期表以及量子力学的一些简单法则完美解释。以及，生物世界的复杂多样起源于自然选择进化论。这些例子，以及其他还有很多例子，都表明仅仅由于人类大脑――目前是智能的最佳例子――的机能似乎非常复杂，就否定解释智能的简单法则的可能性是不明智的。

　　尽管有这些乐观的例子，但智能只能由大量从根本上不同的机制来解释的观点逻辑上也是说得通的。以我们的大脑为例，大脑的许多机制或许是由人类进化过程中不同的环境选择形成的。如果这种观点正确，那么智能具有相当不可计算的复杂性，不可能存在一个能解释智能的简单算法。

　　哪一种观点是正确的呢？

　　要深入了解这个问题的话，让我们先提一个相关的问题，就是人类大脑的工作机制有没有简单的解释？让我们了解一下定量大脑的复杂性的一些观点。

　　分子生物学的观点：大脑的复杂性，可解

　　第一种观点是大脑连接组的观点：大脑有多少神经元，有多少胶质细胞，以及神经元间有多少连接？你也许听说过的数据是：大脑拥有大约 1000 亿的神经元，1000 亿胶质细胞，以及百万亿神经元间的连接。这些数据大得惊人，令人生畏。如果我们为了了解大脑的机制，需要去了解所有这些连接（不仅是神经元和胶质细胞间的连接），那么我们肯定无法得出一个解释智能的简单算法。

　　第二种观点，也是更乐观的观点，是分子生物学中关于大脑的观点。该观点提出的问题是：描述大脑的构造需要多少遗传信息？为了回答这个问题，我们首先需要考虑人和大猩猩的遗传信息的差异。有一种说法你也许听过：人类和大猩猩的基因相似度达到98%。这个数字有时会有出入，通常在95%至99%之间。这是由于比较的是人类和大猩猩的基因组样本，而非全部基因组。但是在2007年，大猩猩的完整基因组得到分析，我们现在已经了解到，人类和大猩猩有大约1.25亿DNA碱基对不一样。整个基因组有大约30亿DNA碱基对，也就是说，正确的数字是人类和大猩猩的基因相似度是96%。

　　这1.25亿的碱基对中包含多少遗传信息呢？每个碱基对能标记四种可能性――即遗传密码的“基本单位”腺嘌呤、胞嘧啶、鸟嘌呤和胸腺嘧啶。所以每个碱基对能用两组遗传信息来表示，刚好够用来指定四个标记之一。那么1.25亿个碱基对就相当于2.5亿组遗传信息，

　　也就是人类和大猩猩有2.5亿不同的基因。当然了，这2.5亿是人类和大猩猩的所有不同基因组，但我们感兴趣的是其中大脑的部分。不幸的是，没有人知道哪部分是大脑相关的部分。但让我们假定这2.5亿中有一半是大脑的，也就是人类和大猩猩的大脑有1.25亿组不同的基因。

　　 1.25亿是个相当巨大的数字。有多大呢？让我们把它转换成熟悉的东西感受一下：它相当于多少英文文本？我们已经知道，英语文本中一个字母的信息占用一个字节。听起来很少――英文字母表只有26个字母――但英语文本的量非常大。当然了，你也可以说我们的基因组也十分庞大，每对基因组有两字节已经是高估。但让我们忽视这点，因为这最多表示我们高估了大脑的基因复杂性。根据这些假设，我们可以得出人脑和大猩猩脑的差异相当于约1.25亿个单词，或约2500万英文单词。大约是《圣经》的30倍。

　　信息量相当庞大。不过也还没庞大到无法理解。也许单独一个人无法全部理解这些文本，但一群专业人士或许就能理解。但跟大脑的 1000 亿神经元、100 亿胶质细胞和 100 万亿神经连接比起来，这些就算小儿科了。就算我们粗略用 10 个浮点来描述一个连接，那也需要 70 万亿的字节。这意味着人脑连接组比基因描述要复杂大约 5 亿倍。

　　这表明我们的基因组不可能包含有神经连接的所有信息。它只能包含大脑机制的总体构造和最基本的一些法则。但这些构造和法则足够让人类具备智能。当然，前提是――小孩子拥有健康、激励的成长环境以及充足的营养来发展智力。假设我们都在合适的环境中成长，一个健康的人类会拥有非凡的智能。从某种意义上说，我们的基因里包含有人类如何思考的本质。

　　更进一步地说，基因里包含的原则信息似乎超出了我们的理解能力。

　　以上提到的所有数字都只是非常粗陋的估计。1.25 亿字节有可能是极大的过估，也可能人类思维背后有一些更加集中的核心原则。也许 1.25 亿的大部分只是相关细节的微调，又或许这个数字还是太过保守。我们现时的目标关键是：大脑的构造非常复杂，但也不像你大脑神经连接的数量那么复杂。分子生物学的观点认为，人类总有一天能够弄明白大脑构造背后的基本法则。

　　前文中我忽视了 1.25 亿字节大概就是人脑和大猩猩脑的遗传差异这一事实。不是所有的脑功能都由那 1.25 亿个单位决定。大猩猩本身就有相当高的智慧。也许智能的关键在于大猩猩和人类共同的心智能力（和遗传信息）。如果这是真的，那么人脑也许只比大猩猩脑高级一点点，至少在智能背后的原则的复杂性上是如此。

　　分子生物学关于大脑的观点让我们对大脑复杂性的描述减少了好几个数量级。虽然令人鼓舞，不过这并不能说明一个解释智能的简单算法的可能性。这种复杂性还能更进一步地减小吗？

　　更确切地说，我们能解决“解释智能的简单算法的可能性”这个问题吗？

　　不幸的是，没有有力的证据能解决这个问题。让我介绍一下现有的证据，需要指出的是，这是一个非常简短、不全面的概述，旨在介绍近期的一些研究进步，而非全面的调查。

　　演化心理学和神经解剖学的观点：“智能”包含了复杂的机制

　　证据之一是2000年4月发表于《自然》杂志的一个实验报告。Mriganka Sur带领一组科学家“重接”了新生雪貂的大脑。通常，雪豹眼睛接收到的信号会被传达到大脑的视觉皮层部位。但科学家改变了雪豹眼睛的信号传达路线，使得信号会传到大脑的听觉皮层部位。

　　大脑的视觉皮层有许多方位柱，由一些神经元小板构成，每个神经元会对视觉刺激做出特定的回应。视觉皮层里最重要的结构是能定位方向的定向图。

　　研究发现当雪豹的视觉信号被传递到听觉皮层是，听觉皮层会有反应。方位柱和定向图会在听觉皮层上形成。虽然比视觉皮层中形成的定向图无序，但很相似。科学家进一步试验雪豹对视觉刺激作出的反应，训练它们对从不同方位照过来的光线作出不同的反应。实验表明雪豹仍然能利用听觉皮层学会“看”。

　　这个实验的结果令人惊奇。这表明大脑中处理不同感官的部位有着一些共同的原则。这为智能有一些简单的法则这个观点提供了支持。不过，我们不能忽视这个实验的一些局限。行为测试里只测试了雪豹对大型物体的视觉反应，以及，我们也无法询问雪豹“你学会看东西了吗？”所以这个实验无法证明“重接”的听觉皮层是否也能让雪豹有同等的视觉能力。

　　那么智能的简单算法这个观点有什么证据呢？一些证据来自进化心理学和神经解剖学。自从1960年代进化心理学发现人类的普同性，即不同文化和成长环境的人类行为的共性。

　　这些人类普同性包括母子乱伦禁忌、音乐和舞蹈、以及复杂语言结构的共同特征例如禁忌词、代词，甚至动词的基本结构，等等。神经解剖学证明人类的许多行为由大脑的特定部位控制，而这些部位似乎所有人都相似。总的来说，这些发现证明人类的许多特定行为在大脑的某些部位中根深蒂固。

　　一些人从这些结论中认为，我们需要分别解释大脑的不同功能，以及大脑功能具有不可化约的复杂性，这种复杂性使得对大脑机制作一个简单的解释（或者，一个智能的简单算法）是不可能的。例如，持这种观点的包括人工智能领域一位著名的研究者 Marvin Minsky。

　　 1970年代至1980年代，Minsky基于人类智慧是大社会环境的个性化结果的观点，提出了“心智社会”理论。他在关于这个理论的著作中概述了他的观点：

　　 “到底是什么神奇诀窍让我们拥有了智慧呢？诀窍就是并没有诀窍。智慧的力量来源于人的多样性，而非什么完美原则。”

　　在对这部著作的评论( "Contemplating Minds: AForum for Artificial Intelligence", edited by William J. Clancey, StephenW. Smoliar, and Mark Stefik (MIT Press, 1994)中，Minsky基于神经解剖学和进化心理学详细阐述了”心智社会”的概念，所作解释与上述观点相似：

　　我们已经知道，大脑是由许多不同功能的区域和核心组成，每个区域的构造和排列完全不同，其中许多区域与人类不同的心理活动有关。现代科学的这些新发现表明，传统上很多用“智能”或“理解”这些常识性词汇来描述的现象，实际上包含着复杂的机制。

　　 Minsky当然不是唯一抱这种观点的人。我认为这种论点很有意思，不过我不认为这些证据有足够的说服力。虽然大脑确实是由许多具有不同功能的区域组成，但不能因此认为对大脑功能的简单解释没有可能性。也许那些不同构造的背后有着共同的基本原则，就像彗星、行星、太阳和恒星的运行背后有着万有引力这一基本原则。Minsky和其他任何人对这种原则的否定都没有令人信服的证据。

　　乐观的必要性

　　我自己是偏向于相信存在一种智能的简单算法。我喜欢这种观点的主要原因，除了前文提到的论据之外，是因为这是一种乐观的观点。在科学研究中，缺乏理据的乐观主义者往往比看似有理的悲观主义者更有勇气尝试新事物。这是通向科学新发现的路径，即使这个发现与最初希望的结果截然不同。悲观主义者可能在某些领域更“正确”，但在科学发现领域不及乐观主义者。

　　这种观点与人们通常试图判断谁对谁错的方式不同。那是处理日常研究的细节的策略，而这种观点用于评估那些或许能重新定义整个研究的宏观、大胆的想法。有时候，关于这种想法是对还是错我们只有很弱的证据。但我们可以接受不被理解，默默努力去发展这个想法，只有这样，科学研究才得以进步。

　　综上所述，最乐观地说，我也不相信我们能找到一种解释智能的简单算法。更具体地说，我不相信我们能做出一个非常短的Python（或C，或Lisp，或其他任何语言）程序――比如说，用超过 1000 行代码――实现人工智能。我也不认为我们找到实现人工智能的非常容易描述的神经网络。但我相信我们假装能找到这样的程序或网络，并为此努力，是非常有价值的。

　　这是发现的路径，通过这一路径我们总有一天能写出更长的程序，或建立一个更复杂的网络来表示智能。所以，假装存在一种终极简单的智能算法，并为此行动，是有意义的。

　　 1980年代，著名数学家、计算机科学家JackSchwartz被邀请加入一场人工智能的支持者和怀疑者间的辩论中。这场辩论最后变得难以控制，支持者兴奋地作着超前的主张，而怀疑者悲观地宣称人工智能绝对不可能实现。Schwartz在这场辩论中像一个局外人般，即使争论升温也保持沉默。辩论的间歇，他被要求就讨论的议题发言。