独家 | Hinton、Bengio、Sutton等巨头聚首多伦多：通过不同路径实现人工智能的下一个目标

机器之心原创

作者：机器之心编辑部

技术顾问：Yuxi Li

当地时间 10 月 27 日，Creative Destruction Lab 在多伦多举办了 2016 机器学习与智能市场（2016 Machine Learning and the Market for Intelligence）会议。会议云集了人工智能投资及科研界众多世界级明星。在下午的科研分论坛上 Yoshua Bengio、Geoffrey Hinton、Richard Sutton 和 Ruslan Salakhutdinov 等机器学习领域的巨星人物聚首于此，以接下来 1-5 年的人工智能方面的前沿科研方向为主题进行了公开探讨，并分享了很多有价值的知识和经验。机器之心现场观摩了这些大师级人物对机器学习技术、应用和未来的探讨。未来一段时间，机器之心将陆续发布对本次会议内容的独家整理报道。

整理内容如有疏漏之处，请不吝指正：留言或发送邮件到 editors@jiqizhixin.com。

以下为机器之心的分论坛现场整理。

Yoshua Bengio、Geoffrey Hinton、Richard Sutton 和 Ruslan Salakhutdinov 同台共同探讨人工智能这一研究领域的接下来 1-5 年的人工智能方面的前沿科研方向。

这个明星小组论坛的主持人是科技领域的明星风投公司 DJF（Draper Fisher Juvetson）的合伙人 Steve Jurvetson。Steve 曾经投资过 Hotmail、Tradex、SpaceX、Nervana、D-Wave 和特斯拉等众多明星科技创业公司，他还拥有世界上第一辆 Tesla model S 和第二辆 Tesla model X（第一辆在 Elon Musk 手里）。但是，即使是 Steve，主持这场大师云集的小组论坛还是很有压力。

　　

　　 本次小组论坛的主题是「What's Next?The Research Frontier（接下来是什么？研究前沿）」。论坛开始，Steve 先请每位小组成员分别讨论自己对人工智能领域，其是机器学习领域下一阶段的科研方向的看法。

下一步，去向何方？

　　 在未来的一年里 Bengio、Hinton、Sutton 和 Salakhutdinov 教授认为都有哪些问题需要解决？我们会在哪些方向取得进展？

Yoshua Bengio

　　 Yoshua Bengio 教授与 Hinton 教授和 LeCun 教授是深度学习崛起背后的领军人物。从 20 世纪 80 年代到 90 年代再到 21 世纪前几年，在那段很少有其他人看到深度学习的发展潜力的时间里，他们三位一直在培养和孕育深度学习。

　　

　　 Bengio 教授列出了两个方向：

1. 解释性的无监督学习（Explanatory Unsupervised Learning）

1）当前的模型通过提取表面的规律来解决表面的问题。 Bengio 教授给出了一个图像识别系统的例子。该系统可以被各种各样的色调愚弄，比如背景绿化仍会增加物体被识别成野生动物的可能性。

2）机器无法做到人类非常擅长的无监督学习。 即使两岁孩童也能理解直观的物理过程，比如丢出的物体会下落。人类并不需要有意识地知道任何物理学就能预测这些物理过程。但机器做不到这一点。

3）处理罕见的危险状态所需要的带有隐变量（latent variable）的预测 (（predictive）,，因果（causal）和解释性（explanatory）模型

a. 研究和开发带有隐变量的模型非常重要

b. 为什么带有隐变量的模型很重要？因为在可观察到的事物与观察不到的事物之间存在因果关系

c. 除了要有更好的模型，处理无标签数据也很重要。无标签意味着没有进行人类解读。

d. Bengio 教授给出了一个关于开发安全的自动汽车的例子：自动汽车应该要能搞清楚其在训练过程中从未见过的危险状况。

4）基于模型的强化学习、域适应（domain adaptation）、半监督学习、多任务学习等的应用 。Steve 问 Bengio 教授因果模型（causal model）是否能以一种无监督的方式衍生出来。Bengio 教授认为无监督将会是一个关键的组成元素，但我们必须使用所有的信息源。我们既应该使用有标签数据，也需要无标签数据。事实上，我们遇到的数据大多是无标签的，也就是说没有提供人类的注解。

2. 记忆（Memory）

Bengio 教授还提到未来几年记忆（memory）将成为一个热门的研究领域。为什么记忆会在这个领域如此重要呢？因为记忆与推理存在紧密的联系。从本质上讲，推理就是各种信息的组合过程。为了能够得出能够准确预测未来的结果，你需要有合理的预测步骤。这个过程会在很大程度涉及到记忆。

Geoffrey Hinton

Hinton 教授是第一批使用反向传播算法来训练多层神经网络的研究者之一，他也是深度学习社区的一位重要大师。

　　

　　 Hinton 教授用一个他常开的玩笑开场。他对医学院学生说不要去当放射科医生，因为这个工作在未来 5 年内就会被深度学习应用取代。Hinton 教授指出，通常而言，如果你有大量数据和高速的计算芯片，并且需要解决预测问题，深度学习基本上都能派上用场。

　　

　　 Hinton 教授认为未来可能会实现的两件事：

1. 发现比 ReLU 效果更好的「神经元（neurons）」模型

发现比我们的标准 logistic 单元或修正线性单元（ReLU）效果更好的「神经元（neurons）」模型。

为了解释这个问题，Hinton 教授首先简要谈论了自 50 年代以来人工神经元（artificial neuron）的定义的发展史。

50 年代的时候，人们认为神经元是逻辑门，是确定性的和二进制形式的。然后人们发现它实际上是随机的二进制（stochastic binary）。然后到了 80 年代，Hinton 教授那一代人对神经元的理解从确定性的逻辑门转变成了 S 型的 logistic 单元（sigmoid logistic units）。此后 30 年来，人们一直在使用 logistic 单元；直到 2011 年，修正线性单元随 AlexNet 被引入，进而带来了革命性的影响。

2. 在相对较小的数据集上训练带有大量参数的神经网络。

相较于探索无监督学习，Hinton 教授相信监督学习领域仍然还有一些工作要做。计算能力将越来越便宜，数据集将越来越大，这是如今的趋势。Hinton 教授认为计算能力降价的速度将会超过数据集增长的速度。也就是说，更多的参数可能将不再是噩梦。

数周前，在 Hinton 教授为多伦多大学研究生做的一次讲演中，他表达了自己关于如何做出好成果的观点，他认为可以在网络中利用我们拥有的计算能力并注入尽可能多的参数来获取数据的规律（包括可靠的与不可靠的），并结合所有这些意见来做出预测。这个观点已经在许多任务的完成中得到了成功的证明。

为了解释更多的参数能打造更好的模型，他举了一个关于人类的例子：

我们每个人都有 100,000,000,000,000 个突触。一个人在一生中大概要进行 1000 万次注视（fixation）。以每 5 秒一次计算，就是 200 万秒。如果我们将每次注视都看作是一个数据点，那么参数的数量和数据的数量之间就存在大约 10,000 倍的差异。如果你一次处理一个数据，那么当你有更多的参数时，你所得到的模型的效果就越好。

对于这个例子，Hinton 教授继续指出人脑处理的数据比注视过程中接收的数据多 10,000 倍，但仍然可以处理。而我们的计算机能力不足的原因很可能是因为我们还没有提出一种用于 dropout 的规范化的方法。

Steve 提出对是否可以使用机器学习来优化参数，同时是什么让 Hinton 相信参数是解决问题的关键的疑问。对于 Steve 的这个问题，Hinton 表示赞同可以将其转变成一个机器学习问题，而且这能给科学研究带来很大的裨益。但同时，Hinton 也并未过多深入探讨参数的问题，反而指出人们实际上仍然不知道神经元实际的工作方式，但在研究上我们甚至有避免将我们在生物神经元上观察到的基本性质应用到人工神经元上的趋势。当前的人工神经元仍然还存在诸多限制，还只能计算一些非常简单的问题。为了解决更复杂的问题，我们还需要继续改变基本的神经元。

Richard Sutton

Richard Sutton 教授被认为是现代计算强化学习之父，他在该领域有几个重要贡献，包括时间差分学习（temporal difference learning）、策略梯度方法（policy gradient methods）和 Dyna 架构。

　　

Sutton 教授的兴趣点在于智能本身，以及学习的本质。Sutton 教授并没有探讨接下来一年什么会帮助公司企业获得利益，而是探讨了接下来一年里，他认为机器学习最重要的进展。主要有以下三个方面：

1. 从普通经历中规模化学习的能力

2. 将机器学习扩展到下一阶段

3. 使用深度强化学习进行长期预测，（可能）进行无监督学习

　　

　　 现在的机器学习过程和人类学习的方式并不相同。

Sutton 教授提到了经验学习法，比如人类和动物会通过生活经验来学习知识。在最近的深度学习方法种借鉴了这种经验法，我们用经验构建起巨大的训练集。能像人类那样学习是件非常重要的事情。不过在机器学习中，这种经验学习的方法还关涉到训练集的可扩展性和限制。这就是为什么现在的系统只能「被动学习（learned）」无法「主动学习（learning）」的原因。一个被动学习的系统建立在训练数据之上，而在主动学习系统中，系统能随时能通过新的经验不断提高。对于未来一年机器学习领域的发展，Sutton 总结道：了解世界的运行规律、可扩展的深度学习方法、用于长期预测的深度强化学习以及无监督学习。

在 Sutton 教授看来，学习应该源自与世界交互的过程，而不需要使用有标签的数据集进行训练。它应该是一种更加自然的方式，就像人类小孩与动物的方式一样。它应该有关世界的运行规律和因果规律。Sutton 教授认为他和 Bengio 是在用不同的术语和方法讨论同一个问题。他在用强化学习的方法，而 Bengio 则用的是无监督学习。

他最后说，人工智能目前还有很长一段路要走，我们还仅仅出于旅程的起点，我们将会找到一个稳定的方式赶上甚至超越摩尔定律。

当 Steve 问到这和人类与大脑连接的类比时，Sutton 只是微笑着把问题让给了 Bengio 教授。Bengio 提到 logistic 单位模型受神经元科学假说的影响很大。我们还需要探索更多，才能消除神经科学与机器学习之间的差距。

　　 Ruslan Salakhutdinov

Ruslan Salakhutdinov 教授是卡耐基梅隆大学计算机科学院机器学习系的副教授，之前是多伦多大学的教授，也是 Hinton 的博士生。

　　

　　

Salakhutdinov 教授最近作为机器学习研究的负责人加入了苹果 。他说他们正在组建一个顶级科学家团队。有很多棘手的项目和研究要做。他的工作是确保他们能开发出新的优秀算法。因为机器学习正在被应用到苹果内部的每个角落。他很高兴能够兼顾到所有的地方。

Salakhutdinov 教授说，人工智能与机器学习在未来一到三年内存在四大挑战：

　　 1. 无监督学习/一次性学习（One-Shot Learning）/迁移学习

Salakhutdinov 教授表示他在卡内基梅隆大学的实验室里已经利用数据进行了大量研究，已经可以使用监督学习从数据中提取结构，这是一个新进展，但计算机距离无监督学习还很远。他还提到了一次性学习，Bengio 和 Hinton 也提到过这种方法。只是目前的机器还不能像人类一样从少数例子中学到新的知识与概念。

　　 2. 推理、注意和记忆

Salakhutdinov 教授没有深入探讨这一部分，但他提出了一个问题：如何让系统具有内建记忆，帮助我们进行决策。

3. 自然语言理解/对话与提问/自动应答系统

即使我们在自然语言的推理中取得了很大的进展，但我们距离人机自然交互仍然有很长的一段距离。Salakhutdinov 在被问及建立嵌入记忆是否是让自然语言理解语境和长对话的关键时回答说：需要有正式的记忆网络，能在神经网络中进行读取和存储。建立和设计新的神经网络架构是我们要探索的问题。

Steve 还问到了人机交互自然对话界面建立的时间表，Salakhutdinov 则说，我们仍需在有限的环境中做很多工作，而不是在通用人工智能上。Bengio 则开了个玩笑：「严肃的科学家从不给出时间表。」

4. 深度增强学习

Salakhutdinov 推荐对这一话题感兴趣的人们阅读 Sutton 的著作。他认为认真总结上个世纪 80 到 90 年代增强学习的成就之后，人们将会取得更伟大的进步。

讨论花絮

除了讨论这一个领域未来的展望，教授们还探讨了很多有趣的想法，互相开了开玩笑，与 Steve 进行问答，下面是从讨论中摘录的部分有意思的花絮。

• Hinton 教授的灵感之源：「它（大脑）是如何工作的？」

待四位教授说完自己对未来科研风向的观点后，Steve 问了一个问题，是什么让教授们坚信，并且在不知道什么时间才会出成果的情况下，全身心将事业投入于此？（在会议中 Bengio 教授曾笑言：「（对科研态度）严肃的教授是不会给你（出成果的）时间线的。」）

Hinton 教授谈到自己的坚持是希望探索出大脑是如何工作的。Steve 追问，「这个强烈的兴趣就在于我们对大脑真实工作情况理解的越多，模拟就能做的越好。」

Hinton 教授：「不，我不关心这个。我只关心大脑如何工作。」

　　

• 关于智能，存在一个简单的解释吗？

在讨论到自由意志这个主题时，Bengio 教授还聊了聊自己正在思考怎样才能简单的解释智能。他提到 Pedro Domingos 教授在书中写过，很多机器学习（和深度学习）都有基础假设。有一些可以理解的简单原理能解释我们的智能以及我们大脑理解世界的能力。如果这个方法复杂到我们无法理解，那就不好玩了。

• Geoffrey Hinton 最近的工作

讨论中，Hinton 教授提到谷歌正全力支持他探索新型人工神经元及其工作原理，谷歌对他基础研究的支持非常有效，有了些突破性进展。他开玩笑说实际上谷歌是比 NSERC（加拿大自然科学与工程技术研究理事会）更好的资金来源。但由于这些讨论的内容本身很难，再加上 Hinton 浓重的英国口音就更加晦涩难懂。Bengio 教授则建议大家可以阅读他们最近发表的论文（论文点击「 阅读原文 」下载，这是 Geoffrey Hinton之前的论文： 使用快速权重处理最近的过去 的修订版）。

• Yoshua Bengio 教授 :「自由意志是一种错觉！」

当 Steve 问 Bengio 教授他如何看待自由意志和计算决定论时，Bengio 教授并没有正面回答，而是给出了一个引人深思观点：「自由意志是一种错觉！」

• 深度增强学习渐热

Sutton 教授和 Salakhutdinov 教授都在强调深度强化学习。这种方法会催生通用人工智能吗？我们还不知道。但我们明白目前还有很多工作要做，而在这条路上我们将会有很多收获。

　　

• 我们需要知道大脑的运作机制

在会议和讨论中，Hinton 教授不断地讲述他关于神经、突触、脉搏、电流和其他工作的进展。他同时提到了图灵对神经网络的观点，并多次强调我们其实还是不明白它（人工神经网络以及大脑）的具体机制。

Bengio 教授与 Hinton 分享了类似的观点，他认为将大脑运作机制研究清楚是非常重要的――「如果我们不这么做一定是疯了」。

Hinton：「我们不知道它的工作机制。」

Bengio：「或者说，我们不知道我们大脑的工作机制！」

　　

本文是机器之心对 2016 机器学习和人工智能市场会议的第一篇小组论坛要点报道。该会议由多伦多 Creative Destruction Lab 于 2016 年 10 月 27 日在多伦多举办。我们希望本篇总结可以让大家从这些研究者的观点中受益。随后的一段时间里，机器之心将会陆续发出该会议的其他精彩小组论坛总结报道。请锁定机器之心，第一时间获得感兴趣的小组论坛总结报道。

©本文由机器之心原创， 转载请联系本公众号获得授权 。

　　 ?------------------------------------------------

加入机器之心（全职记者/实习生）：hr@almosthuman.cn

投稿或寻求报道：editor@almosthuman.cn

广告&商务合作：bd@almosthuman.cn