Google Brain负责人Jeff Dean谈机器学习、强化学习与增强学习

编者按：本文由微信公众号“将门创业”（ID:thejiangmen）编译自Fortune，编译Agnes Pan，36氪经授权发布。

下次当你用Google搜索引擎或是地图寻找去电影院的路线时，要意识到在它们提供的相关信息背后，有一个“大脑”在工作，来确保你选择了最安全高效的路线。

当然，这个“大脑”并不是生物意义上的大脑，而是Google的Google Brain研究团队。这个研究团队自成立以来，已经开展了1000余个与深度学习有关的项目，在过去几年中为Google的许多产品提供了技术支持。通过深度学习，研究人员将大量数据输送到到被称为神经网络的软件系统中，让机器以比人类更快的速度，学习如何识别大量信息。

在Fortune的采访中，Google Brain的创立者与领导者之一——Jeff Dean畅谈了最前沿的AI研究，AI面临的挑战以及他们是如何在产品中使用 AI的。

在推动AI发展的过程中，研究人员面临了什么样的挑战呢？

Jeff：人类的学习过程有很多都发生在潜意识中，而非刻意而为，我们通过观察身边的世界，逐渐明白世间万物的规律。这在机器学习中也是很关键的一环，但还仍然是一个未解的难题。

所以您所说的潜意识学习指的是从观察和感知中学习，那如果电脑学会了感知和观察，是否就代表它们能解决一些更复杂的问题？

Jeff：没错，人类世界观的形成主要是潜意识学习的结果。当你还是个孩子的时候，你就开始下意识地观察这个世界，在这个过程中，你也许会接收到外界的一些针对性的信号，比如会有人告诉你“这是长颈鹿”或者“那是一辆车”。然而真正起到作用的是你的与生具来的心理模式，它会对这些星星点点的外界信息作出反应，并将信息内化。

在机器学习中，我们需要更多地去结合潜意识学习和针对性学习。就目前大多数机器学习系统的运作情况来看，我们离这个目标还有一段距离。

您能为我们解释一下AI中的“强化学习”这一概念吗？

Jeff：强化学习的意义是，你不一定知道你具体要采取什么行动，所以你通过选择一个你认为在特定情况下较好的方法，实行它，并观察之后事物会做出什么样的回应，来确定该情况下采取何种行动比较好。就像棋盘游戏，你可以针对对手的每一步棋做出回应。最后，你能在一系列棋局中找到某一步棋的最佳回应方式，并将它内化成一种积极的信号。

强化学习其实就是训练机器能在采取某种行动后，通过结果的好坏，来确定该行动的好坏。如今，这项技术在很多领域都得到了有效的运用。

我认为，强化学习面临的挑战之一是，有时候在采取行动时，你会有太广泛、太多的选择。和棋盘游戏不同的是，现实世界中，人类在处理很多问题时，都有着难以想象的广泛选择。然而在棋盘游戏中，因为规则的约束，你下一步棋的方式十分有限，而其带来的后果也十分明确，不是赢就是输。

但如果我的目的是要做一杯咖啡或者其他东西，我可以选择无数的方式和材料，且做出不同选择所带来的后果也很难预测。

Google的核心产品中有运用到强化学习吗？

Jeff：我们目前运用强化学习的主要领域是与DeepMind的合作，以及我们数据中心的操作系统。它们利用强化学习来设置数据中心内的空调旋钮，以更低的功率来实现理想的安全冷却效果。系统能够探索出哪些旋钮设置最合理，以及当旋钮设置成某种模式时，会有怎么样的效果。

通过增强学习，系统能探索出18个旋钮的各种设置模式，而这些往往是人类无法发现的。对其中的某些设置，人们常常会发出这样的感叹：“这样的设置很诡异。”但是，很多时候，这些设置却会带来令人意想不到的惊喜。

什么样的项目更适合加入增强学习？

Jeff：我刚才提到的数据中心的例子就很好，因为在这类情况下，我们不会有过多过广泛的选择。总共只有18个旋钮，系统可以选择打开或者关闭任何一个旋钮，就可以得出所有的不同情况。相应结果是在可知范围内的，可以通过限定温度范围来对不同的结果做出反馈，反馈信号很明确。这简直就是一个理想的强化学习案例。

另外一个相对复杂的增强学习例子，就是当它运用在呈现搜索结果的时候。针对不同的输入信息，系统对于呈现什么样的搜索结果有太过广泛的选择，所以反馈信号会比较模糊。比如，系统无法准确知道某个用户对搜索结果的满意程度。

这很微妙，我觉得这也是为什么如今强化学习还不够成熟的原因，针对这样反馈信号较模糊的情况，强化学习还无法有效运作。

当您在将研究成果运用于人们每天使用的实际产品时，遇到的最大挑战是什么？

Jeff：其中一点是，很多机器学习的研究和解决方案可以在不同的领域中重复使用，而这往往很难发现。例如，我们与我们的地图团队所做的一些研究。他们希望系统能够识别出现在街景中的所有商业名称和标志，来更好地了解现实世界，比如能分辨一家店是披萨店还是其它商店。

事实证明，为了能在图像中准确地识别文字，我们可以在开发过程中，提供给机器学习模型一些文字周围画有别的图案的图像，训练它在给出的一系列数据中识别文本。

这最终变成了一项十分有用的功能，地图团队还利用它来分析卫星图片，他们用这项功能来识别全美国甚至是全世界的屋顶，来估测安装太阳能面板的房屋比例。之后我们还发现，同样的模型也可以帮助我们进行一些基础的医学成像研究，比如，从现有的医疗图像中找出与临床诊断相关的部分。