Google Brain陈智峰：寻找外行星、保护动物……没有什么是TensorFlow不能做的

今日，极客公园创新大会 IF 2018 在北京召开，Google Brain 首席工程师陈智峰分享了《寻找答案从定义问题开始——TensorFlow 可以用来做什么？》的演讲。

演讲中，雷锋网 (公众号：雷锋网) 发现他展示了一张谷歌搜索图，其中显示过去的 7-8 年，人们对深度学习的搜索量增长了大约有 100 倍，不管是学术界还是工业界，对深度学习的关注度近几年有了快速的增长。于是，谷歌在 2015 年 10 宣布开源 TensorFlow，如今这也成为目前较完整的深度学习软件开发平台。

那么，这个平台到底能为谷歌和其他开发者做什么？近两年它又有哪些进展？除此之外，雷锋网更想知道 Goolge Brain 整个团队正在做哪些研发？雷锋网将其演讲全文整理如下。

深度学习的演变过程

深度学习这几年非常流行，在这张图上，大家可以看到在Google的搜索流量里面，深度学习在过去的7-8年时间里面，增长了大概100倍，从这个侧面也反映出学界和工业界对这个技术的关注程度，是在迅速的提高。大家都想知道，深度学习是什么，它能够为我们做什么？我如何把这个技术应用到实际场景当中去。

其实，深度学习并不是一个突然出现的技术领域，核心算法就是神经网络，神经网络是一种机器学习的模型，这个模型主要特点就是，它可以拟合任何数学上的函数，特别是利用大数据反复迭代的一种，类似于方法来训练好这个模型。

随着大数据的普及，计算机硬件算力的发展，还有算法本身的突破，大家突然发现，这个以神经网络模型为核心的深度学习技术，在很多应用领域都可以大大的提高过去软件系统需要完成的任务，最经典的应用领域大家肯定很熟悉，就是图像识别领域，自2012年以来，在这个领域，自动图象识别的错误率从20%一直持续下降到4%点多，已经超过了一个普通人分辨的图像的能力。

Google在好多年前就已经开始把深度学习的技术应用到它很多产品当中，在这个过程当中，我们也迭代、开发了好几代支持深度学习的软件系统，最终导致我们在2015年10月开源了TensorFlow，借此希望能够进一步推动深度学习的应用和研究。

TensorFlow 是什么？

TensorFlow现在已经演化成一个相当完整的深度学习软件开放平台，比如说，它支持CPU、GPU混合搭建的数据中心的训练平台，它也支持将数据中心训练出来的好的模型，相对便捷的部署到不同的移动端应用上，可以支持类似Google自主研发的特别定制的TPU处理器，这种多平台的支持，我们觉得可以帮助到最多的用户和应用场景，我们同时也非常感谢很多业界的同行对我们的支持，比如说在美国Intel和英伟达都在帮助我们优化TensorFlow在他们各自硬件上的性能。

支持多种硬件的平台是基础，TensorFlow一直以来的一个目标，就是能够帮助尽量多的开发者，能够把深度学习的技术利用起来，最终使得广大的用户从中能力得到益处，基于这个想法，TensorFlow一直很重视多种程序员开发环境的支持。比如说，开发者可以在主要的开发环境中使用TensorFlow。

TensorFlow 能做哪些事情？

TensorFlow在我们公司内部的应用推广是非常全面和彻底的，比如说TensorFlow很早就帮助Google的核心业务（搜索和广告），实施了深度学习的模型，并且在核心业务上体现了他们的性能。

在垃圾邮件过滤也使用了TensorFlow训练的模型，同时在安卓的应用程序推荐上，也上线了TensorFlow的模型等等。很多TensorFlow应用都是发生后台，大多数用户可能没有直接的体验，这里我举几个在移动端的例子来说明深度学习，其实已经很直接的影响了成千上万的用户。

自拍虚化

比如说，安卓手机最近的版本当中增加了一个自拍功能，这个自拍功能就是通过应用深度学习训练出来的视觉模型，可以非常准确的分离前景像素和后景像素，对前景像素和后景像素分别处理，这样的话就可以实现背景虚化这样的功能。

实现这种功能，传统上，手机厂商需要增加第二个摄像头，这就会增加手机的成本，同时对现有用户已经获得的手机就不太容易获得这样的效果，通过新的算法，可以实现一些过去可能非常昂贵才能实现的效果。

语音处理

和图像处理一样，语音处理是另一个被深度学习深刻改变的领域，语音识别要比图像处理更早的采用神经网络，产品方面，这些年智能音箱语音主力大行其道，其中一个很大的原因就是深度学习算法把语音识别和语音生成的技术门槛大大地降低了，过去可能需要20—50个博士的团队才能完成的任务，现在就下载一个现有模型定制一下，就可以达到同样的效果。通用的机器学习框架，可以帮助到更多的开发人员，开发出适合自己特定应用场景的语音应用。

另外一个例子，机器翻译现在你可以用手机拍一张照片，手机软件可以自动的识别出图形中的文字，把文字翻译成另外一种语音，看似简单的应用，其实是图像技术和机器翻译技术很自然的结合。

我很有幸一年多前参与了谷歌内部，把过去的翻译系统升级为神经网络为基础的系统，我们从这些图像可以看到，那次升级极大的降低了机器翻译的错误率，一些语言之间的翻译，几乎可以达到人工翻译的效果。

其他应用

利用深度学习技术，我们不仅可以大幅度的提高已有产品的功能和性能，我们还开发了一些过去很难想象的新功能，比如说邮件自动回复的功能，安卓上的邮箱软件可以分析用户的邮件，比如说你今天早上收到一份你朋友发的邮件，晚上是不是要到哪里吃饭，大多数情况只有三种可能的回答，比如说我会准时到或者是对不起我没有空不能来，或者是我有空，但是我可能需要晚一点到。我们现在邮箱会自动地给你提供三个选择，这样的话在路上看到邮箱，只要一键就可以完成邮件的恢复，极大的方便了用户在手机上处理邮件的效率。

TensorFlow 在其他领域的应用

通过前面我讲的很多应用例子，我们可以看到一个通用的深度学习框架，可以帮助到现有很多互联网上的应用提高他的智能水平，但是我们也可以看到，TensorFlow这样深度学习的框架，在其他许多领域也可以得到领域，比如说我们在伦敦的同事，过去两年努力推进AlphaGo在工作就非常得益于TensorFlow框架本身的帮助，因为TensorFlow在利用超大计算机集群和最新加速器方面的支持，AlphaGo的团队可以更加专注于算法的研究。

我们组也有人在做智能医疗工作方面，由于TensorFlow是一个通用的框架，他们可以很方便的重用现在已有的图像识别模型或者是自然语言处理的模型，针对特定的应用领域和数据，重新训练微调一下你的模型，就可以达到在检测视网膜病变任务上面超过95%的准确率，这个准确率已经超过了普通眼科专家91%的准确率。

在自动驾驶方面，我们在Alpha Waymo的同事，也在利用TensorFlow不断改进他们自动驾驶系统当中的深度模型，包括对路况场景的分割、雷达信号的处理等等。

我们特别欣慰的是通过把TensorFlow开源，我们真的利用深度学习技术的门槛大大降低了，过去两年我们看到很多和互联网毫无相关的行业，也开始尝试利用深度学习的技术和方法，比如说这家公司是一个婴儿食品制作的公司，引进了TensorFlow训练好的智能系统，这个智能系统可以把婴儿食品的原料进行分类，把一些烂掉的苹果和香蕉更准确的排除出去，这样可以大大准确的控制婴儿食品的质量。

我们也很兴奋的看到TensorFlow在计算机科学以外的科学研究上，也得到了使用，比如说上个月美国航天总署宣布一项研究成果，美国航天总署有个开普勒计划，他们的科学家和我们的同事联合开发了一个TensorFlow的模型，开普勒计划本身的目标是通过在望远镜持续不断地观察太空中恒星亮度的变化，希望发现太阳系以外的行星系统，最终希望发现另外一个适宜人类居住的行星。目前该计划已经积累了上百亿个观察数据，几个月前这个TensorFlow的模型，帮助科学家发现了2500光年以外的开普勒90星系中发现了第八颗行星。

人们不仅仰望星空，同时我们在回望我们的地球，在这个应用的例子里面，澳大利亚的科学家用TensorFlow开发的图像识别模型，在数万张海洋航拍图照片中，可以快速并且准确的找到需要保护的大型海洋哺乳类动物，比如说可爱的动物，就是澳大利亚附近的珍惜动物海牛。类似也有科学家，利用TensorFlow把语音处理技术用到鸟类保护上，他们在丛林里安装了很多话筒，采集鸟类的声音，模型就可以很准确的估算出鸟类在一片森林中的数量，从而可以更加精准地对他们实行保护。

我们组还有同事进行一些非常有意思的应用，他们正在尝试利用深度学习的技术来创造音乐，很有意思的是，这些音乐创作的乐曲，还受到了专业DJ的肯定。

跟国内公司的合作

TensorFlow自2015年开源以来，我们一直在努力投入，最近我们开始加大力度对中国市场的支持，比如说我们正在建立一个TensorFlow的中文网站，TensorFlow的开发者也实现了快速的增长，同时，我们也看到超过1000多人参与了TensorFlow的开发，这是一个非常活跃的社区。

另外，我们的数据也显示，到目前全球180多个国家，各种用户已经下载了超过1000万次的TensorFlow开发包，这表明TensorFlow的应用开发也是非常普遍的。

前在中国有大量的开发人员在持续的关注TensorFlow，事实上，我们在自己和众多的中国公司建立伙伴关系，积极的支持和帮助他们更好的使用TensorFlow。

比如说京东内部搭建了TensorFlow训练平台，用于开发图像、自然语言相关的模型，并且把他们用到客服广告等领域。小米也在尝试类似的技术路线，支持他们生态线上各种特殊的应用。网易的有道笔记、网易翻译君也使用了TensorFlow视觉和语言的模型。

非常感谢我们的用户和合作伙伴对TensorFlow的反馈，TensorFlow也正在努力开发新的功能，在去年我们开发了TensorFlow一个模式，这个模式希望能够更加有利于前端的开发，便于调试，支持更多动态的变成模式。

在这里可以右边有一个很简短的程序，在这个程序中，大家应该能够看出一个模式最主要的特征就是在前端的程序流程中，可以更加直接的反映程序算法逻辑本身的流程，这一点我们相信会特别有助于快速原形的开发和调试。

另外，TensorFlow在过去一年中主要推进的项目是TensorFlow Lite模式，这个模式是专门针对移动和嵌入式应用场景打造的机器学习平台，它的目标是希望把部署机器学习在云端训练的模型，更加简单、高效的迁移到移动端上进行部署。

最后，我们也在开发新一代深度学习硬件加速器TPU，去年我们宣布了第二代处理器，这个处理器可以达到180万亿次浮点运算的性能，有64千兆的内存，如果我们把这样的处理器集成在一起，搭建一个集群，这个集群我们估算到，可以非常容易排到世界上超级计算机的前五名。

目前我们正在内部各种产品研发中使用TPU二代，并且有计划在不久的将来开放给公众使用。

。