多数硬件创企将死！2018年深度学习领域10大预言

我对2018年有着不祥的预感，这一年很可能带来翻天覆地的变化。在深度学习领域，2017年我们所见证的突破势头将在2018年继续高歌猛进。2017年的大量研究成果将被运用到日常软件上。

就像去年一样，我将在本文尽述我对深度学习2018的预测。

1.绝大多数深度学习硬件领域的初创公司将会失败

大量深入学习初创公司将在2018年向市场交作业。由于这些公司尚未准备好与之配套的软件，这些设备将面临几乎是确定的失败命运。这些公司把硬件开发刻在了骨子里。可惜，在深度学习市场上，软件拥有同样重要的地位。这些公司中很大一部分不擅长软件开发或者不理解软件开发的成本。这些公司也许能开发出很好的硬件，但市场不会亲睐他们。

收缩列阵解决方案应用，世人皆知的低垂果实已被人拾取。在2018我们不会再像2017年得到十倍的硬件性能提升。研究者们会将这些张量核心用在交互和深度学习训练上。

Intel将提出的解决方案会被延期，并且很可能令人失望。报告显示Intel无法在2017年如期交付，没人能知道他们到底什么时候能够交付。他们会拖作业，质量也会很差。

Google会用它的TPU开发进展再次惊艳世人。尽管Google通过把IP授权给其他半导体公司来进入硬件市场。鉴于Google是黄老板家Nvidia的唯一实际竞争者，市场能理解这种Google的选择。

2.元学习会成为新的SGD。

2017年涌现出一系列优秀的元学习研究。随着研究群体越来越理解元学习机制，随机梯度下降（SGD）终将让位于这一结合了开发性和探索性搜索模式从而更高效的新方案。

无监督学习的进展将是渐进式的。它将主要由元学习算法驱动。

3.生成模型将驱动全新的模型构筑。

生成模型技术将在科学领域发挥巨大作用。目前阶段，大部分科研努力集中在生成图像和对话上。我们需要注意到这些工具同样可以用于构筑复杂系统模型。你会在包括但不限于经济模型构筑领域见证深度学习系统的应用。

4.自我博弈将自动化知识创造

AlphaGo Zero和AlphaZero通过学习简单的规则和自我博弈取得了重大突破。在我看来，这和深度学习系统的出现有同样重要的意义。深度学习发现了通用函数的逼近性，自我博弈则实现了新知识的创造。

你会看到很多在自我博弈方面的突破。

5.直觉机将解决语义差异问题。

这是我最大胆的预测。我们将通过直觉机和理性机解决语义差异的问题。双重过程理论（两个认知机器，一个是无模型的，另一个是基于模型的）将会成为我们构筑新AI的全新通行方式。具有直觉的人工智能将在2018年成为更切实的概念。

6.无法解释所有现象——极有可能伪造说法。

关于提供解释（explainability）有两大问题。其中广为人知的是解释需要涉及人类难以掌握的大量规则。较少人知道的另一个问题是，机器会创造一些违背现行解释的概念。我们在Alpha Go Zero和Alpha Zero身上已经见过这个现象了。人类观测到一步违背常规的棋，很可能是因为人类不具备理解这步棋背后运算逻辑的能力。

在我看来这个问题是无解的。事实上机器会变得越来越擅长“伪造解释”。简单的说，可理解机器的目标是从直觉层面上去理解人类会认同或者理解什么样的解释。然而对大多数人类来说，解释是不可能被理解的。

为了达成可理解机器，我们只能创造出“人为的解释”。

7.深度学习资料将蜂拥而至。

2017对追踪深度学习信息的人来说已经丰富到困难的地步了。ICLR2018峰会已收到4000份论文。光是跟上峰会进度，研究员就得以10篇每天的速度阅读论文。

因为理论框架尚未构筑完成，问题变得更加严峻。为了完善理论构筑，我们需要寻求更高级的数学工具来提供更宽广的视野。这会产生很大的问题，因为很多深度学习研究者并没有相应的数学背景来理解这些系统。深度学习体系需要理解复杂性理论的研究员，没多少人理解这玩意。

我们沦落到这一部就是大量论文和理论体系尚未完善的结果。

目前尚缺的另一点是通向强人工智能(AGI)的路线图。理论太薄弱了，我们能做到的最多只是提供一个布满了人类能理解的断点的大致方向。我们的理论体系是从认知心理学诞生的投机理论体系。这样的现状导致事件中大量的经验证据都很难被准确应用，这非常糟糕，

在2018年，深度学习论文将会上涨三到四倍。

8.通过教学环境实现工业化。

通过发展体验式教学环境，深度学习系统可以在可预测可控的环境先实现发展。具体细节很琐碎。目前最残酷的教学技巧就是应用在深度学习身上的。我们确定会在这个领域看到长足发展。

2018年将看到更多公司在内部基础设施系统中大规模运用深度学习系统。

9.会话认知的出现。

我们计量强人工智能AGI的方法是老古董。我们需求一种解决现实世界的动态（比如非固定状态）复杂性的新范式。在这一年中我们将看到这一领域的发展和进步。我会在三月1-2日阿姆斯特丹的Information Energy大会上做关于绘画认知范例的演讲。

10.我们会要求人工智能的运作符合道德规范。

要求更道德的使用人工智能的呼声会越发响亮。越来越多的民众意识到人工智能无意识暴走可能带来的危害。我们在Facebook, Twitter, Google, Amazon等公司先进应用的简单自动化系统上看到不少对社会造成不良影响的案例。

我们需要对那些预测人类行为的机器之应用的道德产生更深远的理解。面部识别系统是我们所拥有的最危险的能力之一。算法生成的同真实世界别无二致的媒体信息也会造成很大的问题。我们作为人类社会需要要求对AI的应用应该以全社会的利益为先，而不是滥用AI技术来加深不平等。

期待会在今年看到更多关于人工智能道德的讨论。不过别指望政策性规范。政策制定者们根本没理解到AI可能对社会造成的影响。我可没指望他们在今年突然停下政治斗争来解决社会上实际的问题。美国民众已经成为大量安全漏洞的受害者，仅仅为此，我们都没有看到任何相关的立法或者草案。所以别指望我们的领导人突然脑瓜开窍啦。

这就是我想到的全部。2018年会时非常重要的一年，请各位系好安全带准备迎接撞击。