未来的人工智能，最热门的技术趋势是什么？

但这一切都需要极高的计算能力。早在 80 年代初期，Geoffrey Hinton和他的同事们就开始研究深度学习。然而彼时电脑还不够快，不足以处理有关神经网络的这些庞大的数据。当时AI研究的普遍方向也与他们相反，人们都在寻找捷径，直接模拟出行为而不是模仿大脑的运作。

随着计算能力的提升和算法的改进，今天，神经网络和深度学习已经成为人工智能领域最具吸引力的流派。这些神经网络还在变得更复杂，当年“谷歌大脑”团队最开始尝试“无监督学习”时，就动用了1.6万多台微处理器，创建了一个有数十亿连接的神经网络，在一项实验中观看了千万数量级的 YouTube 图像。

当你阅读本文时，你是在理解前面词语的基础上来理解每个词语的。你的思想具有连续性，你不会丢弃已知信息而从头开始思考。传统神经网络的一大缺陷便是无法做到这一点，而递归神经网络（RNN）能够解决这一问题。

RNN拥有循环结构，可以持续保存信息。过去几年里，RNN在 语音识别 和翻译等许多问题上取得了难以置信的成功，而成功的关键在于一种特殊的RNN——长短期记忆网络（LSTMs）。

普通的RNN可以学会预测“the clouds are in the sky”中最后一个单词，但难以学会预测“I grew up in France… I speak fluent French.”中最后一个词。相关信息（clouds、France）和预测位置（sky、French）的间隔越大，神经网络就越加难以学习连接信息。这被称为是“长期依赖关系”问题。

“注意力”是指神经网络在执行任务时知道把焦点放在何处。我们可以让神经网络在每一步都从更大的信息集中挑选信息作为输入。

例如，当神经网络为一张图片生成标题时，它可以挑选图像的关键部分作为输入。

神经图灵机（Neural Turing Machine）就是研究者们在硅片中重现人类大脑短期记忆的尝试。它的背后是一种特殊类型的神经网络，它们可以适应与外部存储器共同工作，这使得神经网络可以存储记忆，还能在此后检索记忆并执行一些有逻辑性的任务 。

卷积神经网络（CNN）最早出现在计算机视觉中，但现在许多自然语言处理（NLP）系统 也会使用。LSTMs与递归神经网络深度学习最早出现在NLP中，但现在也被纳入计算机视觉神经网络。

此外，计算机视觉与NLP的交汇仍然拥有无限前景。想象一下程序为美剧自动嵌入中文字幕的场景吧。

多个团队以不同方法大幅压缩了训练一个良好模型所需的素材体量，这些方法包括二值化、固定浮点数、迭代修剪和精细调优步骤等。

虽然NIPS 2015上没有什么强化学习（reinforcement learning）的重要成果，但“深度强化学习”研讨会还是展现了深度神经网络和强化学习相结合的前景。

在“端对端”（end-to-end）机器人等领域出现了令人激动的进展，现在机器人已经可以一起运用深度和强化学习，从而将原始感官数据直接转化为实际动作驱动。我们正在超越“分类”等简单工作，尝试将“计划”与“行动”纳入方程。还有大量工作需要完成，但早期的工作已经使人感到兴奋。

批标准化（batch normalization）现在被视作评价一个神经网络工具包的部分标准，在NIPS 2015 上被不断提及。

创造新的神经网络方法需要研究者，还需要能将它们迅速付诸实践的方法。谷歌的TensorFlow是少数能够做到这些的库：使用Python 或 C++等主流编程语言，研究者可以迅速创作新的网络拓扑图，接着在单一或多个设备（包括移动设备）上进行测试。