深度学习 Memory & Attention 技术最新进展 （75PPT下载）

新智元编译 1

来源： http://slides.com/

作者： Stephen Merity

编译：弗格森

　　 【新智元导读】 Memory 和 Attention 技术目前在深度学习中得到了较为广泛的采用，本文总结了这两项技术的最前沿进展。其中包括在分类、问答、神经网络翻译等方面的应用。作者在最后分析了Pointer Networks 在深度学习中的优势和原理。 【进入新智元微信公众号，在对话框直接输入1027下载全部PPT】

深度学习中 Memory 和 Attention 的前沿进展

作者：Stephen Merity

　　 分类任务

　　

　　

　　 拥有好的数据，深度学习能在图像和文本分类中做到极高的准确率。而分类器的训练其实是非常容易的：6年级和7年级的中学生创建了一个定制的视觉分类器，准确率达到90%。

　　

　　 在医疗诊断方面的应用：颅内出血检查

　　

　　

　　 ImageNet 中分类错误率逐年降低

　　

　　 GPU 提升表现

　　

但是，深度学习并不是万能的。

问答任务

　　

　　

　　

　　

　　

　　

信息瓶颈

　　

　　 在什么地方，你的模型被迫使用一个压缩表示？最重要的是，这是一件好事吗？

　　

　　

神经网络与压缩，是不是似曾相似？

　　

　　

现实世界中，没有人会进行CNN压缩

　　

　　

除非是Magic Pony

　　

推特与Magic Pony已经达成合作。

词向量

　　

　　

　　

　　

　　

　　

“dog”这个单词可以转化成100个维度的向量

　　

　　

　　

　　

　　

　　

　　

　　

　　

　　

通过Word2vec 的词向量

（少量）Memory，（无）Attention

　　

从输入层到隐藏层再到输出层

　　

　　

　　

递归神经网络（RNN）的例子

　　

　　

　　 神经机器翻译

　　

　　

　　 Attention 与 Memory

　　

　　 神经机器翻译中的应用

动态记忆网络中的问答

　　

　　

　　

　　

　　

　　 结果，聚焦三个实验：文本、视觉和Attention 可视化

　　

　　

　　

　　

　　

问答任务中的Attention 和 Memory

　　

　　

　　

　　

　　

　　

Pointer Networks