谷歌 DeepMind 发布 DNC 升级版，可扩展的稀疏可读写存储器增强计算机 SAM

搜狐科技 • 8年前扫码分享

我是创始人李岩：很抱歉！给自己产品做个广告，点击进来看看。

1 新智元编译

来源： arxiv.org

编译：王楠

　　 新智元启动新一轮大招聘 ：COO、执行总编、主编、高级编译、主笔、运营总监、客户经理、咨询总监、行政助理等 9 大岗位全面开放。

　　 简历投递：j obs@aiera.com.cn

　　 HR 微信： 13552313024

　　 新智元为COO和执行总编提供最高超百万的年薪激励；为骨干员工提供最完整的培训体系、 高于业界平均水平的工资和奖金。

　　 加盟新智元，与人工智能业界领袖携手改变世界。

　　 【新智元导读】 谷歌DeepMind最新论文，在此前 DNC 成果的基础上，针对 DNC 无法扩展的问题，提出了一种端到端的可微分储存器读写机制，将其称为 “稀疏可读写存储器增强的计算机” SAM。 【进入新智元后台，回复“1103”下载论文】

　　 谷歌 DeepMind 此前在 Nature 发表论文，提出“可微分神经计算机”（DNC），引起业界讨论 纷纷。这不仅是 DeepMind 在顶级期刊 Nature 发表的第三篇论文，同时也由于期刊制度，提交和发布时间间隔相差几乎相差一年（今年 1 月提交，9 月接受，10 月发表）。

　　因此，虽然 DNC 是开拓性的工作，但由于时间关系已不是 DeepMind 最新成果。实际上，在 DNC 的基础上，他们确实做了改善工作，就是下面这篇不久前发表在 Arxiv 的论文： “Scaling Memory-Augmented Neural Networks with Sparse Reads and Writes”。

　　其中，DNC 的第一作者 Alex Graves（Hinton 的学生，AlexNet 论文一作）及其他几位主要作者 Greg Wayne、 Tim Harley 也在作者当中。可以说，SAM 是 DeepMind 团队在 DNC 基础上的提升。

　　 SAM 比 DNC 强的地方在于“可扩展”，论文作者提出了一种端到端的可微分储存器读写机制，在差不多规模的数据集执行小数据（one-shot）Omniglot 字符识别等任务效率与 DNC 可比，还能扩展到更大的任务上面。

　　论文：可扩展稀疏可读写存储器增强的神经网络

　　谷歌 DeepMind 发布 DNC 升级版，可扩展的稀疏可读写存储器增强计算机 SAM

摘要

　　结合了外部存储器增强的神经网络能够学习算法从而解决复杂问题。这类模型有望用于诸如语言建模和机器翻译等应用。但是，随着存储量（Memory）的增长，这类模型在时空上的可扩展性则十分有限――限制了它们在真实世界中的应用范畴。在本文中，我们提出了一种端到端的可微分储存器读写机制（end-to-end differentiable memory access scheme），我们将其称为“稀疏可读写存储器”（Sparse Access Memory，SAM）。

　　 SAM 既保留了最初的表征性能，同时在庞大的存储量上训练表现也十分高效。我们在本文中展示了 ASM 达到在空间和时间复杂性的渐近下界（asymptotic lower bounds），并且发现 ASM 用少于 3000 倍的物理内存就实现了比非稀疏模型快 1000 倍速度。SAM 能够在差不多规模的数据库上对一系列合成任务和小数据（one-shot）Omniglot 字符识别任务达到可以差不多的效率，同时还可以扩展到需要10 万个时间步长和存储的任务。此外，我们还展示了如何调试这一方法，使其配适那些保持记忆（memory）间短时关联的模型，比如此前我们提出的可微分神经计算机（DNC）。

谷歌 DeepMind 发布 DNC 升级版，可扩展的稀疏可读写存储器增强计算机 SAM