谷歌神经机器翻译再突破：实现高质量多语言翻译和zero-shot翻译

9 月底，谷歌在 arXiv.org 上发表了论文《Google`s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation》，介绍了谷歌的 神经机器翻译 系统（GNMT），该系统实现了机器翻译领域的重大突破，参见报道《 重磅 | 谷歌翻译整合神经网络：机器翻译实现颠覆性突破 》。15日，谷歌再发论文宣布了其在多语言机器翻译上的突破：实现了 zero-shot 翻译！

15日，谷歌在其官方博客上宣布其在谷歌翻译（Google Translate）上再次取得重大进展。这家搜索巨头表示现在已经将 神经机器翻译 （neural machine translation）集成到了其网页版和移动版的翻译应用之中，这意味着它可以一次性翻译一整段句子，而不只是像之前一样只能一个词一个词地翻译。

谷歌在其产品博客中表示，其产品的翻译结果现在变得更加自然，能够实现更好的句法和语法。

Google Translate 产品负责人 Barak Turovsky 在谷歌旧金山的一次新闻发布会上说：「这一次的进步超过了过去十年积累的总和。」

谷歌已经将自己的未来定义成了一家人工智能和机器学习公司——使用这些技术的计算机无需特定的编程就能自己学习执行任务。谷歌云部门（cloud division）的负责人 Diane Greene 总结说：「谷歌要将机器学习集成到每一种形式中，并将它带给这个世界。」

谷歌在其博客中写道：

今天我们宣布将神经机器翻译集成到了总共八种语言的相互翻译中，它们是：英语、法语、德语、西班牙语、葡萄牙语、汉语、日语、韩语和土耳其语。这些语言的母语总人口占到了世界总人口的三分之一，覆盖了谷歌翻译 35% 以上的请求。

通过这一次更新，谷歌翻译一次性提升的性能超过了过去十年进步的总和。但这只是一个开始。尽管我们目前在谷歌搜索、谷歌翻译应用和网站上只有 8 种语言，但我们的目标是将神经机器翻译扩展到所有 103 种语言，并让你能随时随地都能接入到谷歌翻译。

除此之外，谷歌今天还宣布了提供机器学习 API 的公共云服务 Google Cloud Platform，「能让任何人都轻松地使用我们的机器学习技术」。今天，Google Cloud Platform 也使神经机器翻译背后的系统向谷歌的企业用户开放了——谷歌提供了 Cloud Translation API：https://cloud.google.com/translate/

• 论文：谷歌的多语言神经机器翻译系统：实现 zero-shot 翻译（Google’s Multilingual Neural Machine Translation System: Enabling Zero-Shot Translation）

我们提出了一种使用单个神经机器翻译（NMT）模型在多种语言之间进行翻译的简洁优雅的解决方案。我们的解决方案不需要对我们的基础系统的模型架构进行修改，而是在输入句子的一开始引入了一个人工 token 来确定所需的目标语言（required target language）。模型的其它部分（包含了编码器、解码器和注意（attention））保持不变，而且可以在所有语言上共享使用。使用一个共享的词块词汇集（wordpiece vocabulary），我们方法能够使用单个模型实现多语言神经机器翻译（Multilingual NMT），而不需要增加参数，这比之前提出的 Multilingual NMT 方法简单多了。我们的方法往往能提升所有相关语言对的翻译质量，同时还能保持总的模型参数恒定。

在 WMT’ 14 基准上，单个多语言模型在英语→法语翻译上实现了与当前最佳表现媲美的结果，并在英语→德语翻译上实现了超越当前最佳表现的结果。类似地，单个多语言模型分别在 WMT’14 和 WMT’15 基准上实现了超越当前最佳表现的法语→英语和德语→英语翻译结果。在用于生产的语料库上，多达 12 个语言对的多语言模型能够实现比许多单独的语言对更好的表现。

除了提升该模型训练所用的语言对的翻译质量之外，我们的模型还能执行在训练过程中没有明确遇见过的语言对之间的特定桥接（bridging），这表明用于神经翻译的迁移学习（transfer learning）和 zero-shot 翻译是可能的。

最后，我们展示了对我们模型中的通用语言间表征（universal interlingua representation）的迹象的分析，还展示了一些将语言进行混合时的有趣案例。

图 1：该 Multilingual GNMT 系统的模型架构。除了论文《Google’s neural machine translation system: Bridging the gap between human and machine translation》中描述的，我们的输入还有一个人工 token 来指示所需的目标语言。在这个例子中，token <2es> 表示目标句子是西班牙语的，而其源句子被逆向为一个处理步骤（processing step）。对于我们大部分的实验而言，我们还使用了编码器和解码器之间的直接连接，尽管我们后来发现这些连接的影响是可以忽略不计的（但是一旦你使用这些进行训练，它们也必须为了推理而存在）。该模型架构的其它部分与上述论文中的一样。