Google开源全球最精准自然语言解析器SyntaxNet

新智元推荐   

来源：Google Research

编译：胡祥杰  朱焕

【新智元导读】 Google Research今天宣布，世界准确度最高的自然语言解析器SyntaxNet开源。谷歌开源再进一步。据介绍，谷歌在该平台上训练的模型的语言理解准确率超过90%。近日，众多科技巨头人工智能相关平台开源步伐明显加快：谷歌和Facebook一直在领跑，马斯克的OpenAI欲打造一个完全公开的AI模型训练营，就连一直被批评“保守”的亚马逊也在尝试开源。这一股开源热潮背后，是人工智能研究者的福利，但同时也是一场激烈的数据和平台争夺战。

Google环境计算（ Ambient  computing） 架构师Yonatan Zunger说：事实上，语言理解被我们认为是“AI的终极任务”，要解决这一难题，前提是要能解决全部人类水平人工智能的问题。

机器对语言的理解过程，可以分为几个步骤，其中很多的不确定性是逐渐明晰的（语音识别的不确定性更多，因为还要解决从声音到词的转换）。第一步是要把词分开，放到依存树上，看哪一个词是动词，对名词有哪些影响等等。随后，要理解每一个名字的含义。再次，再加入许多先验知识，即对这个世界的理解，因为很多句子只有使用了这些信息才能真正理解。如果足够幸运的话，到这就能得到清晰的理解了。

谷歌资深研究科学家Slav Petrov在Google Research的博客上写到：在谷歌，我们花费了大量的时间在思考，计算机系统如何才能阅读和理解人类语言，以一种更加智能的方式处理这些语言？今天，我们激动地跟大家分享我们的研究，向更广阔的人群发布SyntaxNet。这是一个在TensoFlow中运行的开源神经网络框架，提供自然语言理解系统基础。我们所公开的包含了所有用你自己的数据训练新的SyntaxNet模型所需要的代码，以及Paesey  McParseface——我们已经训练好的，可用于分析英语文本的模型。

Paesey  McParseface 建立于强大的机器学习算法，可以学会分析句子的语言结构，能解释特定句子中每一个词的功能。此类模型中，Paesey  McParseface是世界上最精确的，我们希望他能帮助对自动提取信息、翻译和其它自然语言理解（NLU）中的应用感兴趣的研究者和开放者。

SyntaxNet是一个框架，即学术圈所指的SyntacticParser，他是许多NLU系统中的关键组件。在这个系统中输入一个句子，他会自动给句子中的每一个单词打上POS（part-of-Speech）标签，用来描述这些词的句法功能，并在依存句法树中呈现。这些句法关系直接涉及句子的潜在含义。

举一个很简单的例子，看下面这个句子“Alice saw Bob”的依存句法树：

在这个结构中，Alice和Bob被编码为名词，Saw是动词。只要的动词saw 是句子的根，Alice是saw的主语，Bob是直接宾语（dobj）。和期待的一样，Paesey  McParseface能正确地分析这一句子，也能理解下面这个更加复杂的例子：

句子：Alice, who had been reading about SynataxNet, saw Bob in the hallwayyesterday

在这个句子的编码中，Alice 和 Bob的分别是saw的主语和宾语，Alice由一个带动词“reading”的关系从句来修饰，而saw则由时态“yesterday”来修饰。依存句法树中的语法关系让我们可以轻易地找到不同问题的答案，比如，Alice看见了谁？谁看到了Bob？Alice正在读的是什么？或者Alice是在什么时候看到Bob的。

句法分析如此困难的一个主要问题是，人类语言具有显著的歧义性。包含 20 到 30 个单词的中等长度的句子会具有数百、数千甚至数万种可能的句法结构，这样的情况并不少见。一个自然语言句法分析器必须能够搜索所有这些结构选择，并找到给定语境下最合理的那个结构。作为一个非常简单的例子，“Alice drove down the streetin her car”这个句子就具有至少两种可能的依存分析：

第一种分析是对应这句话的（正确）解释，按照这种解释，爱丽丝在汽车里进行驾驶，而汽车位于街道上；第二种分析对应于一种对这句话的（荒诞但仍然可能的）解释，按照这种解释，爱丽丝在街道上驾驶，而街道位于汽车之内。之所以会产生这种歧义，是因为“in”这个介词既可以用来修饰“drove（驾驶）”也可以用来修饰“street（街道）”。上面这个例子是所谓的“介词短语附着歧义”的一个实例。

人类在处理歧义方面有超强的能力，以至于人们甚至注意不到句子有歧义。而这里的挑战是，如何能让计算机做到同样好。长句中的多重歧义会共同造成句子的可能结构数量的组合爆炸。通常，这些结构中的绝大多数都极其不合理，但它们仍然是可能的，句法分析器必须以某种方式来丢弃它们。

SyntaxNet 将神经网络运用于歧义问题。一个输入句子被从左到右地处理。当句子中的每个词被处理时，词与词之间的依存关系也会被逐步地添加进来。由于歧义的存在，在处理过程的每个时间点上都存在多种可能的决策，而神经网络会基于这些决策的合理性向这些彼此竞争的决策分配分数。出于这一原因，在该模型中使用 Beam Search （集束搜索）就变得十分重要。不是直接取每个时间点上的最优决定，而是在每一步都保留多个部分性假设。只有当存在多个得分更高的假设的时候，一个假设才会被抛弃。下图将展示的，是“I booked a ticket to Google”这句话经过从左到右的决策过程而产生的简单句法分析。

而且，正如我们在论文中所描述的，十分重要的一点是，要把学习和搜索紧密整合起来才能取得最高的预测准确度。Parsey McParseface 和其他 SyntaxNet 模型是我们用谷歌的 TensorFlow 框架训练过的最复杂的网络结构。通过利用谷歌支持的 Universal Treebanks 项目中的数据，你也可以在自己的机器上训练句法分析模型。

在（从具有二十年历史的宾大树库Penn Treebank中）随机抽取的英语新闻句子构成的标准测试中，Parsey McParseface 在提取词之间的个体依存关系时的准确率超过 94%，这打败了我们自己先前的最高水平，也超过了任何以前的方法。尽管在文献中并没有关于人类的句法分析成绩的明确研究，我们从我们内部的句法标注项目中了解到，那些在该任务上受过训练的语言学家在 96-97% 的情况下能达成一致。这说明，我们正在接近人类的水平——不过这仍然限于那些格式良好的文本。按照我们从 Google WebTreebank （谷歌网络树库，发布于 2011 年）中所学到的，那些从互联网上获得的句子要远远更难分析。在该网络数据集上，Parsey McParseface 只取得了略高于 90% 的句法分析准确率。

尽管准确率还不够完美，它已经足够高，能够用于许多应用程序了。目前，错误的主要来源是像上面描述过的介词短语附着歧义这样的情况，对这些情况的处理要求对现实世界的知识（例如，“街道不太可能位于汽车之内”）和深度语境推理。机器学习（特别是神经网络）已在解决这些歧义方面取得了显著的进展。不过我们仍想做进一步的工作：我们想要发展出一些方法，这些方法能够学习现实世界知识，也能够在所有语言和语境中都取得同样好的自然语言理解。

想试试吗，请阅读 SyntaxNet 的代码。并下载 Parsey McParseface 句法分析模型。主要研发者Chris Alberti, David Weiss, Daniel Andor, Michael Collins 和 Slav Petrov 祝你成功。

「招聘」

全职记者、编译和活动运营

欢迎实习生

以及人工智能翻译社志愿者

详细信息请进入公众号点击「招聘」

或发邮件至 jobs@aiera.com.cn