科技猎在预训练NLP模型上测量性别相关性
译者：AI研习社（ 季一帆 ）
双语原文链接： https://www.yanxishe.com/TextTranslation/2944
作者：谷歌研究院软件工程师Kellie Webster
在过去的几年中， 自然语言处理 （NLP）取得了长足的进步，诸如 BERT ， ALBERT ， ELECTRA 和 XLNet 等预训练语言模型在各种任务中均取得较高的准确性。预训练语言模型以 Wikipedia 这样的大型文本语料库为训练集，通过遮掩一些单词并对它们进行预测来学习嵌入表示，即 遮掩语言建模 。实验结果表明，通过这样的方式，可以对不同概念（如外科医生和手术刀）间的丰富语义信息进行编码。训练完成后，经过微调就可使模型适用特定任务的训练数据，通过预训练嵌入实现 分类 等特定任务。鉴于这样的预训练表示在不同NLP任务中得到广泛采用，作为从业者，我们需要了解预训练模型如何对信息编码以及学习到怎样的相关性，这些又会怎样影响下游应用性能，这样才不至于偏离我们的 AI原则 。
在“ Measuring and Reducing Gendered Correlations in Pre-trained Models ”，我们对BERT及精简版的ALBERT进行实例研究，讨论了性别相关性，并为预训练语言模型的实践应用提供参考。我们在学术任务数据集进行实验，并将结果与一些常用模型做了对比，以验证模型实用性，并为进一步的研究提供参考。我们后续会发布一系列checkpoints，从而可以在保持NLP任务准确性的情况下减少性别相关性。
相关性衡量
为了解预训练表征中的相关性如何影响下游任务，可以使用多种评估指标来研究性别表征。在这里，我们采用 共指消解 讨论测试结果，该方法旨在使模型能够理解句子中给定代词的正确先行词， 例图示句子中，模型要识别出他指护士而不是患者。
OntoNotes （ Hovy等，2006 ）是最常用得标准验证数据集，同时F1分数用来衡量模型在共指消解中的准确性（ Tenney等。2019 ）。由于OntoNotes仅表示一种数据分布，因此我们还使用WinoGender基准测试，该基准提供了一些其他数据，通过该基准可以判别性别和职业何时会产生错误的共指消解。 WinoGender 的得分较高（接近1），表明模型基于 性别与职业间的关联 （如将护士与女性而不是男性关联）进行决策；当性别和职业之间没有一致的关联时（得分为零），此时模型决策基于句子结构或语义等其他信息。
BERT和ALBERT在OntoNotes（准确性）和WinoGender（性别关联）上的表现。WinoGender的值越低，表示模型在推理中较少关注性别信息。
研究发现， BERT 或 ALBERT 在WinoGender上都没有零得分，而在OntoNotes上获得了极高的准确性（接近100％）。实验表明，在一些情况下，模型在推理决策中会考虑性别相关性。这符合我们的预期，模型可以使用多种线索来理解文本，可以只采用其中的一种或是选择全部线索。当然，在实际应用中我们还是要谨慎，不能寄希望于模型根据先验的性别相关性进行预测，其他可用信息对于预测也非常重要。
实践指南
鉴于预训练模型嵌入中的隐式关联有可能影响下游任务，因此在开发新的NLP模型时，我们要考虑可以采取哪些措施来减轻这种风险？
-
隐式相关性的衡量非常重要：虽然可以使用准确性度量来评估模型质量，但是这样度量方式仅从单一角度评估模型，在测试数据与训练数据分布相同时其不足尤为显著。例如，BERT和ALBERT检查点的准确度相差1％以内，但使用性别相关性进行共指解析的相对偏差为26％。这意味着，对于某些任务，这样的差异尤为重要。在处理一些反固定思维的文本时（如男护士），选择WinoGender分数较低的模型更加合理。
-
更改任何模型配置时都要谨慎，哪怕看似影响不大：神经网络模型训练由许多超参数控制，一般通过选择合理的超参数以最大化训练目标。尽管某些参数选择看似不会对模型产生什么影响，但我们却发现，它们可能会导致性别相关性发生重大变化。例如，Dropout正则化用于避免模型的过度拟合，当我们在BERT和ALBERT训练过程中增大Dropout参数，即使进行微调，性别相关性还是会显着降低。这意味着微小的配置更改就可以影响训练模型，从而降低相关性风险，但同时也表明，在对模型配置进行任何更改时，我们应该谨慎行事、仔细评估。
在BERT和ALBERT训练过程中增大Dropout参数的影响
-
相关性的缓解：前文以介绍了Dropout对性别相关性的影响，据此，我们进一步推论得到通过这样的方式可能减少额外的相关性：通过增加dropout参数，我们可以改进模型对WinoGender的推理方式，而无需手动指定任何内容，甚至不需要更改微调阶段。然而，随着dropout的增加，OneNotes的准确性也会开始下降（见BERT的结果），但我们认为可以在预训练阶段避免这种情况，通过更改dropout改进模型，而无需针对特定任务进行更新。在 论文 中，我们基于反事实数据增强，提出了另一种具有差异化权重的缓解策略。
展望
我们认为，以上这些实践指南为开发强大的NLP系统提供了参考，从而使其适用于更广泛的语言和应用范围。当然，由于技术本身的不足，难以捕获和消除所有潜在的问题。因此，在现实环境中部署的任何模型都应经过严格测试，即尝试不同方法，并通过一些保护措施以确保符合道德规范，如Google的AI原则。我们期待评估框架与数据取得更进一步的发展，使语言模型适用于各种任务，为更多人提供优质服务。
致谢
本文的合作者包括Xuezhi Wang，Ian Tenney，Ellie Pavlick，Alex Beutel，Jilin Chen，Emily Pitler和Slav Petrov。同时感谢Fernando Pereira，Ed Chi，Dipanjan Das，Vera Axelrod，Jacob Eisenstein，Tulsee Doshi和James Wexler等人。
AI研习社是AI学术青年和AI开发者技术交流的在线社区。我们与高校、学术机构和产业界合作，通过提供学习、实战和求职服务，为AI学术青年和开发者的交流互助和职业发展打造一站式平台，致力成为中国最大的科技创新人才聚集地。
如果，你也是位热爱分享的AI爱好者。欢迎与雷锋字幕组一起，学习新知，分享成长。
雷锋网版权文章，未经授权禁止转载。详情见。
