奇客 Facebook 开源挑战 GPT-3 的语言模型

OpenAI 的文本生成神经网络 GPT-3 是目前最先进的语言模型之一，使用了 1750 亿个参数，但它至今没有开源，只通过其申请及审核程序提供给学术界和商业实体使用。现在 Meta/Facebook 开源了能挑战 GPT-3 的语言模型 Open Pretrained Transformer（OPT-175B），使用了 5 个公开数据集的 800 GB 数据进行训练，使用了能比拟 GPT-3 的 1750 亿个参数。研究论文发表在预印本网站 arXiv 上。