Facebook强大的AI大型语言模型LLaMa遭泄露

3月8日 消息:Facebook的大型语言模型LLaMa通常只供获得批准的研究人员、政府官员或民间社会成员使用，现在已经泄露到网上供任何人下载。

据悉，目前在4chan 上已经有人在共享泄露的语言模型。上周，一名成员上传了 Facebook 工具 LLaMa（(Large Language Model Meta AI）)的 torrent 文件。这标志着一家大型 科技 公司的专有 AI 模型首次遭公开泄露。

迄今为止，谷歌、微软和 OpenAI 等公司最新模型都处于保密状态，只能通过消费者界面或 API 访问，据称是为了控制滥用情况。4chan 成员声称在他们自己的机器上运行 LLaMa，但此次泄漏的确切内容尚不清楚。

在一份声明中，Meta 也并没有否认 LLaMa 遭泄漏的说法，并强调了其在研究人员之间共享模型的方法。

“Meta 的目标是与研究社区的成员分享最先进的 AI 模型，以帮助我们评估和改进这些模型。LLaMA 是出于研究目的而共享的，这与我们之前共享大型语言模型的方式一致。虽然并非所有人都可以使用该模型，并且有些人试图规避批准程序，但我们相信当前的发布策略允许我们在责任和开放之间取得平衡，”Meta 发言人在一封电子邮件中写道。

据了解，与包括 OpenAI 的 GPT-3在内的其他人工智能模型一样，LLaMa 建立在大量单词或“标记”的基础上。只要在LLaMa 输入单词，就能预测下一个单词，并生成更多文本。

LLaMa 有多个不同大小的版本，其中 LLaMa65B 和 LLaMa33B 在1.4万亿token上进行了训练。该模型主要从维基百科、书籍、以及来自 ArXiv、GitHub、Stack Exchange 和其他网站的学术论文中收集的数据集上训练的。

报道称，Meta 似乎正在在线提交该模型的删除请求以控制其传播。

来源：站长之家