人工智能幻觉引发关注，OpenAI提出新策略 | 速途网

速途网6月1日讯（报道：乔志斌）美东时间周三，OpenAI发布的最新研究论文显示，该公司正在用一种新的方法来训练人工智能(AI)模型，以对抗人工智能“幻觉”。

人工智能幻觉是指人工智能模型生成内容的能力，这些内容并非基于现实世界的数据，而是模型自己想象的产物。人们对这种幻觉可能带来的潜在问题，包括道德、社会和实际问题感到担忧。一旦OpenAI的聊天机器人ChatGPT或谷歌公司的竞品Bard纯粹捏造虚假信息，人工智能幻觉便会发生，表现出一种滔滔不绝地谈论事实的假象。

OpenAI的研究人员在一份报告中写道：“即使是最先进的人工智能模型，也很容易产生谎言，它们在不确定的时刻往往表现出捏造事实的倾向。而在需要多步骤推理的领域，这种幻觉尤为严重，因为一个逻辑错误就足以破坏一个更大的解决方案。”

针对这一问题，OpenAI提出了一项新策略：在训练人工智能模型时，奖励每个正确的推理步骤，而不仅仅是简单地奖励正确的最终结论。研究人员称这种方法为“过程监督”，而非“结果监督”，它可能提高人工智能的性能和准确性，因为这种策略鼓励模型更多地遵循类似人类的“思维链”。

OpenAI的数学研究员Karl Cobbe指出：“检测并减轻模型的逻辑错误或幻觉，是构建通用人工智能（AGI）的关键一步。”他指出，这项研究的动机是解决人工智能幻觉，以提高模型解决具有挑战性推理问题的能力。

目前，OpenAI已发布了一个附带的数据集，其中包含80万个人类标签，用于训练上述论文提到的模型。