OpenAI 最近发布的一篇论文 《Why language models hallucinate》 探讨了语言模型出现幻觉的根本原因，指出当前的训练和评估机制实际上是在激励模型进行猜测，而不是在面对不确定性时坦然承认。
论文指出，语言模型之所以会“幻觉”——即在缺乏确切知识的情况下编造看似合理但实则错误的信息——正是由于现有的训练流程和评估标准更偏爱给出确定性答案的行为，哪怕这些答案是错的，也不鼓励模型回答“我不知道”。
这类似于一个学生在考试中遇到不会的题目时选择瞎猜，只为提高得分。大型语言模型在面对模糊或复杂问题时也会采取类似策略：与其表达不确定，不如生成一个看似合理的回答，从而在训练目标和评测指标中获得更高分数。
这种行为模式导致幻觉问题在当前最先进的模型中依然普遍存在，并严重削弱用户对模型输出的信任。
研究人员认为，语言模型的幻觉并不需要被视作某种神秘或不可控的现象，其根源在于基本的二元分类错误。当模型无法准确区分正确与错误陈述时，在预训练过程中就会受到统计上的偏差驱动，自然倾向于生成看似符合语言模式但实际上不真实的内容。
更关键的是，幻觉之所以长期存在，是因为主流的评估方式本身就存在问题：评分系统通常以答案是否“看起来正确”或是否匹配预期输出为标准，从而间接奖励了猜测行为。在这种机制下，模型被训练成了擅长应试的“考生”，而诚实表达无知反而会被扣分。
作者强调，要缓解这一问题，不能仅依赖技术手段增加幻觉检测模块，而必须进行社会技术性的改革——重新设计主导排行榜的基准测试评分规则，让承认不确定性不再被惩罚。
唯有如此，才能从根本上扭转模型的行为倾向，推动人工智能系统朝着更加诚实、可靠和值得信赖的方向发展。
以上就是OpenAI 最新论文：语言模型为什么会出现幻觉？的详细内容，更多请关注php中文网其它相关文章！
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。
广告
收藏
收藏
收藏
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
922
