AI幻觉的原因,终于有人说清楚了~

大模型机器学习人工智能与算法

大家好,我是汤师爷,专注 AI 智能体分享,致力于帮助 100W 人用智能体创富~

今天我们聊一个困扰了所有 AI 用户的问题:AI幻觉。这个问题不分新手老手,几乎每个使用 AI 工具的人都曾经被它坑过。

有时候你正在用 ChatGPT 查资料,它给你的答案看起来非常专业,但等你去验证,却发现完全是编造的。

什么是 AI 幻觉?

所谓幻觉,就是 AI 自信满满地告诉你一个答案,但这个答案其实是错的。更糟糕的是,它说得头头是道,让你真假难辨。

举个例子,有人问AI"狗如何在水下呼吸",AI可能会自信地回答"狗有特殊的鳃状器官"或"它们能暂时把氧气储存在肺部特殊囊中",这些答案听起来有模有样,但完全是编造的。这是典型的幻觉。

OpenAI 自己也承认:ChatGPT 会产生幻觉。即便是最新的 GPT-5,虽然幻觉少了很多,但依然存在。

这说明,幻觉不是小 bug,而是所有大模型共同面对的一个根本挑战。

为什么会出现幻觉?

OpenAI 最近罕见地发表了一篇论文,标题就叫《Why Language Models Hallucinate》。他们系统地分析了幻觉的根源。

简单来说,原因在于评估方法设置了错误的激励机制。

就好比做选择题考试:

  • • 如果不会答题,你可以乱选一个答案,可能蒙对。
  • • 但如果你空着不答,那就是 0 分。

AI 模型也是一样。评估的时候,大多数指标只看准确率,只要答对就是加分。

于是,模型更倾向于乱猜,而不是诚实地说我不知道。久而久之,猜测就被奖励,幻觉自然就多了。

这就像在教育里,如果我们鼓励学生乱答而不是承认不会,学生当然越来越会瞎编。

幻觉和准确率的悖论

很多人觉得:只要模型准确率够高,就能消灭幻觉。听起来很有道理,但其实是个误区。

为什么呢?因为现实世界里,有些问题本质上没有答案,或者答案不唯一。

比如问 AI 某个冷门人物的生日,如果训练数据里没有相关信息,那它怎么可能 100% 准确?

结果就是准确率永远达不到满分,而幻觉就会成为常态。

更有意思的是,小模型反而有时更懂得说我不知道,因为它知道自己能力有限。

但一些大模型懂了一点点,又不愿承认不确定,就容易一本正经地胡说八道。

OpenAI 提出的改进思路

大模型是怎么学会语言的?答案是预测下一个词。它并不像人类那样理解事实,而是依赖概率分布。

举个类比:如果用猫和狗的照片去训练,算法能学会区分猫狗。但如果你硬要让它根据照片猜宠物的生日,那永远会出错,因为生日是随机的。

语言模型也一样。像拼写规则、语法结构,这些模式固定,模型容易学会。但冷门事实、低频知识,根本没有规律可循,所以 AI 只能凑个看似合理的答案。这就是幻觉的来源。

那怎么办?OpenAI 提出了一个思路:改进评估指标。

  • • 不要只奖励答对,还要惩罚自信的错误。
  • • 对于我不知道这样的谦逊回答,应该给部分分数,而不是直接判 0。

这其实和一些标准化考试很像。比如有的考试会对错误答案扣分,鼓励你不懂就留空,而不是乱猜。

如果我们在模型训练中也引入这种机制,AI 就会更愿意在不确定时保持克制,而不是瞎编。

这篇论文给出了几个重要发现:

1、准确率不是万能的

再强大的模型也无法达到 100% 准确,因为有些问题本质无法回答。

2、幻觉不是不可避免的

只要允许模型说我不知道,幻觉率就能明显下降。

3、小模型也能表现更谦逊

它们更清楚自己的局限,而大模型因为懂了一点反而容易胡说。

4、评估方式需要革新

光靠传统的准确率指标,会继续鼓励 AI 乱猜,幻觉永远存在。

写在最后

很多人以为幻觉是模型的缺陷。但 OpenAI 这次的研究告诉我们,幻觉完全可以用统计学原理解释清楚,本质上是训练和评估方式给了错误的激励。

如果未来能在训练中更好地奖励诚实而不是瞎编,幻觉率自然会下降。

OpenAI 也表示,他们的最新模型幻觉率确实更低,并且还会继续优化。与此同时,他们还在重组一个叫模型行为(Model Behavior)的团队,专门研究如何让 AI 更好地与人类互动。

就像教育一样,如果考试只看死记硬背的分数,学生自然会为了分数而学习。但如果我们奖励思考和诚实,结果会完全不同。

AI 也是如此。未来谁能真正解决幻觉,谁就能把大模型带到一个新的高度。

对了,如果你也对智能体感兴趣,我这边整理了一份开源的智能体学习手册,爆肝10万字,价值999元。

picture.image

关注下方👇🏻公众号,回复【 智能体 】获取学习手册。

0
0
0
0
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论