清华上交满分论文证明:强化学习并不能让大模型更会思考!

大模型机器学习算法

至少在让大模型变得更聪明这件事上,强化学习可能被高估了。

picture.image

刚刚NeurIPS 2025上,清华大学和上海交通大学的一篇研究《Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?》拿到了罕见的满分评价:四个6分。

picture.image

他们就为了搞清楚强化学习是否真的能让大语言模型拥有更好的思考能力。

答案有些扎心:不能。

研究聚焦于"带可验证奖励的强化学习"(RLVR)。结论很直接:RLVR在小规模数据上能提升答案准确性,但并未产生新的推理模式。模型的推理能力上限,依然由它的基础模型决定。

picture.image

研究人员测试了六种RLVR变体,发现性能提升很快达到平台期。这意味着强化学习主要作用是对已有推理能力进行微调、优化,而非从根本上重塑或创造新的推理路径。

picture.image

更有意思的是,真正显示出推理能力"涌现"迹象的,是知识蒸馏技术,而非强化学习。

强化学习更像是巩固已有的知识先验,而非在全新概念上实现迭代改进。不过这也不得不让大家重新思考:如何构建真正能够自我改进的大模型。

值得一提的是,这是今年NeurIPS唯一获得满分的论文,恭喜这些研究者。但对于那些指望强化学习让AI突然变聪明的人来说,这个结果可能不太友好。

论文:https://arxiv.org/abs/2504.13837

关注公众号回复“进群”入群讨论。

0
0
0
0
关于作者
关于作者

文章

0

获赞

0

收藏

0

相关资源
大模型产品方案白皮书——PromptPilot
AI 正以空前速度重塑行业,大模型成为继移动互联网后的新科技浪潮。如何将其与业务深度融合,实现落地,仍是数字化转型的核心挑战。有效 Prompt 是驱动模型达成业务目标的关键,但业务诉求常模糊、缺乏标准答案,模型理解差异大。企业需让模型准确理解需求、稳定输出高质量结果,并在数据积累中持续优化性能与价值。 PromptPilot 应运而生,通过对话与任务用例自动生成高质量 Prompt 与评估标准,运行中持续识别并优化问题,释放大模型潜力,让非技术人员也能轻松驾驭大模型,推动落地与创新。
相关产品
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论