至少在让大模型变得更聪明这件事上,强化学习可能被高估了。
刚刚NeurIPS 2025上,清华大学和上海交通大学的一篇研究《Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?》拿到了罕见的满分评价:四个6分。
他们就为了搞清楚强化学习是否真的能让大语言模型拥有更好的思考能力。
答案有些扎心:不能。
研究聚焦于"带可验证奖励的强化学习"(RLVR)。结论很直接:RLVR在小规模数据上能提升答案准确性,但并未产生新的推理模式。模型的推理能力上限,依然由它的基础模型决定。
研究人员测试了六种RLVR变体,发现性能提升很快达到平台期。这意味着强化学习主要作用是对已有推理能力进行微调、优化,而非从根本上重塑或创造新的推理路径。
更有意思的是,真正显示出推理能力"涌现"迹象的,是知识蒸馏技术,而非强化学习。
强化学习更像是巩固已有的知识先验,而非在全新概念上实现迭代改进。不过这也不得不让大家重新思考:如何构建真正能够自我改进的大模型。
值得一提的是,这是今年NeurIPS唯一获得满分的论文,恭喜这些研究者。但对于那些指望强化学习让AI突然变聪明的人来说,这个结果可能不太友好。
论文:https://arxiv.org/abs/2504.13837
关注公众号回复“进群”入群讨论。
