Qwen3技术报告重点：Qwen3如何强化推理能力？ - 文章 - 开发者社区

大模型的推理能力一直是衡量其智能水平的关键指标。近期，Qwen3系列模型在这方面取得了显著突破。通过对Qwen3技术报告的解读，我们可以窥见一套完整的推理能力提升体系。本文将以推理视角，剖析Qwen3推理能力提升的关键环节。

报告地址：https://github.com/QwenLM/Qwen3/blob/main/Qwen3\_Technical\_Report.pdf

核心策略概览

Qwen3提升推理能力的整体策略可以概括为**"六步进阶法"** ：

预训练分层强化 ：三阶段预训练，逐步聚焦推理能力
思维链冷启动 ：构建基础推理模式
推理能力强化学习 ：精准提升解题能力
思维模式双轨融合 ：实现思考/非思考切换
通用能力均衡强化 ：全面提升模型稳定性
大小模型能力传递 ：让小模型也具备强大推理能力

picture.image

下面我们来详细拆解每个环节的创新点和实施方法。

预训练分层强化

Qwen3采用了分层递进的预训练策略，每个阶段针对不同目标优化：

阶段	训练数据规模	序列长度	核心目标	特殊处理

通用基础阶段

30T+ tokens

4,096

基础语言能力

覆盖119种语言


推理聚焦阶段

5T tokens

4,096

强化推理能力

提高STEM/代码/推理数据比例

YARN+双块注意力 |

这种分层设计确保了模型在获得基础能力后，能有针对性地强化推理能力，同时保持长文本处理能力，为复杂推理任务提供足够的上下文空间。

思维链冷启动创新

冷启动环节是Qwen3构建推理框架的关键一步，采用了"双重筛选"机制：

数据构建策略

picture.image

冷启动的独特视角

与常规思维链训练不同，Qwen3冷启动阶段不追求立竿见影的性能提升 ，而是着眼于为模型构建基础推理模式，为后续强化学习阶段提供更大的优化空间。这一点体现了Qwen团队在推理训练上的长远视角。

推理强化学习精准优化

推理RL阶段是Qwen3能力提升的关键环节，采用了高度针对性的设计：

数据选择四原则

✅ 冷启动阶段未使用过的全新数据
✅ 对冷启动模型来说难度适中可学习
✅ 具有足够挑战性拓展能力边界
✅ 领域覆盖广泛保证能力全面性

技术实现亮点

采用GRPO(广义相对策略优化)算法更新模型
大批量+多rollout并行探索策略空间
探索与利用平衡的动态熵控制
离线策略训练提高样本利用效率

效果惊人：Qwen3-235B-A22B在AIME24数学评测中，仅通过170步RL训练就将分数从70.1提升至85.1，展示了推理强化学习的强大效果。

思维模式双轨融合

Qwen3最具创新性的贡献之一是实现了思考/非思考模式的无缝切换，这一机制让用户可以根据需求控制模型推理深度：

模式切换机制

模式	触发方式	输出特点	适用场景

思考模式

(默认) | 使用 /think 标记

或不加标记 | 详细展示推理过程

再给出结论 | 复杂问题解决

需要透明推理过程 | | 非思考模式 | 使用 /no\_think 标记 | 直接给出结论

不展示推理过程 | 简单查询

需要快速响应 | | 思维预算模式 | 设定思考token上限 | 在达到预算时

中断思考并给出结论 | 平衡推理深度

与响应时间 |

双轨融合的实现方法

数据构建 ：结合思考/非思考两类训练数据
模板设计 ：统一内部格式保持一致性
自然涌现 ：思维预算能力是模式融合的自然产物，而非专门训练的结果

通用强化学习的多维平衡

为确保推理能力提升不牺牲模型整体表现，Qwen3进行了全面的通用强化学习：

五大能力维度

指令遵循能力 ：准确理解并执行用户意图
格式规范能力 ：正确使用指定标记和格式
偏好对齐能力 ：提升回答的有用性和参与度
工具调用能力 ：精准使用外部工具和API
场景适应能力 ：在特定任务中减少错误和幻觉

三层奖励机制

  
奖励体系  
├── 基于规则奖励  
│   └── 高精度评估输出正确性，防止奖励操纵  
├── 有参考答案模型奖励  
│   └── 使用Qwen2.5-72B-Instruct根据参考答案评分  
└── 无参考答案模型奖励  
    └── 基于人类偏好数据训练的通用奖励模型

这种多层次奖励设计确保了模型在提升推理能力的同时，保持整体能力的平衡发展。

大小模型能力传递

为让不同规模的模型都具备强大推理能力，Qwen3设计了高效的能力传递机制：

两阶段蒸馏流程

阶段	方法	目标	优势

离线蒸馏

教师模型在不同模式下

生成的数据用于学生SFT | 传授基础推理模式

和模式切换能力 | 建立初步能力

不依赖实时交互 | | 在线蒸馏 | 学生模型与教师模型

logits对齐最小化KL散度 | 精确传递推理决策过程

和概率分布特征 | 保留更多细节

效果优于纯数据蒸馏 |

这种双阶段蒸馏方法让Qwen3-0.6B至14B等小模型也具备了强大的推理能力和思维模式切换能力，极大地扩展了轻量级模型的应用场景。

总结与思考

Qwen3的推理能力提升体系给我们带来几点重要启示：

系统性胜于单点突破 ：推理能力提升需要从预训练到微调的全流程设计
数据质量胜于数量 ：严格的筛选和针对性训练比简单堆叠数据更有效
框架先行，能力跟进 ：先构建基础推理模式，再针对性强化
用户控制的平衡 ：思考/非思考模式融合为用户提供了控制推理深度的能力
全面能力不可偏废 ：即使专注推理能力，也需要通过通用强化学习保持整体平衡

Qwen3的推理能力提升不只是技术细节的累积，更体现了对大模型能力培养的系统性思考。这种"六步进阶法"或许能为更多大模型的推理能力提升提供有益参考。

本文基于Qwen3技术报告解读而成，重点关注其推理能力提升的系统性方法，如有不准确之处，欢迎指正。

参考内容

picture.image

添加微信，备注” LLM “进入大模型技术交流群

picture.image

如果你觉得这篇文章对你有帮助，别忘了点个赞、送个喜欢

/ 作者：致Great

/ 作者：欢迎转载，标注来源即可