由牛津大学、上海AI Labs、新加坡国立大学等16家研究机构联合发表的 100 页综述首次系统提出 Agentic RL（代理式强化学习） 范式：把大语言模型（LLM）从“一次性文本生成器”升级为“可在动态环境中持续感知、规划、行动、反思的自主智能体 ”，并给出统一理论框架、能力图谱、任务全景与开源资源大盘点。
为什么需要Agentic RL？
从 LLM-RL 到 Agentic RL 范式迁移概览
| 传统 LLM-RL | Agentic RL | | --- | --- | | 单轮问答 | 多轮交互 | | 静态 prompt → 静态回答 | 动态环境状态 → 动作 → 新状态 | | reward 只评“答得好不好” | reward 还评“做得对不对” | | 退化 MDP（T=1） | 标准 POMDP（T>1） |
理论框架：用 POMDP 把“LLM 当 policy”
给出形式化七元组
⟨S,A,P,R,O,γ⟩，其中
- A = A_text ∪ A_action：模型既可“说话”也可“调用工具/执行命令”
- O 为局部可观察文本/图像/代码等多模态信号
- R 支持稀疏（任务成败）或稠密（中间步骤）奖励
与传统 PBRFT 的逐项对比
PO, DPO, GRPO家族对比
RL 如何“点亮”六大模块
图 3：Agentic LLM 与环境之间的动态交互过程
| 能力 | RL 作用 | 代表工作 | | --- | --- | --- | | Planning | 外部搜索（MCTS）或内部策略梯度直接优化计划 | LATS、AdaPlan | | Tool Use | 从模仿 ReAct → 奖励驱动 TIR（Tool-Integrated Reasoning） | ToolRL、ReTool、OpenAI o3 | | Memory | 把静态 RAG 升级为“RL 决定何时写/删/查” | Memory-R1、MemAgent | | Self-Improvement | 自生成 critique → 在线 DPO/GRPO 更新 | Reflexion、R-Zero、Absolute Zero | | Reasoning | 慢思维“长链推理”由过程奖励塑形 | DeepSeek-R1、o1/o3 | | Perception | 视觉/音频/3D 任务统一用 GRPO 优化 | Vision-R1、SVQA-R1、EchoInk-R1 |
Agentic RL 6 大核心能力板块
任务视角：十大战场全景图
图 6：按时间轴梳理的“任务进化树”。
| 领域 | 关键趋势 | 开源亮点 | | --- | --- | --- | | Search & Research | 从单轮 RAG 到多轮深度研究 | Search-R1、WebSailor、DeepResearcher | | Code | 函数级 → 文件级 → 仓库级 SWE-bench | DeepSWE、SWE-RL、Qwen3-Coder | | Math | 非形式化 + 形式化（Lean/Isabelle）双轨 | DeepSeek-Prover、Leanabell、STP | | GUI | 静态截图 → 在线真机交互 | UI-TARS、DiGiRL、ZeroGUI | | Vision | 被动看图 → 主动“用图思考” | Vision-R1、Ground-R1、Got-R1 | | Embodied | VLA 模型 + 轨迹级奖励 | VLN-R1、TGRPO、VIKI-R | | Multi-Agent | 去中心化训练 & 博弈自博弈 | MAGRPO、SPIRAL、Chain-of-Agents |
开源环境 & 框架速查表
搜索与研究Agent
代码与软件工程Agent
数学推理Agent
GUI Agent
Multi-Agent框架
汇总 50+ 环境与基准
汇总 15 个 RL 框架
| 类型 | 推荐上手 | | --- | --- | | Web 任务 | WebArena、VisualWebArena、AppWorld | | 代码任务 | SWE-bench、Debug-Gym、R2E-Gym | | 多智能体 | SMAC-Exp、Factorio、PaperBench | | 框架 | OpenRLHF、trlX、EasyR1、AgentFly、AWorld |
https://arxiv.org/pdf/2509.02547
The Landscape of Agentic Reinforcement Learning for LLMs: A Survey
https://github.com/xhyumiracle/Awesome-AgenticLLM-RL-Papers
推荐阅读
• 从DeepSeek-V3到Kimi K2：八种现代LLM架构大比较
每天一篇大模型Paper来锻炼我们的思维已经读到这了，不妨点个👍、❤️、↗️三连，加个星标⭐，不迷路哦