计算机编程 已成为一种普遍的问题解决工具，对于提升程序员的生产力和增强程序合成的可访问性，自动化程序合成至关重要。随着大型语言模型（LLMs）的发展，程序合成领域取得了显著进展，能够生成无需人工干预即可执行的代码。然而，这些模型在 解决复杂问题 ，尤其是在 竞赛级 编程问题 上，仍然存在挑战。
为了解决这一挑战，提出了 MapCoder ，一种基于多智能体提示的代码生成方法，能够无缝合成竞赛级编程问题的解决方案。MapCoder框架包含 四个LLM Agent ，分别模拟程序合成周期的各个阶段： 回顾相关示例、规划、代码生成和调试 。不同于依赖人工注释示例或外部代码检索模型，MapCoder的检索代理能够自主检索相关问题。
MapCoder的概述（上）。它首先由一个检索代理开始，该代理自行生成相关示例，随后是计划、编码和迭代调试代理。动态遍历（下）考虑生成计划的置信度作为它们的奖励分数，并利用它们相应地引导代码生成。
- 检索智能体（Retrieval Agent） ： 检索智能体的作用是回顾过去的相关问题解决实例，类似于人类的记忆。 它能够生成与当前问题相关的k个问题及其解决方案，无需手动设计或外部检索模型。 智能体会生成问题描述、代码和计划的元数据，为后续智能体提供辅助数据。
- 规划智能体（Planning Agent） ： 规划智能体的目标是为原始问题创建一个分步计划。 它利用检索智能体提供的例子和计划来生成针对原始问题的计划。 该智能体会为每个检索到的例子生成一个目标计划，并为后续步骤提供每个计划的效用信息，包括计划和置信度分数。
- 编码智能体（Coding Agent） ： 编码智能体接收问题描述和来自规划智能体的计划，将相应的计划翻译成代码以解决问题。 如果在测试样本输入/输出时初始代码失败，智能体会将其传递给调试智能体进行调试； 否则，预测其为最终解决方案。
- 调试智能体（Debugging Agent） ： 调试智能体使用问题描述中的样本输入/输出来修正生成代码中的错误。 类似于人类在修复错误时交叉检查他们的计划，该管道通过规划智能体提供的计划来辅助调试智能体，显著增强了MapCoder中的bug修复能力。
- 动态智能体遍历（Dynamic Agent Traversal） ： MapCoder的动态遍历从规划智能体开始，它输出原始问题的所有计划及其置信度分数。 这些计划将被排序，最高分的计划将发送给编码智能体。 如果编码智能体生成的代码通过样本输入/输出测试，则返回代码； 否则，将其传递给调试智能体。 调试智能体将尝试最多t次迭代修正代码。 如果成功，返回代码； 否则，责任转回规划智能体，以获取下一个最高置信度的计划。 这一迭代过程持续进行，反映了程序员的方法。
使用Direct、CoT、Reflexion和MapCoder提示生成示例问题和解决方案。MapCoder首先探索高实用性计划，并独特地引入了基于计划的调试功能，以增强错误修复。
MapCoder在多个编程合成基准测试中进行了评估，包括基础编程和具有挑战性的竞争性程序解决基准测试。 MapCoder在代码生成方面表现出色，显著优于所有基线方法 ，并在所有基准测试中实现了新的最先进结果。MapCoder在不同编程语言和不同难度级别上均展现出卓越的性能。 未来的工作将探索将MapCoder扩展到其他领域，如 问答和数学推理 ，以扩大其范 围和影响。
不同方法的Pass@1结果。Self-collaboration的论文结果从他们的论文中收集而来。绿色文本表示最先进的结果，红色文本是直接提示方法的增益。
针对算法类型（标签）和难度级别（xCodeEval数据集）的正确答案数量。
MapCoder: Multi-Agent Code Generation for Competitive Problem Solvin
https://arxiv.org/pdf/2405.11403
https://github.com/Md-Ashraful-Pramanik/MapCoder
推荐阅读
- • 对齐LLM偏好的直接偏好优化方法：DPO、IPO、KTO
- • 2024：ToB、Agent、多模态
- • TA们的RAG真正投产了吗？（上）
- • Agent到多模态Agent再到多模态Multi-Agents系统的发展与案例讲解（1.2万字，20+文献，27张图）
欢迎关注我的公众号“ PaperAgent ”， 每天一篇大模型（LLM）文章来锻炼我们的思维，简单的例子，不简单的方法，提升自己。