随着生成性大型语言模型（LLMs）的快速发展，评估这些模型生成的文本质量，尤其是在开放式文本生成方面，一直是一个挑战。传统的手动评估方法耗时且成本高昂， 而自动化评估方法如BLEU、Rouge和METEOR在开放式文本评估中存在局限性 。最近的研究开始探索使用LLMs作为评估智能体，但这种方法存在不确定性和不稳定性。
为了解决这些问题，提出了 MATEval 框架，一个多智能体文本评估框架，旨在模拟人类协作讨论方法，通过多个智能体的交互来评估文本。
Multi-Agent文本评估框架
MATEval框架包括 评估智能体 、 反馈智能体**** 和 总结智能体**** ，它们协同工作完成文本评估任务。
MATEval框架示例： 包括提示和对话，融合了自我反思、思维链（CoT）、反馈机制和最终总结的讨论过程。
MATEval框架关键组成部分：
-
评估智能体（Evaluator Agent）：这是框架中的主要评估实体，负责进行多轮的文本评估。评估智能体通过设计好的提示（prompts）引导，存储和处理来自其他智能体的陈述，并以此为参考进行对话历史记录。
-
反馈智能体（Feedback Agent）：反馈智能体在每轮讨论后评估讨论的内容和质量，专注于识别低效的对话和分歧，并提出改进建议，以提高后续讨论的效率和共识。
-
总结智能体（Summarizer Agent）：在所有讨论结束后，总结智能体负责整理整个讨论过程和结果，提供详细的评估报告，包括错误类型、具体位置、解释和得分。
-
自我反思（Self-reflection）：在每轮讨论中，智能体会进行自我反思，考虑同伴的输入来丰富对问题的理解，并调整自己的陈述。
-
思维链（Chain-of-Thought, CoT）策略：通过提示引导智能体自主分解问题，并在每轮讨论中只关注一个子问题，从而深入分析文本。
-
反馈机制：在每轮讨论结束时，反馈机制通过提示引导反馈智能体总结和评估讨论，指导后续讨论减少重复，提高效率，并引导参与者达成共识。
-
输出格式：MATEval框架提供两种格式的评估报告：一种是基于问答（Q&A）的格式，便于计算相似度和相关性分数；另一种是文本报告格式，便于业务人员快速理解和迭代模型。
MATEval框架在两个英文故事文本数据集（ROCStories和WritingPrompts）和两个中文故事文本数据集（LOT和Ant）上进行了实验。实验结果显示， MATEval在评估LLMs生成的文本方面优于现有的开放式文本评估方法，并且与人类评估具有最高的相关性 。特别是，结合自我反思和CoT策略的方法在评估逻辑不一致性、不连贯性和不当词汇选择方面表现尤为出色。
使用 不同模型和MATEval不同策略在ROC/WP数据集 上评估结果与人类判断的相关性，其中SA代表单智能体，SR表示自我反思，CoT代表思维链。符号ρ/τ分别表示斯皮尔曼/肯德尔相关性。最高相关性值以粗体突出显示。
使用不同模型和 MATEval不同策略在LOT/Ant数据集上 评估结果与人类判断的相关性。最高相关性值以粗体显示。
MATEval: A Multi-Agent Discussion Framework for Advancing Open-Ended Text Evaluation
https://arxiv.org/pdf/2403.19305.pdf
推荐阅读
- • 对齐LLM偏好的直接偏好优化方法：DPO、IPO、KTO
- • 2024：ToB、Agent、多模态
- • TA们的RAG真正投产了吗？（上）
- • Agent到多模态Agent再到多模态Multi-Agents系统的发展与案例讲解（1.2万字，20+文献，27张图）
欢迎关注我的公众号“ PaperAgent ”， 每天一篇大模型（LLM）文章来锻炼我们的思维，简单的例子，不简单的方法，提升自己。