大型语言模型（LLMs）在自然语言处理任务中取得了显著的成功。然而，LLMs在处理需要超出其预训练内容的专业知识的查询时，往往难以提供准确的回答。为了克服这一限制，研究者提出了将外部知识源，如知识图谱（KGs），与LLMs集成的方法。 KGs提供了结构化、明确且可解释的知识表示 ，是克服LLMs内在限制的协同方法。尽管LLMs与KGs的融合在近期研究中引起了广泛关注， 但现有的方法往往仅依赖于LLM对问题的分析，忽视了KGs中丰富的认知潜力 。
一个LLM与KG集成的例子。 观察到的实体以白色显示，而非观察到的实体以灰色显示。代理选择用于回答问题的实体以黄色高亮显示。
ODA（Observation-Driven Agent） 框架是为了解决涉及KGs的任务而设计的。它通过全局观察来增强KG的推理能力，并采用观察、行动和反思的循环范式。ODA的关键模块包括：
观察模块 ：设计用于检查全局KG知识并引导与KG环境的自主推理过程。通过递归进度避免三元组数量呈指数级增长的问题。
行动模块 ：基于观察子图和ODA记忆，战略性地选择最适合执行的行动，确保准确回答问题。
反思模块 ：利用观察子图和从行动步骤获得的知识，提供反馈并更新记忆，为下一次迭代提供连续的推理。
ODA（Observation-Driven Agent ）框架
ODA的工作流程示例。 在这个例子中，ODA从实体Johann Wolfgang von Goethe开始观察。在左侧的第一次迭代中，选择了Johann Wolfgang von Goethe的邻居探索行动，并将反思得到的三元组（Johann Wolfgang von Goethe, unmarried Partner, Lili Schöneman）存储在记忆中。随后，对Lili Schöneman的观察引导ODA选择邻居探索行动，并导致三元组（Lili Schöneman, place of birth, Offenbach am Main）被保留在记忆中，如右侧所示。一旦积累了足够的知识，ODA触发回答行动，正确识别出Offenbach am Main 作为答案。
通过在四个KBQA数据集上的广泛实验，ODA在处理复杂问题时表现出色，尤其是在QALD10-en和T-REx数据集上分别实现了 12.87%和8.9% 的准确率提升。此外，ODA在 不同基础模型上（GPT3.5、GPT4） 的表现也证明了其在不同LLMs上的通用性。ODA通过 观察模块和反思模块 的有效整合，显著提高了行动选择和反思的准确性，从而增强了ODA的推理能力。
不同方法的性能比较 ，粗体分数代表所有基于GPT的零样本方法中的最佳性能。微调的SOTA包括：1: SPARQL-QA，2: RACo，3: Re2G，4: RAG。
消融比较：有无观察模块、以及不同反思方法
ODA: Observation-Driven Agent for integrating LLMs and Knowledge Graphs
https://arxiv.org/pdf/2404.07677.pdf
https://github.com/lanjiuqing64/KGdata
推荐阅读
- • 对齐LLM偏好的直接偏好优化方法：DPO、IPO、KTO
- • 2024：ToB、Agent、多模态
- • TA们的RAG真正投产了吗？（上）
- • Agent到多模态Agent再到多模态Multi-Agents系统的发展与案例讲解（1.2万字，20+文献，27张图）
欢迎关注我的公众号“ PaperAgent ”， 每天一篇大模型（LLM）文章来锻炼我们的思维，简单的例子，不简单的方法，提升自己。