https://arxiv.org/pdf/2402.11163.pdf
这篇文章介绍了一个名为KG-Agent的自主代理框架，旨在提高大型语言模型（LLMs）在知识图谱（KGs）上进行复杂推理的能力。KG-Agent的核心思想是设计一个能够主动进行决策的LLM，以便在不需要人类干预的情况下完成对KG的推理过程。
- 多功能工具箱（Multifunctional Toolbox） ：
- KG-Agent集成了一个多功能工具箱，它包含三种类型的工具：提取工具（Extraction Tools）、逻辑工具（Logic Tools）和语义工具（Semantic Tools）。这些工具允许LLM执行对KG数据和中间结果的基本操作，如提取信息、过滤无关信息、执行逻辑操作等。
- 知识记忆（Knowledge Memory） ：
- KG-Agent使用知识记忆来记录整个推理过程中的上下文和当前有用的信息。这包括自然语言问题、工具箱定义、当前KG信息和历史推理程序。知识记忆在每一步推理中都会被更新，以支持LLM进行决策。
- 自主迭代机制（Autonomous Iteration Mechanism） ：
- KG-Agent通过自主迭代机制来选择工具并更新知识记忆。这个机制基于LLM生成的函数调用，这些调用代表了在KG上执行的操作。执行器（Executor）会根据这些调用执行相应的操作，并更新知识记忆。
- 基于程序语言的推理过程（Program Language-based Reasoning） ：
- 为了确保推理过程的有效性，KG-Agent利用程序语言来形式化KG上的多跳推理过程。这允许LLM通过代码指令集来执行复杂的推理任务。
- 基于代码的指令数据集（Code-based Instruction Dataset） ：
- KG-Agent通过从现有的KG推理数据集中合成基于代码的指令数据集来微调基础LLM。这些数据集首先根据KG上的推理链生成程序，然后分解成多个步骤，每个步骤都作为输入-输出对，用于指导LLM进行推理。
- 自主代理框架（Autonomous Agent Framework） ：
- KG-Agent框架包含四个主要组件：经过指令调优的LLM（LLM-based Planner）、多功能工具箱、基于KG的执行器（KG-based Executor）和知识记忆。这个框架允许KG-Agent在KG上自主进行多步骤推理，以找到问题的答案。
- 实验验证（Experimental Validation） ：
- 通过在多个领域内和领域外的数据集上进行实验，KG-Agent展示了其有效性。在只有10K样本进行调优的情况下，KG-Agent在多个数据集上的性能超过了使用更大LLM或更多数据的现有方法。
KG-Agent的设计目标是使相对较小的LLM（例如7B参数的LLaMA-7B）能够有效地执行复杂推理任务，而不需要依赖于封闭源的LLM API。这种方法通过自主决策和迭代过程，提高了LLM在处理复杂问题时的推理能力。