https://arxiv.org/pdf/2401.05787.pdf
这篇文章介绍了一种名为Evidence to Generate (E2G) 的新型单代理、两步提示框架，旨在提高大型语言模型（LLMs）在基于上下文的或检索增强（RAG）推理任务中的表现。E2G框架的核心原理是通过明确地在上下文中提取和使用证据来指导模型的输出生成过程，从而实现更精确、高效和上下文感知的推理。
E2G框架的两步过程如下：
- E步（提取证据）：在这一步中，模型被提示专注于从给定的上下文中提取出推理路径，这些路径是直接从上下文中提取出来的，包含了生成最终答案所需的中间步骤。这一步骤的目的是确保模型的推理过程与上下文紧密相关，避免生成不基于上下文的假设或推理。
- G步（生成答案）：在第二步中，模型使用在E步中提取的证据（或将它们与原始上下文连接起来）来生成最终答案。这一步的目的是简化任务的复杂性，通过提供更直接的、与答案相关的上下文片段，使得模型能够更准确地生成答案。
E2G框架的关键特点是：
- 逻辑推理：通过要求模型提供证据和解释，促进了更结构化和逻辑的思维过程，减少了无支持或不合逻辑的陈述。
- 事实基础：明确要求模型提供证据和解释，鼓励模型在上下文中找到并依赖于相关事实，而不是依赖于想象或无支持的声明。 减少猜测：通过要求证据，模型更倾向于依赖已知信息或可以从现有信息中合理推断出的信息。
- 问责制：当模型被提示提供证据时，它需要对其回答的准确性和可靠性负责。
E2G框架在多种知识密集型推理和生成任务中表现出色，超越了使用最先进的LLMs的基线方法。例如，在LogiQA基准测试中，使用GPT-4作为骨干模型，E2G实现了53.8%的新状态准确率，超过了CoT的18%，ToT的11%，CR的9%。
文章还讨论了E2G框架的局限性，包括在某些情况下可能出现的幻觉（hallucinations），以及在强调上下文基础推理时可能忽视通用世界知识、逻辑和原则。未来的工作包括收集来自表现良好的黑盒LLMs的上下文推理数据集的注释，并通过指令微调来蒸馏到开源白盒LLMs。