今天分享的是一篇由北大信息技术高等研究院11月1日发布Arxiv上的文章：
E2E-AFG：适用于RAG的自适应过滤端到端模型
论文链接：https://arxiv.org/abs/2411.00437
代码链接：https://github.com/XieZilongAI/E2E-AFG
论文概述
在检索增强型生成（Retrieval-Augmented Generation, RAG）任务中，大型语言模型（Large Language Models, LLMs）可能会因为从外部知识库检索到的低质量内容而生成包含错误信息或不相关的内容 ，从而影响生成结果的准确性和可靠性的问题。具体来说，论文指出了现有方法在以下几个方面的不足：
- 检索内容质量问题 ：现有方法往往没有充分考虑检索到的内容的质量，可能包含了分散注意力的不相关内容或错误信息，导致LLMs生成幻觉性答案。
- 系统复杂性和成本问题 ：一些尝试通过重排或过滤检索内容的方法涉及多个独立模型和复杂的预处理操作，这不仅增加了系统的复杂性，也提高了训练和推理的成本。
为了解决这些问题，论文提出了一个端到端模型E2E-AFG（End-to-End Model with Adaptive Filtering for Retrieval-Augmented Generation），该模型将答案存在判断和文本生成集成到一个单一的端到端框架中，使模型能够更有效地关注相关内容，减少不相关信息的影响，并生成准确的答案。
核心内容
E2E-AFG（End-to-End Model with Adaptive Filtering for Retrieval-Augmented Generation）的端到端模型，通过以下几个关键步骤解决检索增强型生成任务中的问题：
1. 集成答案存在判断和文本生成任务
E2E-AFG将分类任务（判断上下文中是否包含答案）和生成任务（生成回答）集成到一个统一的端到端框架中。这种设计允许模型同时学习上下文过滤和答案生成。
2. 生成伪答案（Pseudo-Answers）
为了增加模型生成准确答案的可能性，E2E-AFG首先使用预训练的大型语言模型为输入查询生成一个相关的伪答案。这个伪答案作为额外的参考，帮助模型产生更准确的回答。
3. 上下文过滤策略
E2E-AFG采用了三种上下文过滤策略来获取银牌分类标签（silver classification labels），用以判断检索到的段落集和生成的伪答案是否包含答案：
- 字符串包含（STRINC ）：检查上下文是否直接包含真实答案。
- 词汇重叠（LEXICAL ）：测量上下文和真实答案之间的词汇重叠程度。
- 条件交叉互信息（CXMI） ：评估给定上下文时，生成模型产生真实答案的可能性。
4. 端到端模型架构
模型基于一个生成模型，并增加了一个分类模块，该模块使用交叉注意力机制来预测上下文中的句子是否包含答案。这使得模型能够基于对上下文的一定判断来回答问题。
5. 损失函数的联合优化
在训练过程中，E2E-AFG同时优化生成任务和分类任务的损失函数。总体损失函数是生成任务损失和分类任务损失的加权和。
6. 低秩适应（Low-Rank Adaptation, LoRA）技术
为了提高模型的训练效率和性能，E2E-AFG采用了LoRA技术，即在预训练模型的权重矩阵上添加低秩矩阵进行微调，减少计算开销并加速训练过程。
通过这些方法，E2E-AFG能够有效地减少不相关信息的干扰，提高生成答案的准确性，并简化模型复杂性，降低训练成本。实验结果表明，E2E-AFG在六个知识密集型语言数据集上均优于基线模型，证明了所提方法的有效性和鲁棒性。
论文总结
作者在六个知识密集型语言数据集上对E2E-AFG进行实验，涵盖问答、事实验证和对话生成任务，使用精确匹配、Unigram F1、准确度和Top-20召回率等指标，与FULL、HyDE和FILCO等基线方法进行比较，实验结果证明E2E-AFG在所有任务中均优于基线方法，证明了其有效性。
E2E-AFG通过集成答案存在判断和文本生成任务，提高了生成质量，简化了模型复杂性，并降低了训练成本，未来的研究可以进一步优化模型架构和过滤策略，探索其在不同应用场景中的潜力。
编者简介
致Great，中国人民大学硕士，多次获得国内外算法赛奖项，目前在中科院计算所工作，目前负责大模型训练优化以及RAG框架开发相关工作。
个人主页：https://github.com/yanqiangmiffy
项目链接：https://github.com/gomate-community/GoMate