前言
文档领域的RAG，之前的工作如ChatPDF等很多的RAG框架，文档数量一旦增加，将导致响应准确性下降，如下图；现有RAG方法在处理具有相似内容（在面对大量难以区分的文档时）和结构的文档时表现不佳；用户查询常常涉及元信息，还增加了检索和生成的复杂性，导致检索的准确性会下降，本文介绍的方法-HiQA，一种用于主要解决多文档问答（MDQA）中的检索增强生成方法。
数量多文档RAG对着文档数量的性能变化
方法
提出了HiQA框架，用于解决多文档问答中的检索准确性问题。该框架主要由Markdown格式化器（Markdown Formatter）、分层上下文增强器（Hierarchical Contextual Augmentor, HCA）、多路径检索器（Multi-Route Retriever, MRR）三部分组成。
Markdown格式化器（Markdown Formatter）
该部分主要是使用大模型的方式指导文档解析生成markdown的过程，这样的比较耗费时间，可以考虑替换成一些轻量的解析方法，常见的过程可以参考以往的一些文档《【文档智能 & RAG】RAG增强之路：增强PDF解析并结构化技术路线方案及思路》
下面看看这篇文章介绍的过程：
首先，使用LLM将源文档转换为Markdown格式的文档，每个章节对应一个自然段落，包含章节元数据和内容。LLM的处理过程如下：
其中，是输入的PDF文档，是输出的Markdown文档，是语言模型，是第个时间步的输出。
对于图片引用 ： 利用一个名为PDFImageSearcher 的开源工具，用于从文档中提取位图和SVG矢量图 像，以及一个API来检索图像。它利用图像周围的文本、图像标题和一个可选的视觉语言模型，为每个图像生成一个描述性文件。
对表格增强 ：表格的语义值源自其定义，包括整体描述、标题和行/列标签，因此，在嵌入表格时，仅关注这些语义元素，将表格视为类似文本知识。
表格嵌入。为了在嵌入过程中减少噪声，省略了数据字段。但是，如果检索到这些数据字段，它们将被保留以提供LLM的上下文
对图片增强 ：利用视觉语言生成模型来创建描述性标题，这些标题包含了图像的显著特征。然后对这些标题进行嵌入。
应用视觉-语言模型生成图像语义的文本描述，然后将其纳入片段中
总之，为了得到高质量的文档处理结果，使用指令进行生成markdown核心思想 如下：
- 将文档中的每一章，无论其级别如何，都视为Markdown中的一级标题，并附上数字标识符。将每章视为一个知识片段，而不是固定大小的块。
- 设置正确的章节编号，后面跟着章节标题。
- 通过Markdown语法生成表格并记录表格标题。
分层上下文增强器（Hierarchical Contextual Augmentor, HCA）
使用级联文档结构在数据处理过程中进行文本增强：
从Markdown文件中提取层次结构元数据，并将其级联到每个章节，形成增强的段落。具体步骤包括：
- 使用深度优先搜索遍历章节树，连接和传递元数据。
- 对文本、表格和图像等不同类型的段落进行不同的处理。
多路径检索器（Multi-Route Retriever, MRR）
最后，采用多路径检索方法来找到最适合的段落，并将其作为上下文输入到语言模型中。具体方法包括：
- 向量相似性匹配：使用Elasticsearch和BM25。
- 关键词匹配：使用预训练的关键实体检测 模型提取关键词。
- 补偿向量相似性限制：结合基于频率 的检索技术和关键词排名 策略。
综合以上三个组件，形成了HiQA框架。公式如下：
其中，α、β是超参数，分别平衡向量相似性和信息检索得分的贡献，表示匹配的关键词数量。
实验效果
总结
本文介绍了HiQA，这是一个专门为了解决现有RAG在多文档问答（MDQA）环境中的局限性而设计的新型框架，特别是在处理无法区分的多文档时。利用文档的结构元数据有效地进行块分割和嵌入增强 ，并辅以多路检索机制以提高检索效率。
参考文献
- HiQA: A Hierarchical Contextual Augmentation RAG for Multi-Documents QA，https://arxiv.org/pdf/2402.01767v2
往期相关
【文档智能 & RAG】RAG增强之路：增强PDF解析并结构化技术路线方案及思路
【文档智能 & LLM】LayoutLLM：一种多模态文档布局模型和大模型结合的框架
【文档智能】再谈基于Transformer架构的文档智能理解方法论和相关数据集
【文档智能】：GeoLayoutLM：一种用于视觉信息提取（VIE）的多模态预训练模型
【文档智能】符合人类阅读顺序的文档模型-LayoutReader及非官方权重开源
【文档智能】实践：基于Yolo三行代码极简的训练一个版式分析模型
【文档智能 & RAG】RAG增强之路-智能文档解析关键技术难点及PDF解析工具PDFlux
【文档智能】DLAFormer：端到端的解决版式分析、阅读顺序方法
【文档智能 & RAG】浅看开源的同质化的文档解析框架-Docling
【LLM & RAG】英伟达“ChatQA 2”训练策略概述
【LLM & KBQA】FlexKBQA：一种结合LLM的KBQA框架
【LLM & RAG & text2sql】大模型在知识图谱问答上的核心算法详细思路及实践
【开源分享】KBQA核心技术及结合大模型SPARQL查询生成问答实践
【文档智能 & RAG】RAG增强之路：增强PDF解析并结构化技术路线方案及思路
【RAG】一种新颖的Agentic RAG系统，Golden-Retriever解决工业领域知识问答
【RAG】WeKnow-RAG：融合Web搜索与知识图谱的自适应检索增强生成方法