AssisTRAG通过集成一个智能信息助手 来提升LLMs处理复杂推理任务的能力。该框架由两个主要组件构成：一个冻结的主语言模型 和一个可训练的助手语言模型 。 AssisTRAG与之前的RAG对比组件主语言模型（Main LLM） ：负责根据提供的信息生成答案。这个模型是固定的，不进行训练。助手语言模型（Assistant LLM） ：负责信息管理，包括记忆管理和知识管理。这个模型是可训练的。可

折腾记录

先说结论：这篇文章的方法和前面介绍的两个多模态RAG的工作非常相似，可以看看往期介绍：【RAG&多模态】多模态RAG-ColPali：使用视觉语言模型实现高效的文档检索【RAG&多模态】多模态RAG-VisRAG：基于视觉的检索增强生成在多模态文档上的应用M3DOCRAG同样也指出，现有的方法要么专注于单页文档的多模态语言模型，要么依赖于基于文本的RAG方法，这些方法使用OCR等文本提取工具。然而

文章指出，传统RAG通过向量检索排序召回与Query相关的片段，通过prompt生成回复，LLMs与检索器之间存在语义鸿沟（LLMs难以有效利用检索器提供的信息）。下面来看看这篇文章引入检索信息增强RAG性能的trick。 RAG和的比较。采用可训练的-Former来弥合检索器和LLM之间的语义鸿沟 模型架构检索特征提取在 中，首先从检索器 获取语义表示：查询编码表示：：文档编码表示 ：。这样

关于【RAG&多模态】多模态RAG-ColPali：使用视觉语言模型实现高效的文档检索前面已经介绍了（供参考），这次来看看ColPali实践。多模态问答模型：Qwen2-VL-72B-Instruct，https://modelscope.cn/models/Qwen/Qwen2-VL-72B-Instruct基于 PaliGemma-3B 和 ColBERT 策略的视觉检索器：ColPali（L

笔者在往期文章中分享了很多文档智能解析相关技术，传统的pipline的解析技术基本上如下图：往期相关文章整理在合集《文档智能》，供参考。下面再来通过一篇综述文章回顾下相关技术 ，文章介绍了传统pipline的文档解析技术、端到端的多模态文档解析技术和相关数据集。 文档解析方法概述 文档解析的两种方法论：传统pipline的文档解析技术、端到端的多模态文档解析技术基于版式分析的pipline解析技术

AutoML（自动机器学习）是指通过自动化过程，简化机器学习模型的开发、训练和优化，使非专业用户也能有效地构建高性能模型。今天分享的自动RAG框架，该框架能够自动识别给定数据集的合适RAG模块。自动RAG探索并近似数据集的最佳RAG模块组合 。 AutoRAG整体结构的结构图文章评估了各种RAG技术。分别为查询扩展、检索、段落增强、段落重排和提示创建 的策略。每种技术旨在优化外部知识源与生成过程的

前期文章提到，多模态的RAG框架ColPali通过视觉语言模型（VLMs）高效地检索纯视觉特征的文档，实现视觉文档问答。 【RAG&多模态】多模态RAG-ColPali：使用视觉语言模型实现高效的文档检索本文再来看一个类似工作，VisRAG，一种基于视觉语言模型的检索增强生成（RAG）方法，用于解决多模态文档中的信息利用问题。VisRAG分为VisRAG-Ret和VisRAG-Gen两个阶段。 传

前面文章提到，文档智能解析能够有效的增强RAG系统的准确性。【文档智能 & RAG】RAG增强之路：增强PDF解析并结构化技术路线方案及思路 文档智能解析RAG一般流程可以看到基于PDF的RAG，需要先对pdf进行解析，生成文本chunk，然后再基于文本建索引。这种pipline的方式，每个解析模块都需要放置对应的解析模型，存在着错误传播的问题。因此，笔者看到ColPali时，这种端到端的方案挺有

来看一个RAG比赛方案，提出了一个名为EasyRAG的框架，用于自动化网络操作的检索增强生成。该框架旨在解决网络操作中信息检索和生成效率低、准确性差的问题。研究难点包括：如何在保证准确性的前提下提高检索和生成的效率；如何实现简单快速的部署；如何在推理过程中显著减少延迟。比赛地址：competition.aiops-challenge.com整体包含两部分，数据处理工作流和RAG工作流 EasyRA

本文回顾一下MHA、GQA、MQA，详细解读下MHA、GQA、MQA这三种常见注意力机制的原理。 图1 MHA、GQA、MQA一览 self-attention在自注意力机制中，输入通常是一个统一的输入矩阵,而这个矩阵后续会通过乘以不同的权重矩阵来转换成三个不同的向量集合：查询向量、键向量和值向量。这三组向量是通过线性变换方式生成：1.查询向量 (Q):2.键向量 (K):3.值向量 (V):,和

表格识别 作为文档智能的重要组成部分，面临着复杂结构和多样化格式的挑战。 【文档智能 & RAG】RAG增强之路：增强PDF解析并结构化技术路线方案及思路‍‍‍前期文章也介绍了传统视觉的方法进行表格结构识别的方法，【文档智能】轻量级级表格识别算法模型-SLANet‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍关于表格识别在这里就不做过多的介绍了。国庆期间，笔者利用一个较长的时间段，训练了一个多

OCR技术作为文档智能解析链路中的核心组件之一，贯穿整个技术链路，包括：文字识别、表格文字识别、公式识别，参看下面这张架构图：前期介绍了很多关于文档智能解析相关核心技术及思路，本着连载的目的，本次迎来介绍整个链路中的最后一块拼图-OCR 。本文简要介绍OCR常见落地的算法模型-DBNet、CRNN，并基于这两个模型，简单介绍文字识别在表格识别中参与的角色；并且额外介绍TrOCR这个端到端的模型，基

文章指出，在以前的方法中，使用LLM生成三元组时，必须预定义好schema，假如schema数量很多/复杂，很容易超过LLM的上下文窗口长度。并且，在某些情况下，没有可用的固定预定义schema。一、EDC框架 EDC框架提出了一个名为提取-定义-规范化（EDC）的三阶段框架：先进行开放信息提取，然后定义schema，最后进行规范化。解决知识图谱构建问题。1.开放信息提取（Open Informa

前面很多期介绍了密集文档场景的RAG方法，今天来看看大量表格场景的RAG怎么做的。现有结合大模型的方法通常需要将整个表格作为输入，这会导致一些挑战，比如位置偏差、上下文长度限制等，尤其是在处理大型表格时。为了解决这些问题，文章提出了TableRAG框架，该框架利用查询扩展结合模式 和单元格检索 ，以在向LLM提供信息之前精确定位关键信息 。这种方法能够更高效地编码数据和精确检索，显著减少提示长度并

检索增强生成（RAG）已被证明可以提高大型语言模型（LLMs）的事实准确性，但现有方法在有效使用检索到的证据方面往往存在有限的推理能力，特别是当使用开源LLMs时。引入了一个新颖的框架OPEN-RAG，增强基于开源大型语言模型的检索增强推理的能力，特别是处理复杂推理任务时的有限推理能力。1.LLMs转MOE模型转换 ：OPEN-RAG将任意密集的LLM转换为参数高效的稀疏专家混合（MoE）模型。该

表格识别作为文档智能的重要组成部分，面临着复杂结构和多样化格式的挑战。本文介绍的轻量级的表格识别算法模型——SLANet

文档领域的RAG，之前的工作如ChatPDF等很多的RAG框架，文档数量一旦增加，将导致响应准确性下降，如下图；现有RAG方法在处理具有相似内容（在面对大量难以区分的文档时）和结构的文档时表现不佳；用户查询常常涉及元信息，还增加了检索和生成的复杂性，导致检索的准确性会下降，本文介绍的方法-HiQA，一种用于主要解决多文档问答（MDQA）中的检索增强生成方法。 数量多文档RAG对着文档数量的性能变化

回顾一下三种参数高效微调方法-Prefix Tuning、Adapter Tuning、LoRA Prefix Tuning在prefix-tuning之前的工作主要是人工设计离散的template或者自动化搜索离散template，问题在于最终的性能对人工设计的template的特别敏感：加一个词或者少一个词，或者变动位置，都会造成很大的变化，所以这种离散化的token的搜索出来的结果可能并不是

RAG现在工作很多，进化的也很快，再来看看一个新的RAG工作-MemoRAG 。文章提出，RAG在减少大模型对于垂类知识的问答幻觉上取得了不错的效果，也成为私域知识问答的一种范式。然而，传统RAG系统主要适用于明确信息需求的问答任务，但在处理涉及模糊信息需求或非结构化知识的复杂任务时表现不佳。因为，现实世界中的许多问题信息需求是模糊的，外部知识是非结构化的，例如理解书籍中主要角色之间的相互关系。因