深度｜基于大模型的RAG应用中的四个常见问题及方案探讨【中】 - 文章 - 开发者社区

在上篇中，我们探讨了构建RAG应用中常面临的两个问题：如何提高语义检索的精度以及实现多轮对话中上下文理解的检索。本文接着探讨另一个常见的也是比较复杂的问题：

如何对多模态文档，特别是其中的图片内容进行嵌入、检索与引用？

picture.image

鉴于在之前的文章【GPT4-V之前：企业私有知识库中半结构化与多模态数据的RAG方案思考】中初步探讨过多模态RAG方案，本文会侧重在方案实现与测试。

picture.image

我们将基于Google最新的 Gemini多模态模型 作简单实现与测试。

picture.image

01 需要处理的图片

picture.image

在构建基于大模型的RAG应用时，通常需要从大量的文档中导入私有知识，需要对其中的内容进行分割、嵌入与索引，从而能够在响应用户输入时检索到需要引用的关联知识。

棘手的是，我们在处理这些文档时，往往面临的是一个混合了多种内容形式的文档，其中对于文本类型的内容处理相对简单，不管是纯文本，还是Markdown或者HTML；而相对复杂的是图片内容，如果没有完善的处理方案，那么就会丢失图片中的有价值信息。

需要强调的是，并不是所有的文档中涉及的图片都需要处理。通常来说，在RAG应用中需要做深度处理的图片指的是： 包含了可能会被检索与参考到的知识信息的图片。 比如：

一个包含了产品详细操作说明的示意图
一个反映了数据分析结果的可视化图表
一个与竞争对手产品对比的表格图片等

picture.image

一个包含有用信息的图片

文档中一些仅用于参考的图片或者无关的装饰图则无需进行RAG相关处理（ 注意这一类图片只是不需要进行类似嵌入与语义检索的操作，但仍然有可能需要在大模型响应时输出，如包含在输出的Markdonw内容中）。比如：

一个已经有了文字说明的操作手册中的界面截图
一些不包含有用知识的装饰型图片

一个无需处理的参考图片

picture.image

02【图片RAG处理方案】

picture.image

多模态的混合文档处理的总体方案，我们在之前文章中结合了Langchain开发框架做过介绍（点击阅读： GPT4-V之前：企业私有知识库中半结构化与多模态数据的RAG方案思考）。我们在此做简单总结：

picture.image

图片来自LangChain Cookbook

忽略掉其中对文本内容(Text)的处理，这里展示了三种具有代表性且复杂性有区别的图片(Image)处理方法，我们对这里的三种方法做简单剖析以帮助我们更好的选择与实现：

方法1

嵌入：直接嵌入图片，需要借助特殊的 图片嵌入模型
检索：直接根据用户问题语义检索出原图片即可
引用：借助多模态大模型（GPT-4v/Gemini等），输入检索出的图片

picture.image

方法1的特点是 直接对图片嵌入。 其特殊性在于需要借助多模态的embedding模型（如OpenClip）以及支持多模态的向量库（如Chroma），由于不需要生成图片的摘要信息，因此简化了嵌入的过程；但同时也引入了多模态嵌入与检索过程的复杂性

方法2

嵌入：嵌入图片摘要信息(Summary)，需借助多模态模型先生成摘要
检索：通过用户问题检索出图片摘要信息文本
引用：将检索的摘要信息作为上下文输入大模型获得响应

picture.image

方法2是一种 最简单也是效果相对较差 的方法。简单的说就是在嵌入时把图片转成图片的摘要文本，后续的检索与引用都基于该文本处理。 由于摘要可能隐藏了图片的大量真实细节信息，可能会导致回答效果较差 。一种简单优化的方法是在生成摘要文本的时候，要求尽量细节化（借助多模态大模型）。

方法3

嵌入：嵌入图片摘要信息(Summary)，需借助多模态模型先生成摘要
检索：通过用户问题关联检索出图片摘要信息与原始图片
引用：借助多模态大模型（GPT-4v/Gemini等），输入检索出的原图

picture.image

推荐的一种方法。 其嵌入的对象是生成的图片摘要文本信息，因此只需要普通的文本embedding模型即可；但是在检索时会通过元数据关联获取到原始图片，进而引用原始图片，并借助多模态大模型响应用户输入。

picture.image

03 基于Gemini模型的实现

picture.image

Google最新推出的Gemini模型支持多模态，且当前的API还处于免费调用阶段，非常适合研究与测试。所以这里我们借助于最新的Google的Gemini Pro模型来简单实现与测试方法3中的过程。为了更好的关注重点，这里忽略了从原始文档比如PDF提取图片的过程（可参考之前的文章），我们假设提取的图片已经存放在本地目录中，其中包含三张测试图片：

基本的处理过程如下：

生成图片摘要信息
对图片摘要进行嵌入与关联存储
输入用户问题检索，并输入大模型获得响应

1. 生成 图片摘要 ：首先将原始图片转为base64格式，并通过多模态模型生成摘要信息即可。这个处理过程比较简单，只需要利用提示词即可完成。下面是一个生成某个图片摘要的参考代码（仅列出关键过程）


        
            

          """  
对单一图片生成摘要文本信息，借助google gemini多模态模型  
"""  
  
def image\_summarize(img\_path):  
  
   #模型  
   model = ChatVertexAI(model\_name="gemini-pro-vision",  
   max\_output\_tokens=1024,project="my-ai-assistant")  
  
   #提示  
   prompt = """你是一位负责为检索任务总结图像的助手。这些总结将被嵌入并用于检索原始图像。给出一个简洁的、针对检索优化的图像总结。"""  
  
   #图片转为encode格式  
   img\_base64=encode\_image(img\_path)  
  
   msg = model(  
        [  
            HumanMessage(  
                content=[  
                    {"type": "text", "text": prompt},  
                    {  
                        "type": "image\_url",  
                        "image\_url":{"url":f"data:image/jpeg;base64,{img\_base64}"},  
                    },  
                ]  
            )  
        ]  
   )

我们来看看生成的摘要效果：

picture.image

2. 嵌入与向量存储 ：在生成图片摘要后，需要对生成的图片摘要信息作嵌入，借助于嵌入模型，可以轻松的完成这个任务。但是这里有一个问题：

由于后续我们需要在检索（retrieve）的时候关联获取到原始图片，因此在嵌入并存储到向量库时，要建立一个图片摘要与原始图片之间的映射关系，这可以简单的通过一个doc_id来实现关联。

我们推荐使用Langchain中的 多向量检索器(MultiVectorRetriever) ，可以很方便建立这种映射关系，并且在检索时自动关联取出原始图片。

picture.image

多向量检索也是我们在上篇中介绍的RAG应用中提高文本知识语义检索精度的一种重要方案。

picture.image

下面展示对图片摘要进行嵌入与存储，并关联原始图片的处理过程：


          
"""对图片摘要images_summaries作嵌入，并关联原始图片images
          
传入图片摘要列表与图片列表"""def create_images_retriever(image_summaries, images):    #向量存储：用来存放图片摘要的向量（chroma）    vectorstore = Chroma(collection_name="google_test",embedding_function=VertexAIEmbeddings(model_name="textembedding-gecko@latest",project="my-ai-assistant"))    #普通存储：用来存放原始图片（base64）    store = InMemoryStore()    #两者之间通过doc_id关联    id_key = "doc_id"    #创建一个多向量检索器，关联到以上存储    retriever = MultiVectorRetriever(        vectorstore=vectorstore,        docstore=store,        id_key=id_key,    )    #对每个图片创建doc_id    doc_ids = [str(uuid.uuid4()) for _ in images]    #将图片摘要嵌入到vectorstore，注意元数据为doc_id    summary_docs = [Document(page_content=s, metadata={id_key: doc_ids[i]}) for i, s in enumerate(image_summaries)]    retriever.vectorstore.add_documents(summary_docs)    #将原始图片存放到普通内存存储，注意将doc_id与图片关联    retriever.docstore.mset(list(zip(doc_ids,images)))    #后续将用此retriever进行检索    return retriever

3. 语义检索并引用： 在完成上述“准备工作”后，接下来就可以接受用户输入。 根据用户的输入进行关联图片的检索，然后把图片作为参考的上下文，与用户输入问题一起交给多模态大模型，等待响应即可 。

使用上面返回的多向量retriever检索器，则过程会变得非常简单，我们建立一个简单的LangChain中的链，来自动的完成这个过程： 语义检索->图片提取->Prompt组装->大模型输出 这个过程。处理过程如下（使用 gemini-pro-vision 多模态大模型）：


        
            

          # 创建用来回答问题的多模态大模型：gemini-pro-vision  
model = ChatVertexAI(temperature=0, model\_name="gemini-pro-vision", max\_output\_tokens=1024,project="my-ai-assistant")  
  
#创建一个langchain的处理链  
#此处传入的参数：  
#retriever：上文创建的检索器  
#split\_image\_text\_type: 这是一个把检索出来的文档区分成普通文本与图片的方法  
#img\_prompt\_func: 这是一个把上面的context,question等组装成prompt的方法  
  
chain = (  
        {  
           "context":retriever | RunnableLambda(split\_image\_text\_types),  
           "question": RunnablePassthrough(),  
        }  
        | RunnableLambda(img\_prompt\_func)  
        | model  
        | StrOutputParser()  
)  
  
#获得输入  
query = input("请输入你的问题：")  
  
#调用获得结果  
result=chain.invoke(query)

可以看到借助Langchain，可以简洁优雅的完成整个过程（当然，完全可以自主实现）。这里面涉及到 两个辅助方法 ：

一个是split_image_text_types ：之所以有这样的过程，是由于在实际处理时，如果把图片摘要与普通文本知识一起做嵌入时，那么检索出来的参考知识就会混合图片(base64)与文本内容，由于两种类型的内容在交给大模型时处理方式不同，因此需要在此区分，并用于后续处理，可借助base64工具库完成。

另外一个是img_prompt_func： 这是将检索出的关联内容（文本内容或者图片内容）、用户问题一起组装成Prompt的方法；一般只要根据你所使用的多模态模型的API规范进行封装即可。比如：


        
            

          #本方法用来组装prompt消息  
#注意输入为上文chain中的第一个参数  
#包含了用户问题question与context，context包含了语义检索出的、拆分后的普通文本内容与图片内容  
  
messages = []  
  
#引用的普通文本内容  
context\_texts = "\n".join(data\_dict["context"]["texts"])  
  
#将用户问题与需要引用的普通文本内容作为上下文包装成文本消息  
text\_message = {"type": "text","text": ("你是一名聪明的AI问答助手，你会根据提供给你的文本、表格、图片（通常为图表或者带有文字的图片），来智能的回答用户问题。如果无法根据提供的信息回答问题，请回答'我暂时无法理解你的问题',不要编造答案。\n"  
            f"用户问题是: {data\_dict['question']}\n\n"  
            "文本信息如下:\n"  
            f"{context\_texts}"  
        ),  
}  
messages.append(text\_message)  
  
#将需要引用的图片内容包装成图片消息  
for image in data\_dict["context"]["images"]:  
   image\_message = {"type": "image\_url","image\_url":{"url": f"data:image/jpeg;base64,{image}"}}  
   messages.append(image\_message)  
  
#OK，现在messages发送给大模型即可！

现在，我们来看下测试结果：

picture.image

Gemini模型很好的回答了我们的问题。对比上文的第一个测试图片，也证实了这个图片被检索了出来，并且传给了大模型做输出参考。

picture.image

04 结束语

picture.image

以上简单介绍了针对包含知识内容的图片，如何在RAG应用中进行嵌入、检索与生成。实际应用中，还可以根据需要在以下两个方面做优化：

图片的摘要信息生成可以根据用户问题做优化以提交检索精度。比如生成更详细的信息以覆盖更多语义、或者利用大模型生成一些假设性的问题等。
注意多模态大模型的选择。实际测试中我们发现目前多模态大模型（比如Gpt-4v/Gemini）在图片文字内容识别、特别是中文识别时仍然存在一定的不完善，从而导致回答错误。

在下篇中我们将探讨如何基于开源框架评估RAG应用的效果。

picture.image

END

点击下方关注我，不迷路

点击使用AI小助手

picture.image