2024即将结束，回望这两年了，大模型RAG的发展可谓跌宕起伏：
- 2023年进入RAG萌芽期，摸索前进；
- 2024上半年RAG到达狂热顶点；
- 2024下半年实际落地情况并不理想，渐入困境：一周出demo，半年不交付。
Hype Cycle（技术成熟度曲线），当前RAG逐渐进入狂热之后的低谷期
展望2025年：RAG回归理性。
- 找到最小业务切入点，明确需求，定好指标
- 做好RAG落地标杆，毕竟谁都不愿意当小白鼠
- 仍然关注新技术
这两年，大模型RAG技术侧也经历了快速发展：
- 2023年RAG模块迭代：朴素RAG->高级RAG->模块化RAG
- 2024年RAG框架演化：RAG-> MM-RAG/GraphRAG->Agentic RAG
7种大模型RAG技术架构
直接从文档中检索块（Chunks），然后使用查询（Query）通过向量数据库进行检索。结合检索到的上下文（Retrieved context）和查询，通过生成模型（如LLM）生成响应。
高级RAG技术可以在流程的各个阶段部署。像元数据过滤和文本块分割这样的 预检索策略 ，来提高检索效率和相关性。采用更先进的 检索技术 ，如结合相似性搜索和关键词搜索优势的混合搜索。最后，使用 排名模型 重新对检索结果进行排序，并使用在特定领域数据上 微调的生成性LLM ，有助于提高生成结果的质量。
当前的RAG系统仅基于文本，这使得无法利用在现实世界多模态文档中扮演关键角色的视觉信息，如布局和图像。
MM-RAG框架通过直接将文档图像嵌入到VLM中来检索和生成信息，从而绕过了传统的文本解析阶段。
GraphRAG的优势在于可以回答涉及整个外部知识库的问题并得出结论，最大的问题在于：难落地。
结合了多种检索技术，可能包括文本检索和图检索，以提高检索的准确性和效率。
GraphRAG与VectorRAG我都选：HybridRAG
AI Agent是可以解释信息、制定计划和做出决策的自主系统。当添加到RAG流程中时，Agent可以重新制定用户查询，Agentic RAG还可以处理需要多步骤推理的更复杂查询。
单智能体系统也有其局限性，因为它仅限于一个Agent进行推理、检索和答案生成。因此，将多个智能体链入Multi-Agent RAG应用是有益的。
Vanilla RAG: https://weaviate.io/blog/introduction-to-rag
Advanced RAG: https://weaviate.io/blog/advanced-rag
Multimodal RAG: https://weaviate.io/blog/multimodal-rag
Agentic RAG:https://weaviate.io/blog/what-is-agentic-rag
推荐阅读
- • 对齐LLM偏好的直接偏好优化方法：DPO、IPO、KTO
- • 2024：ToB、Agent、多模态
- • RAG全景图：从RAG启蒙到高级RAG之36技，再到终章Agentic RAG！
- • Agent到多模态Agent再到多模态Multi-Agents系统的发展与案例讲解（1.2万字，20+文献，27张图）
欢迎关注我的公众号“ PaperAgent ”， 每天一篇大模型（LLM）文章来锻炼我们的思维，简单的例子，不简单的方法，提升自己。