Indexing Optimization Techniques
通过数据预处理和分块策略来优化索引，以提高检索准确性。这些技术可以应用于RAG流程的数据预处理和分块阶段，确保有效检索相关信息。
Data Pre-processing
强调了数据预处理对于RAG系统成功的重要性，通过将原始数据转换为适合LLMs的结构化格式，可以显著提升系统的有效性。数据预处理包括数据获取、整合、提取、解析、清洗和转换等步骤。
Chunking Strategies
将长文档分割成更小、语义上有意义的段落的分块策略。这些策略通过平衡上下文保留和可管理的块大小来优化检索，包括固定大小分块、递归分块、语义分块、基于LLM的分块和基于文档的分块等方法。
Pre-retrieval Optimization Techniques
检索优化技术通过查询转换、查询分解和查询路由来提高检索准确性，确保用户查询能够更有效地检索到相关信息。
Query Transformation
将用户原始查询转换为优化后的搜索查询的重要性，包括查询重写和查询扩展两种方法，以提高搜索结果的质量和相关性。
Query Decomposition
将复杂查询分解为更简单的子查询的技术，以便更精确地检索信息，从而生成更全面的答案。
Query Routing
根据查询的内容和意图将查询定向到特定处理流程的技术，以有效处理多样化的情境。
Retrieval Optimization Strategies
通过直接操作检索方式来改进检索结果的策略，包括元数据过滤、排除向量搜索异常值和混合搜索等方法。
Metadata Filtering
利用元数据来细化检索结果，通过过滤掉不相关的内容来提高检索信息的相关性，强调时间感知的重要性。
Excluding Vector Search Outliers
排除向量搜索异常值的技术：距离阈值和自动切割，可以进一步提高检索结果的质量。
Hybrid Search
结合向量基础的语义搜索和传统基于关键词的方法的混合搜索技术，通过调整“alpha”参数来优化性能。
Embedding Model Fine-Tuning
在自定义数据集上微调嵌入模型以提高嵌入质量的方法，提升RAG应用中的检索准确性和相关性。
Post-retrieval Optimization Techniques
后检索优化技术在检索过程完成后开始工作，包括重新排序检索结果、增强或压缩检索上下文、提示工程和在外部数据上微调生成型LLM等方法。
Re-Ranking
利用检索-重新排序流程来提高信息检索系统性能的方法，结合向量搜索的速度和重新排序模型的上下文丰富性。
Context Post-Processing
在检索后对检索上下文进行后处理，包括使用元数据增强上下文和压缩上下文以提高生成质量。
Prompt Engineering
优化LLM提示以提高生成输出的质量和准确性的提示工程技术，包括思考树（ToT）、思考链（CoT）和推理与行动（ReAct）提示等方法。
LLM Fine-Tuning
在特定数据集或任务上进一步训练预训练LLM以适应特定领域的细微差别，从而提高其在该领域的性能的方法。
添加微信，回复”RAG“进入交流群