在打造检索增强生成（RAG）应用时，选择合适的Embedding模型就像挑选合适的工具，直接影响到应用的表现和效果。那么，面对众多的模型，我们该如何轻松找到最适合的那一款呢？
本文大致参考思路是：先从Mteb榜单选“最优”，然后结合实际需求选择效果以及速度性价比较高的模型
MTEB简介
MTEB : Massive Text Embedding Benchmark
- github : https://github.com/embeddings-benchmark/mteb
- huggingface : https://huggingface.co/spaces/mteb/leaderboard
- paper : https://paperswithcode.com/paper/mteb-massive-text-embedding-benchmark
MTEB 是一个包含广泛文本嵌入（Text Embedding）的基准测试，它提供了多种语言的数十个数据集，用于各种 NLP 任务，例如文本分类、聚类、检索和文本相似性。MTEB 提供了一个公共排行榜，允许研究人员提交他们的结果并跟踪他们的进展。MTEB 还提供了一个简单的 API，允许研究人员轻松地将他们的模型与基准测试进行比较。
MTEB 包含以下 8 种任务类型：
- Bitext Mining ：寻找两种语言句子集之间的最佳匹配。输入是来自两种不同语言的两个句子集，对于来自第一个句子集的句子，找到在第二个子集中最匹配的句子。模型将句子编码成向量后用余弦相似度来寻找最相似的句子对。F1是主要的评估指标、Accuracy、precision、recall也一并计算了。
- Classification ：使用嵌入模型训练逻辑回归分类器。训练集和测试集通过给定模型编码，测试集向量被用来训练一个LR分类器(最多100次迭代)，然后使用测试集来打分，主要评估指标是accuracy with average precision，同时包括F1。
- Clustering ：将句子或段落分组为有意义的簇。给定句子集或段落集，将其分组为有意义的簇。在编码后的文档上训练一个 mini-batch k-means 模型(batch size为32, k是不同标签的个数)，然后使用v-meature为模型打分。
- Pair Classification ：为一对文本输入分配标签，通常是二元变量，表示重复或释义对。输入是一对带标签的文本，两个文本被编码后计算多种距离：cosine similarity, dot product, euclidean distance, manhattan distance。接着使用最佳阈值来计算accuracy, average precision, f1, precision, recall。基于余弦相似度的平均精度是主要指标。
- Reranking ：根据与查询的相关性对结果进行重新排序。输入是一个查询语句以及一个包含相关和不相关文本的列表。模型编码文本后比较与查询语句的余弦相似性。每个查询语句的分数都被计算并平均所有查询语句的分数。指标有平均 M R R @ k MRR@kMRR@k和MAP(主要指标)
- Retrieval ：找到相关文档。每个数据集包括一个语料集，查询语句及其与语料中的相关文档的映射。模型编码所有查询语句和语料文档之后计算余弦相似度，对每一个查询语句的结果排序后计算k的多个取值所对应的nDCG@k, MRR@k, MAP@k, precision@k , recall@k。使用BEIR相同的设置，nDCG@10是主要指标。
- Semantic Textual Similarity (STS) ：确定句子对的相似性。给定句子对计算它们的相似度，标签是连续得分(越大相似度越高)。模型编码句子后计算使用不同的距离指标计算它们的相似性，计算好的距离与标签相似度基准比较Pearson和Spearman相关性。主要指标是基于余弦相似度的Spearma
- Summarization ：评估机器生成的摘要。包括一个手写摘要和机器生成摘要数据集，目标是给机器生成摘要打分。模型编码所有摘要，然后对于每一个机器生成摘要向量，计算其与所有手写摘要向量的距离，将相似度最大的分数作为单个机器生成摘要的分数，接下来与基准比较计算Pearson和Spearman相关性。主要指标是基于余弦相似度的Spearman相关性。
MTEB榜单介绍
有两个榜单MTEB地址：
- 新版本： https://huggingface.co/spaces/mteb/leaderboard
- 旧版本： https://huggingface.co/spaces/mteb/leaderboard\_legacy
下面我们以旧版本为例（其中有中文等语言的筛选），看下榜单怎么快速筛序我们想要的模型
我们可以在搜索框里面输入模型名字以及关键词进行快速筛选，同时可以结合模型类型以及模型大小进行过滤，下面一栏是可以筛切换语言种类和具体任务榜单，下面是中文模型的模型排行：
考虑因素
有同学也有反应MTEB榜单可能存在过拟合的现象，我们可以尽量选取前面的模型，结合使用或者下载量来选择比较靠谱的模型。
除了排行榜，模型的以下特性也需考虑：
- 模型大小： 影响计算资源需求和延迟。例如，较大的模型如 gte-Qwen2-7B-instruct（7 亿参数）可能更适合复杂任务，但计算成本更高。
- 嵌入维度： 维度较低的模型（如 384 维的 all-MiniLM-L6-v2）存储和比较更快，但可能牺牲语义捕捉能力。
- 语言支持： 多语言模型如 multilingal-e5-large 适合跨语言应用，而单语言模型可能在特定语言上表现更好。
- 预训练与微调： 预训练模型如 intfloat/e5-large-v2 适合通用场景，领域特定模型如 PubMedBERT（医学领域）则需微调以适应特定数据。
- 存储和内存等资源需求： 高维向量需要更多的存储空间，这可能会带来长期成本。例如，较高维度的模型如 text-embedding-ada-002 需要更多的存储资源。另外，较大的模型可能会占用更多内存，因此不适合内存有限的设备。
- 推理时间： 如果你的应用场景对响应时间有高要求，需要选择在推理时速度较快的模型。
- 模型在特定领域的表现： 通用 Embedding 模型在特定垂直领域（如医学、法律和金融等）可能不如专用模型有效。这些领域通常需要专门训练 Embedding 模型来捕捉特定的专业术语和语境。为特定业务需求优化的 Embedding 模型能够显著提升检索和生成的质量。例如，通过结合向量检索和重排序（reranking）技术，可以进一步优化结果。
- 处理长文本的能力 ： 切分的文本片段后续需要通过 Embedding 模型进行向量化，所以必须考虑向量模型对输入文本块的 tokens 长度限制，超出这个限制则会导致模型对文本进行截断，从而丢失信息，影响下游任务的性能。不同的 Embedding 模型对文本块长度的支持能力不同。比如，BERT 及其变体通常支持最多 512 个tokens，处理长文本时则需要将文本分成更小的块，意味着需要更加精细化的分块策略。而 Jina AI 的 Embedding 模型和 bge-m3 模型则支持 8K 的 tokens 输入，适合处理长文本块。
- 模型的可扩展性与易用性 ： 微调和更新的能力：对于一个不断迭代的RAG系统，选择一个能够轻松微调和持续更新的模型至关重要。比如Hugging Face的Transformers库、FlaggEmbedding提供了便捷的微调工具。模型是否易于集成进现有的RAG架构？文档是否清晰？社区支持如何？
- 成本与可用性： 开源模型（如 E5 系列）免费，专有模型（如 OpenAI 的 text-embedding-3-large）可能涉及 API 费用和隐私问题
比较流行的Embedding模型
下面是一些按下载量排行比较高的模型，可能实际数据有变动
| Model | 下载量 | 说明 |
|---|---|---|
| BAAI/bge-m3 | ||
| 1964K | ||
| 多语言，bge还有英文三个版本，下载均超过1M | ||
| BAAI/bge-large-zh-v1.5 | ||
| 1882K | ||
| 中文 | ||
| thenlper/gte-base | ||
| 985K | ||
| 英语 | ||
| jinaai/jina-embeddings-v2-base-en | ||
| 934K | ||
| 英语 | ||
| jinaai/jina-embeddings-v2-small-en | ||
| 495K | ||
| 英语 | ||
| intfloat/multilingual-e5-large | ||
| 816K | ||
| 多语言 | ||
| intfloat/e5-large-v2 | ||
| 714K | ||
| 英语 | ||
| maidalun1020/bce-embedding-base_v1 | ||
| 462K | ||
| 中英双语跨语言能力强。 | ||
| thenlper/gte-large | ||
| 308K | ||
| 英文 | ||
| thenlper/gte-small | ||
| 280K | ||
| 英文 | ||
| NeuML/pubmedbert-base-embeddings | ||
| 184K | ||
| 英语 | ||
| pyannote/embedding | ||
| 147K | ||
| 需要注册 | ||
| avsolatorio/GIST-large-Embedding-v0 | ||
| 112K | ||
| 英语，基于 BAAI/bge-large-en-v1.5 微调 | ||
| moka-ai/m3e-base | ||
| 108K | ||
| 中英，群友推荐 | ||
| avsolatorio/GIST-Embedding-v0 | ||
| 100K | ||
| 英文 | ||
| Salesforce/SFR-Embedding-Mistral | ||
| 91K | ||
| 英文，基于Mistral训练 | ||
| aspire/acge_text_embedding | ||
| 51K | ||
| 中文模型 （上升非常迅速） | ||
| thenlper/gte-large-zh | ||
| 12K | ||
| 中文，入榜原因：GTE英文版下载量超大，值得关注 | ||
| jinaai/jina-embeddings-v2-base-zh | ||
| 5K | ||
| 中文，入榜原因：英文版下载量大，值得关注 | ||
添加微信，备注” LLM “进入大模型技术交流群
如果你觉得这篇文章对你有帮助，别忘了点个赞、送个喜欢
/ 作者：致Great
/ 作者：欢迎转载，标注来源即可