为RAG选择嵌入模型:MTEB、BGE、Voyage与OpenAI的对比分析
为RAG选择嵌入模型:正确理解MTEB,关于BGE、Voyage、OpenAI及其他三种模型的说明,五步Milvus流程以及决策框架。
来源: Picking the Right Embedding Model for Your RAG Pipeline: What I’ve Learned the Hard Way
花三周时间去优化一个总是给出极其自信却又完全错误的答案的RAG聊天机器人实在是不值得。从纸面上看,检索指标表现良好,使用的LLM是GPT-4,向量数据库也相当可靠。问题出在嵌入模型上——当初只是随便从网上找了个教程就用,之后再也没仔细检查过。该模型与应用领域严重不匹配。这样的经历让人不得不认真审视RAG流程中的核心组件,因此选择嵌入模型时需要考虑以下几点:MTEB排行榜、SBERT风格的模型,以及开源与商业版本之间的权衡。
嵌入模型在RAG流程中的位置
RAG流程分为三个阶段。
嵌入过程。每段文档内容都会经过嵌入模型处理,该模型会生成一个向量嵌入,即对该段内容含义的固定长度数值摘要。这些向量会被存储在如Milvus这样的向量数据库中。
检索过程。当用户提出问题时,该问题也会使用完全相同的模型进行嵌入,随后通过最近邻搜索找到与之最相似的文档片段。
生成过程。排名靠前的K个文档片段会被作为上下文注入到大语言模型中,从而使模型能够凭借领域知识来回答问题,而不仅仅依赖其训练数据。
关键限制在于,查询嵌入与文档嵌入只有在同一模型生成二者时才会共享同一个向量空间。如果只更换其中一端的模型而不对另一端进行重新索引,检索质量就会下降。此外,也有研究致力于保持前K个结果的精准度。《Lost in the Middle》一文指出,当过多的检索结果挤满上下文窗口时,答案质量会降低,因此检索应当保持聚焦且相关,而非范围过广且信息杂乱。
SBERT:大多数嵌入模型背后的设计理念
你遇到的大多数嵌入模型都源自SBERT,即Sentence-BERT。普通的BERT旨在理解上下文中的单个词元,而SBERT则更进一步,通过训练模型生成固定大小的向量,以此捕捉整句话的含义。其训练方法为连体训练:将两句话分别编码,模型则学会在向量空间中将语义相似的句子放得彼此靠近。
在实际应用中,SBERT能够分辨出“猫坐在垫子上”这句话与将“猫”和“垫子”位置调换后的句子在含义上的差异,而基础BERT则无法可靠地做到这一点。在需要将问题与相关段落匹配的检索任务中,正是这种句子层面的理解能力使得该方法能够发挥作用。
像GPT-4这样的大型语言模型源自变换器的解码器部分,其设计目的是用于生成文本。而嵌入模型则源自编码器部分,其设计目的是用于文本表示。它们是同一处理流程中承担不同任务的工具。
正确使用MTEB排行榜
Hugging Face的MTEB排行榜是用于比较嵌入模型的行业标准,但常常被误用。MTEB会在58个数据集上,针对包括检索、聚类、分类和语义文本相似度在内的8种任务类型对模型进行评分。对于RAG处理流程而言,只有一个指标至关重要:检索平均值,它以NDCG@10作为衡量标准,即第10个结果处的标准化折现累积增益。该指标最重视排名靠前的结果,这符合RAG的实际情况——因为最初的几段文本往往承载着最重要的信息。
一个可行的筛选流程:
- 按“检索得分”列对排行榜进行排序,得分越高越靠前。
- 仅保留符合内存和延迟要求的模型。
- 选择检索得分在可接受范围内的最小模型。
- 需要在真实领域的查询样本上进行测试,因为已知MTEB评分机制会偏袒某些过度拟合的模型。
最后一步是不可或缺的。许多模型在MTEB评分中表现优异,但在处理技术性或小众领域的文本时却存在问题。应将排名视为起点,而非最终结果。
六款商用模型及其特点
本次比较涵盖了三家供应商的模型:
- BAAI
bge-base-en-v1.5:768维,512个标记的上下文长度,开源,MTEB检索得分为53。 - BAAI
bge-base-zh-v1.5:768维,512个标记的上下文长度,开源,在中文测试基准上的得分为69。 - VoyageAI
voyage-2:1024维,4K个标记,为专有模型。 - VoyageAI
voyage-code-2:1536维,16K个标记,为专有模型。 - OpenAI
text-embedding-3-small:512至1536维,8K个标记,为专有模型,评分62。 - OpenAI
text-embedding-3-large:256至3072维,8K个标记,为专有模型,评分65。
BGE基础英文与中文模型
这些是用于原型设计的默认选择,尤其适用于基础设施成本需接近零的场景。它们可在 Hugging Face 上获取,在 CPU 上运行表现良好且无需支付 API 费用。真正的限制在于 512 个令牌的窗口大小——大多数段落级别的分块都在这个范围内,因此不会造成明显影响,但那些难以清晰分割的长篇技术文本会被截断,从而悄悄降低检索质量。对于中文内容而言,bge-base-zh-v1.5 是最实用的选择,其在中文基准测试中的得分高达 69,表现十分出色。
VoyageAI voyage-2 和 voyage-code-2
一项已发表的案例研究显示,技术文档领域的NDCG@10指标在采用ada-002生成模型时明显低于其他模型,而这正是吸引人们使用这些模型的原因。voyage-2是在对话数据上训练的,因此在某些领域中它比通用模型更能将问题与相关段落准确匹配。在客户支持类的RAG系统中,对于那些以意图表达为主的简短查询,它的表现明显优于bge模型。
voyage-code-2 更为出色。它以代码为训练数据,拥有16K的上下文窗口,是该系列中最大的。对于代码搜索或文档检索应用而言,这意味着整个函数或长篇文档字符串都可以在不因边界问题而被分割的情况下被完整嵌入。VoyageAI称其在代码检索方面的召回率高出14%,这一数据在测试中显得相当可信。缺点是两者均为专有产品且仅提供API接口,无法自行托管,完全依赖供应商的服务可用性及定价。
OpenAI text-embedding-3
这些模型取代了ada-002,其优势十分显著:MTEB检索分数更高、多语言性能更好,且价格更低。其中最值得关注的工程设计选择是俄罗斯套娃表示学习技术。该模型无需在单一固定维度上训练,而是能够同时学习多个尺度的表示形式,因此即使在查询时对嵌入向量进行截断,精度损失也出奇地小。
对于 text-embedding-3-large,将维度从3072降低到256后,MTEB检索分数从65降至62。这意味着精度大约下降了5%,但存储和内存需求减少了12倍,当需要存储数千万个向量时,这种权衡通常是值得的。在针对Milvus技术文档进行的RAG测试中,256维度的 text-embedding-3-small在大多数查询下给出的答案与1536维度版本几乎无法区分。只有在需要细微区分含义的查询中,更高维度才显得重要,这类查询可能仅占实际查询量的5%左右。
端到端代码:使用Milvus的OpenAI嵌入模型
下方的完整流程连接到由Zilliz Cloud管理的Milvus,不过同样的代码也适用于自托管的Milvus实例。
步骤1:连接:
from pymilvus import connections, utility
import os
from dotenv import load_dotenv
load_dotenv()
TOKEN = os.getenv("ZILLIZ_API_KEY")
CLUSTER_ENDPOINT = "https://in03-xxxx.api.gcp-us-west1.zillizcloud.com:443"
connections.connect(
alias='default',
uri=CLUSTER_ENDPOINT,
token=TOKEN,
)
第2步,定义嵌入模型:
import openai
from openai import OpenAI
openai_client = OpenAI()
EMBEDDING_MODEL = "text-embedding-3-small"
EMBEDDING_DIM = 512 # Using reduced dim - good enough for most use cases
第3步,创建集合:
from pymilvus import MilvusClient
COLLECTION_NAME = "my_rag_collection"
mc = MilvusClient(uri=CLUSTER_ENDPOINT, token=TOKEN)
mc.create_collection(
COLLECTION_NAME,
EMBEDDING_DIM,
consistency_level="Eventually",
auto_id=True,
overwrite=True
)
第4步:分块、嵌入并插入:
# Assumes `chunks` is a list of LangChain Document objects
chunk_list = []
for chunk in chunks:
response = openai_client.embeddings.create(
input=chunk.page_content,
model=EMBEDDING_MODEL,
dimensions=EMBEDDING_DIM
)
embeddings = response.data[0].embedding
chunk_list.append({
'vector': embeddings,
'chunk': chunk.page_content,
'source': chunk.metadata.get('source', ''),
})
mc.insert(COLLECTION_NAME, data=chunk_list, progress_bar=True)
mc.flush(COLLECTION_NAME)
第5步:查询与生成:
SAMPLE_QUESTION = "What do the parameters for HNSW mean?"
response = openai_client.embeddings.create(
input=SAMPLE_QUESTION,
model=EMBEDDING_MODEL,
dimensions=EMBEDDING_DIM
)
query_embeddings = response.data[0].embedding
results = mc.search(
COLLECTION_NAME,
data=[query_embeddings],
output_fields=["chunk", "source"],
limit=3,
consistency_level="Eventually"
)
context = [r['entity']['chunk'] for r in results[0]]
contexts_combined = ' '.join(context)
llm_response = openai_client.chat.completions.create(
messages=[
{"role": "system", "content": f"Answer using only the context below. Context: {contexts_combined}"},
{"role": "user", "content": SAMPLE_QUESTION}
],
model="gpt-3.5-turbo",
temperature=0.1,
)
print(llm_response.choices[0].message.content)
一个功能完备的笔记本存储在 GitHub 上的 Milvus bootcamp 仓库中。
决策框架
经过多次实验后,通常的选型结果如下:
- 原型开发、注重成本或需自托管的场景:可从
bge-base-en-v1.5开始。它免费、快速,足以用于验证流程架构。 - 生产环境下的英语或多语言聊天机器人:在成本与质量之间,降维后的
text-embedding-3-small几乎无可匹敌。 - 法律、医疗或技术文档等高要求领域的 RAG 应用:应认真评估
voyage-2,因为 MTEB 无法涵盖所有内容,且领域检索质量可能存在意外差异。
voyage-code-2及其16K的窗口大小足以支撑API依赖。text-embedding-3-large,其套娃式设计体现了巧妙的工程思路。无论选择哪种模型,都应在实际生产查询数据中进行测试。MTEB仅是一个参考指标,实际数据上的检索质量才是唯一重要的标准。