向量RAG与关键词RAG:何时使用哪种,以及为何混合模式更优
向量RAG与非向量RAG:嵌入模型与BM25、SQL及图搜索的对比,各流程的工作原理、缺陷所在,以及为何混合重排机制更优。
来源: Vector RAG vs. Vectorless RAG — Which One Actually Knows Where It Left Its Keys?
RAG为语言模型提供了回答问题前可参考的资料库。这比将所有信息都塞进模型权重中要好,后者不仅成本高昂,信息还会过时,还容易引发幻觉。有趣的问题在于这种查询机制的具体运作方式。目前主要有两类方法:一类是按语义相似度排序的向量检索,另一类则被称为无向量检索,它依赖BM25、关键词匹配、图结构以及SQL等传统搜索技术。具体哪种方法更有效,取决于你的数据类型。
向量检索
这正是大多数人在听到“现代RAG”时的想象。每段文本都会被转换成高维向量(即嵌入向量),并存储在向量数据库中。查询时,问题也会被转换为向量,然后系统会返回那些向量与查询向量最接近的文本片段。向量空间中的接近程度就代表了语义上的接近程度。
整个流程包含五个阶段:
- 数据摄取与分块。将文档分割成相互重叠的块,例如每块512个标记,重叠率约为10%。虽然可以为这些块添加元数据标签,但这并非必需但很有价值。
- 嵌入。将每个块输入到如OpenAI的
text-embedding-3-large、Cohere Embed或BGE之类的嵌入模型中,以获得密集的浮点向量。 - 建索引。将这些向量存储在Pinecone、Weaviate、Qdrant、pgvector或Chroma中,并使用HNSW或IVF进行索引,从而保证近似最近邻搜索的快速性。
- 搜索。对查询语句进行嵌入处理,然后通过k-NN或ANN搜索方法,根据余弦相似度选出排名靠前的若干块。
- 生成结果。将检索到的这些块放入提示词中,让大语言模型据此生成有依据的答案。
一个最简版的LangChain实现首先需要导入以下模块:
# Minimal Vector RAG with LangChain
from langchain.vectorstores import Chroma
from langchain.embeddings import OpenAIEmbeddings
from langchain.chains import RetrievalQA
接着是嵌入模型、存储系统以及问答流程:
embeddings = OpenAIEmbeddings(model="text-embedding-3-large")
vectorstore = Chroma.from_documents(docs, embeddings)
retriever = vectorstore.as_retriever(search_kwargs={"k": 5})qa_chain = RetrievalQA.from_chain_type(
llm=llm,
retriever=retriever,
return_source_documents=True
)
result = qa_chain.invoke("What is the refund policy?")
其优势在于语义理解能力。当用户输入“我能退款吗?”时,政策页面可能会承诺“退款保证”。虽然两者没有完全相同的字句,但依然能返回正确的结果。传统的搜索引擎则无法做到这一点。
其缺点是邻近性并不等同于精确性。想象某个与查询相似度为0.94的片段,却依然无法给出准确答案,因为用户想要的精确术语从未出现在文本中。对于每个查询来说,都像是差一点就找对了。
非向量检索
非向量检索是一个统称,涵盖BM25(概率关键词排序算法,也是Elasticsearch和OpenSearch背后的技术)、针对结构化数据的SQL查询、知识图谱遍历以及混合符号方法。这些技术已为企业搜索服务数十年。它们虽不那么炫酷,但却十分有效。
其工作流程如下:
- 索引构建。对文档进行分词处理,构建反向索引,将每个词映射到包含该词的文档,并采用TF-IDF风格的评分机制。
- 查询解析。对查询语句进行分词,可选地通过同义词、词干提取或基于大语言模型的重写方式来扩展查询内容,以提高召回率。
- 排序。使用BM25算法根据查询词对文档进行评分,按匹配程度高低返回精确匹配或高度相关的结果。
- 可选的图遍历。连接各个实体,然后通过结构化图谱遍历以收集相关事实,这种方法适用于多跳查询。
- 结果生成。与之前相同:将检索到的段落传递给大语言模型。
使用rank_bm25实现BM25的示例首先需要导入相关库:
# BM25-based Vectorless RAG with rank_bm25
from rank_bm25 import BM25Okapi
import nltk
然后对语料库进行分词,构建索引并对其进行查询:
tokenized_corpus = [nltk.word_tokenize(doc.lower()) for doc in corpus]
bm25 = BM25Okapi(tokenized_corpus)query = "refund policy for subscription plans"
tokenized_q = nltk.word_tokenize(query.lower())
top_docs = bm25.get_top_n(tokenized_q, corpus, n=5)# Inject top_docs into LLM prompt context
context = "\n\n".join(top_docs)
向量模型捕捉的是含义,而这种方法则能捕捉具体性。尝试查找像 SKU-4892-XL 这样的产品编号,嵌入模型会处理失败,但BM25却能在几毫秒内找到它。技术文档、法律条款、错误代码以及金融标识符都是它的强项。想象一下,一名侦探在寻找“深红色账本”这一确切短语:向量系统会返回47篇关于红色笔记本、猩红色日记本以及草莓果酱食谱的文档,而BM25索引则只会返回第14页第3段的一个结果。在需要精确查找编号、专有名词和技术代码时,BM25始终优于余弦相似度算法。
对比分析
在核心技术方面,向量搜索采用带近似最近邻算法的密集嵌入模型,而另一种方式则使用BM25、关键词、SQL或图结构。向量搜索擅长处理同义表达和近义词,但在处理ID、代码及罕见术语时表现较弱。关键词式检索仅能匹配完全相同或几乎相同的术语,但其评分方式具有确定性,对完全匹配的查询精度非常高。
从操作层面来看,向量搜索的部署成本更高:需要嵌入模型以及向量数据库基础设施,而且必须在对整个语料库进行嵌入处理后才能开始使用。传统检索方式的部署较为轻量(如Elasticsearch或SQLite),能够立即对现有文档进行索引。向量搜索的典型延迟在50到200毫秒之间,而传统检索的延迟则在5到50毫秒之间。成本方面也是如此,向量搜索需要支付GPU计算和向量数据库的使用费用,而传统检索则更依赖CPU运算。
在应用场景方面,向量模型适用于开放领域问答、语义搜索和聊天功能;而传统检索方法则更适合法律、医疗、金融及代码文档的处理。向量模型的幻觉风险处于中等水平,因为相似度并不等同于正确性,而精确匹配的幻觉风险则更低。多语言嵌入模型具备强大的多语言支持能力,但传统检索方法则需要针对特定语言进行优化。
两者结合使用
大多数教程都会跳过这一部分:实际生产系统通常会将这两种方法结合使用。标准的做法是采用混合检索并配合重排序技术。可以先并行运行BM25与向量搜索,再用互反排名融合(RRF)算法合并两个结果列表,将排名靠前的N个结果传递给交叉编码器进行重排序,最后将排序后的结果插入大语言模型的上下文中。
这样就能在保持关键词精确度的同时实现语义搜索的广泛覆盖。LlamaIndex、LangChain和Haystack都直接支持混合检索方式,而Cohere的Rerank API与Sentence-Transformers交叉编码器则是重排阶段的常用选择。就像一队窃贼一样,每种方法都有其专长:嵌入模型负责把握整体结构,BM25则能精准匹配特定代码,而重排器则确保模型仅看到最佳的五个片段。
决策
三个问题就能解决大多数情况。
- 用户是否会用多种自然语言表达需求?如果是,那就选择向量技术。如果查询是结构化的,包含确切的ID和代码,那就选择传统方法。
- 语料库是无结构的(PDF、文章)还是结构化的(表格、记录)?散文类内容适合向量技术,而表格和记录则更适合SQL和BM25。
对于那些语义至关重要的非结构化文本,如客服机器人、研究助手以及基于大型语料库的文档问答系统,应选择向量技术来处理开放式问题。当需要精确匹配(如产品代码、条款编号、金融标识符、错误代码、序列号)或成本与延迟是严格限制条件时,应采用传统检索方式。在实际应用中,两者可结合使用。
比起选择某一种方案,更重要的是了解每种方案为何有效,这样才能让处理流程契合您的数据和用户需求,而非仅仅跟随以往教程的做法。
相关阅读
- 还需要嵌入模型吗?向量检索与无向量 PageIndex RAG 的对比测试 —— FinanceBench 的这项基准测试在单文档、多文档以及存在噪声的场景下,对向量检索与无向量的 PageIndex 进行了对比,并进行了显著性检验。
- 大规模场景下向量数据库的选择:用于 RAG 的 Weaviate 与 Pinecone 对比 —— 本文对用于构建大型 RAG 系统的 Weaviate 与 Pinecone 进行了实际对比,内容包括混合搜索机制、租户隔离功能、内存使用权衡、部署选项以及如何进行基准测试。