首页 / 文章

向量RAG与关键词RAG:何时使用哪种,以及为何混合模式更优

向量RAG与非向量RAG:嵌入模型与BM25、SQL及图搜索的对比,各流程的工作原理、缺陷所在,以及为何混合重排机制更优。

发布者:REACTAPP.TOP阅读约 6 分钟1281 词

来源: Vector RAG vs. Vectorless RAG — Which One Actually Knows Where It Left Its Keys?

RAG为语言模型提供了回答问题前可参考的资料库。这比将所有信息都塞进模型权重中要好,后者不仅成本高昂,信息还会过时,还容易引发幻觉。有趣的问题在于这种查询机制的具体运作方式。目前主要有两类方法:一类是按语义相似度排序的向量检索,另一类则被称为无向量检索,它依赖BM25、关键词匹配、图结构以及SQL等传统搜索技术。具体哪种方法更有效,取决于你的数据类型。

向量检索

这正是大多数人在听到“现代RAG”时的想象。每段文本都会被转换成高维向量(即嵌入向量),并存储在向量数据库中。查询时,问题也会被转换为向量,然后系统会返回那些向量与查询向量最接近的文本片段。向量空间中的接近程度就代表了语义上的接近程度。

整个流程包含五个阶段:

  1. 数据摄取与分块。将文档分割成相互重叠的块,例如每块512个标记,重叠率约为10%。虽然可以为这些块添加元数据标签,但这并非必需但很有价值。
  2. 嵌入。将每个块输入到如OpenAI的text-embedding-3-large、Cohere Embed或BGE之类的嵌入模型中,以获得密集的浮点向量。
  3. 建索引。将这些向量存储在Pinecone、Weaviate、Qdrant、pgvector或Chroma中,并使用HNSW或IVF进行索引,从而保证近似最近邻搜索的快速性。
  4. 搜索。对查询语句进行嵌入处理,然后通过k-NN或ANN搜索方法,根据余弦相似度选出排名靠前的若干块。
  5. 生成结果。将检索到的这些块放入提示词中,让大语言模型据此生成有依据的答案。

一个最简版的LangChain实现首先需要导入以下模块:

# Minimal Vector RAG with LangChain
from langchain.vectorstores import Chroma
from langchain.embeddings import OpenAIEmbeddings
from langchain.chains import RetrievalQA

接着是嵌入模型、存储系统以及问答流程:

embeddings  = OpenAIEmbeddings(model="text-embedding-3-large")
vectorstore = Chroma.from_documents(docs, embeddings)
retriever   = vectorstore.as_retriever(search_kwargs={"k": 5})qa_chain = RetrievalQA.from_chain_type(
    llm=llm,
    retriever=retriever,
    return_source_documents=True
)
result = qa_chain.invoke("What is the refund policy?")

其优势在于语义理解能力。当用户输入“我能退款吗?”时,政策页面可能会承诺“退款保证”。虽然两者没有完全相同的字句,但依然能返回正确的结果。传统的搜索引擎则无法做到这一点。

其缺点是邻近性并不等同于精确性。想象某个与查询相似度为0.94的片段,却依然无法给出准确答案,因为用户想要的精确术语从未出现在文本中。对于每个查询来说,都像是差一点就找对了。

非向量检索

非向量检索是一个统称,涵盖BM25(概率关键词排序算法,也是Elasticsearch和OpenSearch背后的技术)、针对结构化数据的SQL查询、知识图谱遍历以及混合符号方法。这些技术已为企业搜索服务数十年。它们虽不那么炫酷,但却十分有效。

其工作流程如下:

  1. 索引构建。对文档进行分词处理,构建反向索引,将每个词映射到包含该词的文档,并采用TF-IDF风格的评分机制。
  2. 查询解析。对查询语句进行分词,可选地通过同义词、词干提取或基于大语言模型的重写方式来扩展查询内容,以提高召回率。
  3. 排序。使用BM25算法根据查询词对文档进行评分,按匹配程度高低返回精确匹配或高度相关的结果。
  4. 可选的图遍历。连接各个实体,然后通过结构化图谱遍历以收集相关事实,这种方法适用于多跳查询。
  5. 结果生成。与之前相同:将检索到的段落传递给大语言模型。

使用rank_bm25实现BM25的示例首先需要导入相关库:

# BM25-based Vectorless RAG with rank_bm25
from rank_bm25 import BM25Okapi
import nltk

然后对语料库进行分词,构建索引并对其进行查询:

tokenized_corpus = [nltk.word_tokenize(doc.lower()) for doc in corpus]
bm25 = BM25Okapi(tokenized_corpus)query = "refund policy for subscription plans"
tokenized_q = nltk.word_tokenize(query.lower())
top_docs = bm25.get_top_n(tokenized_q, corpus, n=5)# Inject top_docs into LLM prompt context
context = "\n\n".join(top_docs)

向量模型捕捉的是含义,而这种方法则能捕捉具体性。尝试查找像 SKU-4892-XL 这样的产品编号,嵌入模型会处理失败,但BM25却能在几毫秒内找到它。技术文档、法律条款、错误代码以及金融标识符都是它的强项。想象一下,一名侦探在寻找“深红色账本”这一确切短语:向量系统会返回47篇关于红色笔记本、猩红色日记本以及草莓果酱食谱的文档,而BM25索引则只会返回第14页第3段的一个结果。在需要精确查找编号、专有名词和技术代码时,BM25始终优于余弦相似度算法。

对比分析

在核心技术方面,向量搜索采用带近似最近邻算法的密集嵌入模型,而另一种方式则使用BM25、关键词、SQL或图结构。向量搜索擅长处理同义表达和近义词,但在处理ID、代码及罕见术语时表现较弱。关键词式检索仅能匹配完全相同或几乎相同的术语,但其评分方式具有确定性,对完全匹配的查询精度非常高。

从操作层面来看,向量搜索的部署成本更高:需要嵌入模型以及向量数据库基础设施,而且必须在对整个语料库进行嵌入处理后才能开始使用。传统检索方式的部署较为轻量(如Elasticsearch或SQLite),能够立即对现有文档进行索引。向量搜索的典型延迟在50到200毫秒之间,而传统检索的延迟则在5到50毫秒之间。成本方面也是如此,向量搜索需要支付GPU计算和向量数据库的使用费用,而传统检索则更依赖CPU运算。

在应用场景方面,向量模型适用于开放领域问答、语义搜索和聊天功能;而传统检索方法则更适合法律、医疗、金融及代码文档的处理。向量模型的幻觉风险处于中等水平,因为相似度并不等同于正确性,而精确匹配的幻觉风险则更低。多语言嵌入模型具备强大的多语言支持能力,但传统检索方法则需要针对特定语言进行优化。

两者结合使用

大多数教程都会跳过这一部分:实际生产系统通常会将这两种方法结合使用。标准的做法是采用混合检索并配合重排序技术。可以先并行运行BM25与向量搜索,再用互反排名融合(RRF)算法合并两个结果列表,将排名靠前的N个结果传递给交叉编码器进行重排序,最后将排序后的结果插入大语言模型的上下文中。

这样就能在保持关键词精确度的同时实现语义搜索的广泛覆盖。LlamaIndex、LangChain和Haystack都直接支持混合检索方式,而Cohere的Rerank API与Sentence-Transformers交叉编码器则是重排阶段的常用选择。就像一队窃贼一样,每种方法都有其专长:嵌入模型负责把握整体结构,BM25则能精准匹配特定代码,而重排器则确保模型仅看到最佳的五个片段。

决策

三个问题就能解决大多数情况。

  • 用户是否会用多种自然语言表达需求?如果是,那就选择向量技术。如果查询是结构化的,包含确切的ID和代码,那就选择传统方法。
  • 语料库是无结构的(PDF、文章)还是结构化的(表格、记录)?散文类内容适合向量技术,而表格和记录则更适合SQL和BM25。
  • 您的延迟和成本限制是多少?如果预算紧张或对延迟有严格要求,可选择传统检索或轻量级混合方案;预算充足则可选用带有重排功能的完整混合方案。
  • 对于那些语义至关重要的非结构化文本,如客服机器人、研究助手以及基于大型语料库的文档问答系统,应选择向量技术来处理开放式问题。当需要精确匹配(如产品代码、条款编号、金融标识符、错误代码、序列号)或成本与延迟是严格限制条件时,应采用传统检索方式。在实际应用中,两者可结合使用。

    比起选择某一种方案,更重要的是了解每种方案为何有效,这样才能让处理流程契合您的数据和用户需求,而非仅仅跟随以往教程的做法。

    相关阅读

  • RAG的混合检索技术:结合关键词、向量和图搜索 —— 如何在RAG中整合BM25、向量搜索和图检索:使用RRF进行排名融合,GraphRAG可提供辅助,以及检索、融合、扩展、重新排名的架构。