为什么RAG仍会给出错误答案:混合搜索、重排与Recall@K机制
清洁的文本块并不能保证得到优质答案。了解向量检索的缺陷,以及融合技术、交叉编码器重排器、HyDE和Recall@K指标是如何解决这些问题的。
来源: The AI Series: The Hardest Part of RAG, Part 2 — Why Perfect Chunks Still Give You Bad Retrieval
RAG项目中的一个常见现象是:解析工作已经完成,数据块格式规范,表格以Markdown形式呈现,每个数据块还带有页码和章节标题。然而在实际使用中,系统仍会给出错误答案,而这些问题本应很容易解决。问题并不出在数据块本身,而是检索器不断获取错误的数据。
良好的解析能产生优质的数据,但优质的数据并不能保证良好的检索效果。这是两个独立的问题,而后者往往没有得到应有的重视。
相似度搜索的运作原理
许多团队将 similarity_search() 视为黑箱,因此稍加了解其内部机制会有所帮助。嵌入模型会将文本转换为数字列表,即向量,该向量是处于某个维度空间中的点,其维度数根据模型不同而介于384到3072之间。含义相似的文本应该会位于彼此相近的位置,而无关的文本则会相距较远。
一个仅有4维的简化版本能让这些数字更易于理解:
"How do I reset my password?" → [0.81, 0.12, -0.44, 0.09]
"Steps to change your password" → [0.79, 0.15, -0.41, 0.11]
"How do I cancel my subscription?"→ [0.22, 0.68, 0.05, -0.39]
两个向量通过余弦相似度进行比较,该指标用于衡量它们在忽略长度因素的情况下指向同一方向的程度。得分1.0表示方向完全相同,0表示毫无关联,负数值则表示方向相反。
from numpy import dot
from numpy.linalg import norm
def cosine_similarity(a, b):
return dot(a, b) / (norm(a) * norm(b))
query = [0.80, 0.13, -0.42, 0.10] # "reset my password"
print(cosine_similarity(query, [0.81, 0.12, -0.44, 0.09])) # 0.998 - very close
print(cosine_similarity(query, [0.22, 0.68, 0.05, -0.39])) # 0.310 - far apart
“AI理解了这个问题”这句话的背后其实没什么深意。这不过是几何关系而非真正的理解,而几何关系恰恰能解释其中的缺陷:它无法意识到“不允许”会改变“允许”的含义,也无法理解“Error 4092”只是用户需要匹配的普通字符串。
检索失效的四种方式
将一段文字压缩成一点会丢失信息。一旦系统脱离演示阶段,同样的四种故障就会不断出现。
- 词汇不匹配。当有人搜索精确的错误代码或产品编号时,嵌入模型会将其视为普通标记,导致包含该精确字符串的片段无法进入前10名。
仅包含20份文档的演示无法暴露这些问题。只有当语料库中出现真正的重复、重叠和歧义时,这些问题才会显现出来,而实际上每个实际应用系统都存在这类情况。
流程化处理而非单次调用
仅一次对向量存储的查询并不能构成检索系统。一个可靠的检索系统包含多个阶段:
每个阶段的存在都是因为前一个阶段单独使用存在缺陷。这正是RAG演示版本与实际生产环境中的RAG之间的最大差异:每个阶段都在弥补上游的特定缺陷,没有任何环节是纯粹的装饰。
带有排名融合的混合搜索
向量搜索不擅长处理精确匹配,而关键词搜索(BM25)则不擅长处理概念匹配。与其二选一,不如同时使用这两种方法并合并结果。
当两个排序列表的得分没有统一标准时,互反排名融合是最简单的合并方式。典型的实现方式如下:
from collections import defaultdict
def reciprocal_rank_fusion(result_lists, k=60):
scores = defaultdict(float)
for result_list in result_lists:
for rank, doc_id in enumerate(result_list):
scores[doc_id] += 1 / (k + rank + 1)
return sorted(scores, key=scores.get, reverse=True)
vector_ids = [d.metadata["chunk_id"] for d in vector_store.similarity_search(query, k=20)]
bm25_ids = [d.metadata["chunk_id"] for d in bm25_index.search(query, k=20)]
final_ranking = reciprocal_rank_fusion([vector_ids, bm25_ids])
一个常见的早期错误是在不合并两个结果列表的情况下直接将它们拼接起来。无论哪个列表先出现,都会默默主导最终结果,这就违背了使用两种策略的初衷。
重新排序
文本解析中最困难的阶段是表格提取,而信息检索中最困难的则是重新排序。嵌入模型会分别对查询和每篇文档进行编码,之后再比较结果。重新排序模型通常为交叉编码器,它会同时读取查询和候选片段,并直接输出相关性得分。这种方法耗时更多,因此只在合并后的20到50个最佳候选项上进行处理,而不会遍及整个索引。
from sentence_transformers import CrossEncoder
reranker = CrossEncoder("BAAI/bge-reranker-base")
def rerank(query, candidates, top_n=5):
pairs = [(query, c["text"]) for c in candidates]
scores = reranker.predict(pairs)
for c, s in zip(candidates, scores):
c["rerank_score"] = float(s)
return sorted(candidates, key=lambda c: c["rerank_score"], reverse=True)[:top_n]
在一个内部支持搜索系统中,在融合处理之后加入的重排器将Recall@5的比例从大约61%提升到了84%,而嵌入模型和分块大小保持不变。这一项改动的效果甚至超过了整个处理流程中其他所有改动的效果,正因如此,当RAG的回答看似接近正确却又不太准确时,它通常是首先被考虑的方案。
缩小词汇差异
有时索引本身是正常的,真正的问题在于用词。用户使用的表达较为随意(“为什么它不让我登录?”),而文档中的表述则较为正式(“会话令牌过期时可能会出现身份验证失败”)。
有两种技术可以解决这一问题。查询重写技术让大语言模型重新表述那些模糊的查询,使其更接近原始文本的表述方式。而HyDE(假设性文档嵌入)则更进一步:大语言模型会先拟写一个简短的虚构答案,随后对这段文本而非原始查询进行嵌入和搜索,因为在向量空间中,一个合理的答案比原始查询更接近真实答案的位置。
def hyde_retrieve(query, llm, vector_store, k=5):
hypothetical = llm.invoke(f"Write a short passage answering: {query}")
return vector_store.similarity_search(hypothetical, k=k)
采用这种方法的工单系统成功找回了一部分原本无法得到有用结果的查询,这完全是因为用户与文档使用的是不同的语体。
直接衡量检索效果
一种诱人的捷径是通过最终大语言模型给出的答案是否正确来判断检索效果,但这几乎无法揭示是哪个环节出了问题。
实际上需要的是一小批带有标注的数据集,哪怕只有50到100对查询内容与正确片段的对子,这样就能在大语言模型介入之前衡量Recall@K指标。Recall@K的含义是:在真正包含答案的片段中,有多少最终出现在了前K个结果中?
def recall_at_k(retrieved_ids, relevant_ids, k):
top_k = set(retrieved_ids[:k])
return len(top_k & relevant_ids) / len(relevant_ids) if relevant_ids else 0.0
如果没有它,每次调整分块大小、嵌入模型或重排器都只是披着改进外衣的猜测而已。
常见陷阱与合理的组件组合
提高 k 值很少能解决检索效果不佳的问题,因为这只会给大语言模型提供更多干扰信息。在重排器带来的显著提升面前,花费第一周时间调整分块大小实在不值得。最后,应在出现问题之前就构建好评估集,因为事后再诊断检索缺陷会浪费整个开发周期。
构建这一层的合理组件组合为:用于向量搜索的 Qdrant,通过 OpenSearch 实现的 BM25 并结合 RRF 算法,自托管的 BGE 重排器,以及作为备用方案的 Cohere Rerank,在处理对话式查询时则使用 HyDE。
答案质量的真正来源
人们往往争论的是哪种大型语言模型能生成最流畅的最终答案,但真正的决定因素其实在于模型之前:是否获取到了正确的信息片段?即便模型再出色,若给定的上下文有误,它每次都会给出看似合理且自信实则错误的答案。
解析功能负责将数据输入系统,而检索功能则决定正确的信息片段是否能传递给模型。一旦这两者出现偏差,后续的提示工程也无法挽救错误的答案。在具备可靠的检索机制后,接下来的问题就是如何实现端到端的自动检测,确保系统能对其获取的信息进行正确推理,而非逐一检查输出结果。
相关阅读
- 千万级文档下的RAG查询优化:过滤机制、路由策略、智能代理与评估方法 — 介绍一种响应时间低于200毫秒的检索流程,包含SQL过滤、混合搜索与重排序功能,以及查询路由、智能代理协调、评估指标和Qdrant管道脚本。
- Spring AI方案:利用元数据按游戏标题过滤RAG结果 — 详细讲解如何通过标题为文档添加标签,利用大语言模型从问题中筛选出正确信息,进而对向量搜索结果进行过滤。