首页 / 文章

为何RAG会找不到包含答案的页面:面包、酵母与向量

RAG中的相似度搜索虽然能找到相关主题的页面,却仍可能遗漏包含答案的页面。为何表格和top-k机制会使情况更糟,以及应首先测试什么。

发布者:REACTAPP.TOP阅读约 7 分钟1695 词

来源: RAG Doesn’t Retrieve What You Think It Retrieves

想象一下,从烤箱里取出的面包是扁平且紧实的。你询问已学习过你全部食谱的智能助手为何会出现这种情况。它立刻充满自信地给出回复:检查你的揉面技巧,检查烤箱温度。它说的全是关于面包的内容,但全都不对。

食谱里其实有答案。其中一页标题为“激活酵母”,上面写着温度超过50°C的水会杀死酵母。当时水温太高,酵母死亡,面团无法膨胀,所以面包保持扁平状态。但那页从未被打开过。了解这个原因很重要,因为许多企业的智能系统中也在悄然发生同样的事情。

这些系统的工作原理

这种技术被称为检索增强生成,即RAG。模型无法记住所有的文档,因此系统会先获取相关段落,让模型在回答之前先阅读这些内容。

后面有一个重要的细节:系统不会保存完整的文档,而是将它们分割成几百字左右的片段,称为“块”,然后对这些块进行搜索。在食谱中,一个“块”大致相当于一页。

一个生动的比喻是图书管理员与专家的合作:你的问题首先交给图书管理员,他会翻阅书架,挑选出几页看似相关的内容,然后通过一个通道将它们交给待在房间里的专家。该专家只能使用这些页面,且无法要求获取更多内容。

会传递多少页内容?默认情况下通常是五页,比如 Amazon Bedrock Knowledge Bases 和 Azure OpenAI On Your Data 都是如此,而 LangChain 的默认值则是四页。提高这个数值是大多数人首先尝试的解决方法。不同平台对此有不同的命名:Bedrock 中称为 numberOfResults,Azure OpenAI On Your Data 中称为 topNDocuments,而 LangChain 以及 Azure AI Search 本身则用 k 来表示。这些名称都指的是模型可以阅读的片段数量。

如果“图书管理员”的选择恰当,专家的表现就会显得非常出色;但如果选择不当,专家也不会指出那些页面是错误的,依然会流畅、自信地给出错误答案。

“图书管理员”如何选择

后续所有步骤都基于这一步展开。系统会将每个文本块转换为一组数字,用以描述该文本块的内容,对问题也会做同样的处理。之后它会返回那些数字与问题对应的数字最为接近的文本块。

有两个术语经常被提及:文本块的数字列表被称为嵌入向量,而衡量接近程度的标准则是余弦相似度。其实无需了解具体的数学公式,其核心概念就是判断两件事在含义上的相似程度。

该机制存在明显缺陷

可以把每个文本块想象成一支指向某个方向的箭。相似度得分反映了两支箭之间的角度:角度较小说明两者相似,角度较大则说明两者无关。由于公式中会消去每支箭的长度,因此只有文本的方向信息得以保留,而强度、精确度和重点等信息则全部丢失了。

你可以在大约一分钟内展示其效果。选取仅有一个词不同的句子对,这个词承载着全部指令意义,比如“do”与“do not”。从表面上看,每对句子几乎相同。如果系统检索出了错误的一对,最终结果并非含糊不清,而是明显错误。

在依赖系统之前,先对自己的材料进行快速测试。挑选两句仅在否定词、版本号或阈值上有所不同的句子,将其嵌入系统并比较得分。由于使用的是你自己的语料库,这种方式比任何已公布的基准测试都更有说服力。

公平地说,这种方法并非关键词匹配,而是比较语义,因此同义词不会造成问题:询问汽车相关内容时,系统仍能找到关于汽车的文本。人们常常认为更好的措辞就能解决问题,但实际上问题并不在于措辞。

该评分标准衡量的是某段文本是否与问题涉及相同主题,但无法判断该段文本是否包含答案。大多数情况下两者一致,因此没人会察觉。关于埃菲尔铁塔何时建成的问题,用一段关于埃菲尔铁塔的文本来回答就很简单。

现在回到面包的话题。

当答案位于不同主题中时

问题是关于面包的,而包含答案的页面则是关于酵母的。这是两个不同的主题,而非同一主题的不同表述,因此再巧妙的措辞也无法将它们联系起来。将它们联系起来的是一种因果关系:

水温过高,酵母死亡,无法产生气体,面包无法膨胀,最终变得扁平

经验丰富的面包师能毫不费力地遵循这一因果链。相似度搜索则完全无法跨越它,因为跨越需要推理能力,而搜索仅能衡量文本的相似程度。

情况还会更糟。你之所以提问,正是因为不知道原因。如果你早知道要去查询酵母相关的温度数据,就无需提问了。这类系统只对那些你自己就能解答的问题有用。

为何获取更多页面只能起到有限作用

将设置从5提高到50看似是显而易见的解决办法,酵母相关页面或许也能被抓取到。但排名并未改变,该页面依然被埋没,因为它仍然涉及另一个主题。你只是寄希望于范围更广的搜索结果而已。

这还会带来额外成本:更多文本意味着更高的费用、更慢的响应速度,还有大量近似相关的内容充斥在模型需要处理的资料中,正如下文所示,这会进一步恶化搜索结果。

搜索甚至还没开始,表格就已丢失

第二次损失发生在更早的文档导入阶段。在任何搜索操作之前,文档都会被转换为纯文本。散文式的文字能够保留下来,但结构往往无法幸存。

想象一张列出校对时间的表格,每种面包类型占一列。当表格被转换为文本后,数字还能保留,但列却消失了。如果询问黑麦面包的校对时间,存储的文本中既没有45分钟这个数值,也没有说明它是针对黑麦面包而非酸面团的信息。只有表格的列才能体现这种对应关系,而它们在转换过程中丢失了。因此,经过转换后的表格只能为模型提供一组零散的数字和名称。

食谱可以克服这个问题,但规格说明书、价格表、兼容性矩阵或配置参考文档则无法做到,因为在这些文档中,含义存在于布局结构中,而非句子之中。

目前这两大云服务都提供了更出色的解析功能:Bedrock拥有基础模型解析器,而Azure则具备文档智能布局提取功能。这些功能确实很有帮助,但无法彻底解决该问题,而且也不是默认就能使用的功能。

实测数据

一种名为BRIGHT的基准测试针对的是那些需要通过推理而非主题匹配才能找到正确文档的问题。在普通查询中能获得约59分成绩的检索模型,在这类问题上的得分仅约为18分。唯一的不同就是问题的类型。增加计算资源也无法改善状况:在测试的13个模型中,最优秀的模型在这类难题上的得分也只有24分。

危险之处

如果系统回复“未找到”,那倒还只是个小麻烦。但实际上它从不这样做。搜索引擎会按照相似度排序结果,不会排除任何一条。即便文档中没有答案,用户依然会看到看似成功的搜索结果,而且系统也不存在一个明确的阈值来表明它没有找到有用的信息。

2025年ICLR会议上发表的研究探讨了这一问题。当模型接收到实际上并不包含答案的相关资料时,其错误答案的比例从大约10%上升到了66%,情况甚至比什么都不提供还要糟糕。此外,这些模型也明显变得更不愿意承认自己不知道答案了。

部分相关的材料只会带来虚假的信心,从而造成更大的危害。平庸的内容尚可忍受,但在合规审查、医疗问题或架构选择中出现同样的错误则不可接受,正因如此这类缺陷才需要引起重视。

应对措施

大致按效果从好到坏,有三项措施可供采用:

  • 使用真实的问题。团队通常会用文档作者用原文撰写的查询来进行测试。让未阅读过相关材料的同事来出题,这样缺陷就能很快显现出来。
  • 单独评估检索效果。在判断答案是否正确之前,先确认是否检索到了正确的内容片段。如果没找到,调整模型也无济于事,因为问题出在系统的错误环节。
  • 让系统多次搜索。根本的解决方案是使用人工智能来搜索、阅读结果,识别出结果不够理想后,像人类一样用更合适的关键词再次搜索。这正是固定流程与智能代理之间的区别,也是该领域的发展方向。以面包为例,首次搜索“平面包”可能会找到关于揉面的页面,发现其中没有提及发酵失败的问题,于是再使用“醒发”、“发酵”和“酵母温度”等关键词进行搜索,最终才能找到正确的页面。
  • 传统RAG在处理深度技术问题时存在诸多困境,而检索与推理之间的差距只是其中之一。破坏语义的分块处理是另一个问题,那些在测试中通过但在实际应用中失败的系统也是如此。要解决这些问题,首先需要准确判断正确的内容片段丢失在了何处,而非凭猜测;同时要认识到首次检索往往会出现遗漏。

    相关阅读

  • RAG的上下文检索:67%这一数字背后隐藏的内容、其成本以及失效场景 —— 如何通过上下文前缀解决孤立数据块的问题,为何67%的收益源于三种叠加的干预措施,提示词缓存能带来哪些优势,以及该技术四种不起作用的情形。
  • 使用Qdrant、fastembed和Gemini在Python中构建简易RAG流程 —— 构建一个增量式RAG命令行工具:对本地文档进行分块处理,离线生成嵌入向量,将向量存储在Qdrant中,再利用Gemini回答查询。
  • GPT的真正含义以及为何人工智能工程仍属于工程学范畴 — 深入解析生成式预训练变换器、注意力机制、拟合与预测原理,了解为何优秀的人工智能成果依然依赖于常规的工程判断力与更精准的问题设计。