首页 / 文章

RAG答案出错的七种方式及如何确定故障阶段

诊断错误RAG答案的实用方法:将七个故障点分为三个阶段,记录四个字段,并通过一项测试找出问题根源。

发布者:REACTAPP.TOP阅读约 7 分钟1670 词

来源: The RAG Pipeline as Building Blocks: Seven Ways an Answer Goes Wrong

当RAG系统给出错误答案时,问题必定出在七个可能位置中的某一个,而具体是哪一个则决定了需要做出何种修改。即便调整了原本正常的处理环节,答案依然会是错误的。

一个请求需要经过解析与分块、嵌入与索引、检索、上下文整合以及生成等步骤。其中任何一个环节出现故障,最终输出的结果都是一样的。在无法确定是哪个环节出问题时,修复只能靠猜测:更换新的分块大小、不同的嵌入模型或重排器,往往只能一次性解决所有查询的问题。

接下来介绍一种诊断方法。该方法指出了答案可能出现问题的七个位置,将它们归类到负责修复的三个处理阶段中,并列出了四项可用于区分这些阶段的记录内容。

错误的答案会隐藏其成因

这七个问题都会以流畅、自信但错误或不完整的文字形式呈现出来。从输出结果中根本无法判断问题出在哪个处理环节。

  • 最初这七个结果看起来都差不多。一段没人撰写的文字、埋藏在第八层的片段,以及一个读取了错误数据列的模型,最终都变成了一个看似合理的回复。
  • 然而这些解决方案并不能相互迁移。输入决定了内容的存在形式,检索决定了能找到的内容,组装决定了要传递的内容,而提示词则决定了这些内容最终会如何处理。在错误的环节上投入精力对出问题的环节毫无帮助。
  • 猜测所带来的代价比错误本身还要高。为了解决格式问题而重新嵌入整个语料库需要数天时间,而且问题依然存在。

更好的问题是:答案文本最后一次保持完整的状态是在哪里,又是哪个环节让它失散的。

三个阶段的七次失败

这七个案例来自一项关于实际运行中的RAG系统的已发表研究(arXiv 2401.05856),此处更名是为了突出其中出现的问题。这些案例按故障发生的位置进行分类,因此只需在相应类别中定位故障,就能缩小排查范围。

数据摄取:缺失内容

所需的事实从未转化为索引可以搜索的文本。可能是因为没有源文档包含该内容,也可能是在解析、清洗或分块处理过程中丢失了。

  • 内容缺失。有人向内部维基查询爱尔兰的育儿假政策,但系统中仅记录了美国的政策,系统仍给出了回答。

这两种原因都会导致相同的症状,但需要不同的修复方法。如果该事实从未被记录下来,系统应当能够拒绝回答;如果是数据摄取过程中出了问题,则需要检查解析器、清洗规则或可能已停止运行的同步任务。

信息检索与上下文:未检索到、在提示词前被截断、读取了错误值

相关事实其实存在于某个数据块中,但模型接收到的却是其他内容。

  • 未检索到。该数据块虽在索引中,但搜索系统根本未将其找出来。可以想象,手册中的规格表里有个扭矩值,却被通用的故障排除页面优先显示了。
  • 在提示词前被截断。搜索虽找到了该内容,但它并未被纳入上下文。有十二份支持工单与关于导入失败的查询匹配,但令牌预算只保留了五条。
  • 读取了错误值。该数据块与重复内容、过时版本或大量噪声一同出现在提示词中,导致模型使用了错误的来源。合同及其被取代的修订版都出现了,而续期日期却来自旧版本。

顺序与匹配度同样重要。针对长上下文的研究(arXiv 2307.03172)表明,模型更擅长处理开头和结尾的内容,而中间的内容则容易被忽略,因此即使某部分内容能够到达提示词,也仍可能被忽视。

为什么错误的内容会出现在这里?这是模型生成的错误,看似属于生成问题。但实际上修复方法几乎总是从上游着手:删除重复内容、弃用过时的版本、去除噪声、重新排序上下文。重新撰写提示词很少能起到作用。

生成问题:格式错误、范围错误、内容不完整

模型已经获取了所有所需信息,却依然产生了错误的回复。

  • 格式错误。 正确的事实却以错误的形态呈现:用户要求的是清单,结果收到的却是一段文字。
  • 范围有误。回复的内容范围过宽或过窄。某个关于支出上限的问题却得到了适用于全体员工的政策,而提问者其实是遵循不同规则的自由职业者。
  • 内容不完整。多部分构成的问题中有一部分被遗漏。有人询问了四个工单队列的情况,却只得到了三个的数值。
  • 内容不完整是人们在阅读时容易忽略的问题,因为所写内容本身并无错误。通过引用审核可以发现这一问题:如果某个来源被提及却从未被引用,那就说明有内容被遗漏了。由于整体背景是合理的,因此需要从提示词、答案格式或界面中进行修正。

    如何诊断

    为每个请求记录四个字段

    诊断意味着根据数小时后出现的投诉,事后重新构建请求。手动重新提问无法替代这一过程,因为索引很可能已经发生变化,且故障可能无法复现。只需四个字段即可:

    • 任何重写之前的原始问题,因为重写本身就是一个故障点。
    • 搜索结果:每个候选片段及其chunk_id、doc_id、version和得分。
    • 模型接收到的内容:在应用令牌预算后的剩余chunk_id值。
    • 最终的回复内容,逐字符呈现。
    # The retrieved list and the prompt list stay separate. Collapsed into one,
    # a chunk lost at ranking and a chunk lost at the token budget leave the
    # same record, and no later reading of the log can separate them.
    log_request({
        "question": question,
        "retrieved": [
            {"chunk_id": c.chunk_id, "doc_id": c.doc_id,
             "version": c.version, "score": c.score}
            for c in candidates
        ],
        "in_prompt": [c.chunk_id for c in context],
        "answer": answer,
    })
    

    请将检索到的内容与提示词列表分开保存。仅包含处理后的提示词及答案的日志无法区分是排名失败还是预算限制导致的错误。

    一次测试,三种结果

    选择应当影响回复的段落,然后在日志记录中查找它,并记录它在处理流程中的处理深度。整个流程仅有三个终止点,每个终止点对应一个处理阶段。

    • 未在任何数据块中找到:这是数据摄取阶段的问题。语料库中缺少该内容,或在索引之前就已丢失。
    • 该文本存在于从未传递给提示词的数据块中:属于检索与上下文处理阶段的问题——要么是排名机制未返回该数据块,要么是预算限制导致了缺失。
    • 在提示词中找到了该内容,但答案仍然错误:说明模型已获取所有所需信息。若模型选择了错误值,需检查上游数据中是否存在重复或噪声;若格式、范围或完整性有问题,则需查看生成阶段。

    这七项标准未涵盖的内容

    这七项标准仅用于判断某个答案是否正确,但有些会导致系统无法投入使用的因素它们却无法察觉。

    • 权限问题。若答案引用了提问者无法读取的文档,即便该答案正确,也是不可接受的。为此需要在每个数据块旁存储acl_principals信息,并在查询时设置过滤机制。
    • 恶意文档。包含针对模型的指令的文件即便通过这七项检查,其生成的回复仍可能违背原始指令内容。
    • 租户隔离。客户A的数据块出现在客户B的回复中,这一问题可通过在存储的数据块及每次查询时添加tenant_id来解决,而非依靠提示词的表达方式。
    • 规模与成本。在大型语料库规模下,查询带来的延迟及成本问题完全不在这七项标准范围内。

    即便数据仍在泄露,这七种方法都可能通过检测。该框架能解释错误答案,但对安全性问题却保持沉默。

    隐患

    • 对于那些片段已包含在提示语中的答案,仍会进行更广泛的检索。更多的结果意味着更多干扰信息,从而使错误值更有可能被识别出来。
    • 仅记录已生成的提示语,而不记录在提示语生成前被检索并截断的内容,因此当问题出在搜索参数设置上时,反而会去调整搜索策略,反之亦然。
    • 将拒绝回应当作解决方案。如果答案存在于被解析器扁平化的表格中,仅仅拒绝回答只是用礼貌的外表掩盖了数据读取方面的错误。
    • 在系统启动后才添加片段元数据。后期添加版本号或章节路径会重新处理所有片段,而重新嵌入数据则是一项成本高昂的操作。
  • 根据偏好争论范围问题。回复是否过于笼统仍需讨论,直到测试题能得到应有的准确答案为止。
  • 实际应用

    可以将处理流程视为一条链条:错误答案意味着某个环节出了问题,而诊断则在于找到答案文本仍存在的最后一个环节。

    • 在修改任何设置之前,先开始记录四个字段。每个请求对应一条记录,这往往能在讨论开始前就解决大部分问题。
    • 先进行单一测试:文本是不在任何片段中、在遗漏了提示的片段中,还是在提示文本本身里?这个答案能确定当前阶段,进而确定可能有效的修复方式。
    • 要让系统有办法表示它不知道答案。如果测试集中的每个问题都有答案,就永远无法发现缺失的内容。
    • 从首次导入开始,就将doc_id、version、section_path和updated_at存储在每个数据块中;如果访问控制很重要,还需添加tenant_id和acl_principals。
    • 其余操作应推迟处理,直到出现特定故障才进行处理。图检索、多模态检索和智能体检索各自对应一种未检索的情况,但都不应作为默认选项。

    不同检索架构下的处理阶段会有所差异,但这四个需要记录的字段在所有架构中都保持不变。