首页 / 文章

RAG在生产系统中的运作方式

RAG在实际应用中的工作原理:为何仅靠大语言模型不够,核心理念、分块处理、嵌入技术、向量数据库以及高级检索流程。

发布者:REACTAPP.TOP阅读约 12 分钟2649 词

来源: How RAG Works

为何仅靠大语言模型不够

缓存稳定的系统指令和工具结构。重复发送相同的前置内容是导致资源浪费的常见原因。

What is our internal refund escalation workflow?

RAG背后的核心理念

在调整提示词之前,先在固定的问题集上测试召回率。频繁更换提示词很难改善较差的检索效果。

RAG的高层工作流程

在调整提示词之前,先在固定的问题集上测试召回率。频繁更换提示词很难改善较差的检索效果。

传统大语言模型与RAG系统

Question → Model → Response
Question → Retrieval → Context Injection → Response

让RAG行之有效的思维模型

为每轮对话和每次会话设定token预算。智能工具会大量扩展上下文;设置上限可避免演示变成意外的费用账单。

reasoning engines
open-book exams

第一步——收集文档

将“第一步文档”视为可度量的对象时,其在测试阶段最为有效。在扩大范围之前,需记录一份最佳处理方案、一个故障案例以及回滚说明。应在功能结果旁同时记录执行时间以及令牌或查询成本。提前明确成本情况,可避免在系统从演示环境过渡到共享环境时出现意外费用。应将分块策略与检索策略分开,当质量指标发生变化时,调整其中一个不应强制要求重新编写另一个。将“第一步文档”视为可度量的对象时,其在测试阶段最为有效。在扩大范围之前,需记录一份最佳处理方案、一个故障案例以及回滚说明。需同时记录正常流程与恢复流程的相关信息。重试机制、人工审核环节以及死信处理都属于产品功能的一部分,而非后续需要补充的内容。

为何不能直接使用原始文档

为了解释为何原始文档无法进入处理阶段,应在修改代码之前明确输入内容、该步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新运行该步骤,而无需猜测隐藏状态。相比冗长的脚本,更应采用小型且可测试的单元。当某个步骤失败时,故障原因应能指向单一责任主体,而非复杂的流程链。必须引用实际作为答案依据的段落;没有引用的话,操作人员就无法区分是虚假信息还是索引缺失所致。

第二步 — 分块

在第二阶段的分块处理中,应在修改代码之前明确输入内容、该步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新运行该步骤,而无需猜测隐藏状态。 应将此阶段视为输入与经过验证的输出之间的契约。为相关成果命名,定义成功判定标准,并拒绝默许的半完成状态。 需引用实际作为答案依据的段落。没有引用的话,操作人员就无法区分幻觉内容与索引缺失的情况。

100-page document
hundreds of smaller semantic chunks

为何分块处理如此重要

在“为何分块如此重要”这一阶段,应在修改代码之前明确输入参数、该步骤的负责人以及终止标准。操作人员应能够从已知的检查点重新运行该步骤,而无需猜测隐藏状态。 除了功能结果外,还需记录执行时间以及令牌或查询成本。提前了解成本情况可以避免在流程从演示环境转向共享环境时出现意外费用。 需注明实际作为答案依据的段落。如果没有引用,操作人员就无法区分是幻觉内容还是索引缺失导致的错误。 在“为何分块如此重要”这一阶段,应在修改代码之前明确输入参数、该步骤的负责人以及终止标准。操作人员应能够从已知的检查点重新运行该步骤,而无需猜测隐藏状态。 需同时记录正常流程和异常恢复流程。重试机制、人工审核环节以及错误处理措施都是产品本身的组成部分,而非后续需要补充的内容。

分块处理流程

在处理分块处理流程阶段时,首先明确相关规范:所需的输入参数、成功信号以及部分失败时的处理方式。这样的检查清单能确保后续的代码修改不会偏离原有设计。 应优先选择小型且可测试的单元,而非冗长的脚本。当某个步骤出现故障时,故障原因应能指向单一责任模块,而非整个复杂的处理流程。 在调整提示词之前,需先使用固定的问题集来评估检索效果。仅仅更换提示词往往无法解决检索能力不足的问题。

常见的分块策略

在处理“常用分块策略”阶段时,首先写下相关契约:所需输入、成功信号以及部分失败时的处理方式。这样的清单能确保后续的代码修改保持一致性。 将此阶段视为输入与验证后输出之间的契约。为相关成果命名,明确成功判定标准,杜绝无声的半完成状态。 在调整提示词之前,先使用固定的问题集来测试召回率。仅仅更换提示词很难改善较差的检索效果。

第3步 — 嵌入式生成

在处理第3步“嵌入生成”阶段时,首先需明确相关规范:所需输入、成功标志以及部分失败时的处理方式。这样的清单能确保后续的代码修改保持一致性。 在功能结果旁记录执行时间以及令牌或查询成本。提前了解成本情况,可避免在从演示环境过渡到共享环境时出现意外费用。 在调整提示词之前,先使用固定的问题集测试召回率。仅仅更换提示词往往无法改善较差的检索效果。 在处理第3步“嵌入生成”阶段时,首先需明确相关规范:所需输入、成功标志以及部分失败时的处理方式。这样的清单能确保后续的代码修改保持一致性。 需同时记录正常流程和异常恢复流程。重试机制、人工审核环节以及错误处理措施都是产品本身的一部分,而非后续需要补充的内容。

Spring Boot microservices guide
[0.12, -0.44, 0.91, ...]

嵌入流程

将“嵌入流程”阶段视为可度量的对象来处理效果最佳。在扩大范围之前,先记录一份理想的文本样本、一个故障案例以及回滚说明。 优先选择小型且可测试的单元,而非庞大的脚本。当某个步骤出现故障时,故障应指向单一责任点,而非复杂的流程。 将分块策略与检索策略分开。当质量指标发生变化时,修改其中一项不应迫使重新编写另一项。

为何嵌入质量如此重要

“为何嵌入质量如此重要”这一阶段若被视为可衡量的指标,则效果最佳。在扩大范围之前,先收集一份理想的转录文本、一个失败案例以及回滚说明。 将此阶段视为输入与经过验证的输出之间的契约。为相关成果命名,明确成功标准,绝不允许出现无声无息的半完成状态。 将分块策略与检索策略分开。当质量指标发生变化时,修改其中一项不应迫使重新编写另一项。

第4步 — 向量数据库存储

将第4步的向量数据库阶段视为可度量的对象来处理,效果最佳。在扩大范围之前,需记录一份理想的处理结果、一个故障案例以及回滚说明。除了功能结果外,还要记录处理时间以及令牌或查询成本。提前了解成本情况,可避免在系统从演示环境过渡到共享环境时出现意外费用。应将分块策略与检索策略分开,当质量指标发生变化时,修改其中一项不应迫使重新编写另一项。将第4步的向量数据库阶段视为可度量的对象来处理,效果最佳。在扩大范围之前,需记录一份理想的处理结果、一个故障案例以及回滚说明。需同时记录正常流程和恢复流程,重试机制、人工审核环节以及死信处理都属于产品功能的一部分,而非后续需要补充的内容。

第5步 —— 用户查询检索

在第五步“用户查询”阶段,应在修改代码之前明确输入内容、该步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新运行该步骤,而无需猜测隐藏状态。相比冗长的脚本,更应采用小型且可测试的单元。当某一步骤失败时,故障原因应能指向单一责任主体,而非复杂的流程链。必须引用实际作为答案依据的段落;没有引用的话,操作人员就无法区分是幻觉内容还是索引缺失所致。

How does our payment retry system work?

检索流程

在检索流水线阶段,修改代码之前需明确输入内容、该步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新运行该步骤,而无需猜测隐藏状态。 将此阶段视为输入与经过验证的输出之间的契约。为相关成果命名,定义成功判定标准,并拒绝默许的半完成状态。 必须引用实际作为答案依据的段落。没有引用的话,操作人员就无法区分幻觉内容与索引缺失的问题。

第6步 — 提示注入

在第六步的提示注入阶段,修改代码之前需明确输入内容、该步骤的负责人以及终止标准。操作人员应能够从已知的检查点重新运行该步骤,而无需猜测隐藏状态。 应在功能结果旁记录执行时间以及令牌或查询成本。提前显示成本可避免在从演示环境过渡到共享环境时出现意外费用。 当下一步操作为编写代码或调用工具时,应优先使用具有架构验证的结构化输出,而非自由形式的文字描述。 在第六步的提示注入阶段,修改代码之前需明确输入内容、该步骤的负责人以及终止标准。操作人员应能够从已知的检查点重新运行该步骤,而无需猜测隐藏状态。 需同时记录正常流程和故障恢复流程。重试机制、人工审核环节以及错误处理措施都是产品本身的一部分,而非后续需要补充的内容。

System Instructions

Retrieved Context:
[Retrieved Documents]
User Question:
[Actual Query]

为何提示词构建如此重要

在处理“为何提示词构建如此重要”这一阶段时,首先需明确相关约定:所需的输入参数、成功标志,以及部分失败时的处理方式。这样的清单能确保后续的代码修改始终符合预期。 应优先选择小型、可测试的单元,而非庞大的脚本。当某个步骤出现故障时,故障应指向单一责任模块,而非复杂的流程链。 需缓存稳定的系统指令和工具结构。重复发送相同的开头信息是导致资源浪费的常见原因。

context engineering

完整的RAG架构

在完成完整RAG架构设计阶段时,首先需明确相关约定:所需的输入参数、成功标志,以及部分失败时的处理方式。这样的检查清单能确保后续的代码修改始终符合初始设计。

将这一阶段视为输入与经过验证的输出之间的契约。为相关成果命名,定义成功判定标准,杜绝无声无息的部分完成情况。

在调整提示词之前,先使用固定的问题集来测试信息的召回率。仅仅更换提示词往往无法解决检索效果不佳的问题。

为何RAG能显著减少幻觉现象

在处理“为何RAG能大幅降低成本”这一阶段时,首先需明确相关规范:所需输入、成功标志以及部分失败时的处理方式。这样的清单能确保后续的代码修改保持一致性。 在功能结果旁记录执行时间以及令牌或查询成本。提前了解成本情况,可避免在系统从演示环境过渡到共享环境时出现意外费用。 在调整提示词之前,先使用固定的问题集测试召回率。仅仅更换提示词往往无法解决检索效果不佳的问题。 在处理“为何RAG能大幅降低成本”这一阶段时,首先需明确相关规范:所需输入、成功标志以及部分失败时的处理方式。这样的清单能确保后续的代码修改保持一致性。 需同时记录正常流程和异常恢复流程。重试机制、人工审核环节以及错误处理措施都是产品本身的组成部分,而非后续需要补充的功能。

为何 RAG 中仍会出现幻觉

在“探究幻觉产生的原因”这一阶段,若将其视为可测量的对象来处理效果最佳。在扩大范围之前,先记录一份典型的成功案例、一个失败案例以及回滚说明。 应优先选择小型且可测试的单元,而非庞大的脚本。当某个步骤出现故障时,故障应能指向单一的责任主体,而非复杂的流程链。 应将分块策略与检索策略分开。当质量指标发生变化时,修改其中一项不应迫使另一项也必须重新编写。

重新排序——隐藏的质量控制层

“重新排序:隐藏质量”阶段若被视为可度量的指标体系,效果最佳。在扩大范围之前,先收集一份优质样本、一个失败案例以及回滚说明。 将此阶段视为输入与经过验证的输出之间的契约。为相关成果命名,明确成功标准,绝不允许出现无声的半完成状态。 将分块策略与检索策略分开。当质量指标发生变化时,修改其中一项不应强制要求重新编写另一项。

重新排序流程

将重排序流程视为可度量的对象时,其效果最佳。在扩大范围之前,需记录一份理想案例、一个失败案例以及回滚说明。应在功能结果旁同时记录处理时间以及令牌或查询成本。提前了解成本情况,可避免在系统从演示环境过渡到共享环境时出现意外费用。应将分块策略与检索策略分开处理,当质量指标发生变化时,修改其中一项无需强制重写另一项。将重排序流程视为可度量的对象时,其效果最佳。在扩大范围之前,需记录一份理想案例、一个失败案例以及回滚说明。需同时记录正常流程与故障恢复流程,重试机制、人工审核环节以及死信处理都属于产品功能的一部分,而非后续需要补充的内容。

为何检索质量往往比模型规模更重要

在“为何检索质量往往不佳”这一阶段,应在修改代码之前明确输入内容、该步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新运行该步骤,而无需猜测隐藏状态。相比冗长的脚本,更应采用小型且可测试的单元。当某个步骤失败时,故障原因应能指向单一责任主体,而非复杂的流程链。若后续步骤为代码或工具调用,相比自由形式的文字描述,结构化且经过模式验证的输出更为合适。

上下文压缩

在上下文压缩阶段,应在修改代码之前明确输入内容、该步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新运行该步骤,而无需猜测隐藏状态。 将此阶段视为输入与经过验证的输出之间的契约。为相关成果命名,定义成功判定标准,并拒绝默许的半完成状态。 需引用实际作为答案依据的段落。没有引用的话,操作人员就无法区分幻觉内容与索引缺失的情况。

上下文压缩流程

在上下文压缩流水线阶段,修改代码之前需明确输入参数、该步骤的负责人以及终止标准。操作人员应能够从已知的检查点重新运行该步骤,而无需猜测隐藏状态。 在功能结果之外,还需记录处理时间以及令牌或查询成本。提前了解成本情况可避免在从演示环境过渡到共享环境时出现意外费用。 需注明实际作为答案依据的段落。没有引用的话,操作人员就无法区分是幻觉内容还是索引缺失导致的错误。 在上下文压缩流水线阶段,修改代码之前需明确输入参数、该步骤的负责人以及终止标准。操作人员应能够从已知的检查点重新运行该步骤,而无需猜测隐藏状态。 需同时记录正常流程和故障恢复流程。重试机制、人工审核环节以及错误处理方式都是产品的一部分,而非后续才添加的功能。

多跳检索

在处理多跳检索阶段时,首先明确需求:所需的输入参数、成功信号以及部分失败时的处理方式。这样的清单能确保后续的代码修改保持一致性。

Which customers failed payment retries after the Kafka outage?

为何RAG成为最重要的AI模式之一

RAG在现实世界中的应用

企业知识助手

AI客户支持系统

AI编程助手

法律AI系统

医疗健康AI

金融AI系统

RAG背后隐藏的工程挑战

KAG——超越RAG的新发展

OpenSPG + LLMs

RAG与KAG的对比

retrieve semantically similar chunks
reason across structured relationships and logic

RAG与KAG的可视化对比

为何检索系统正成为新的基础设施层

Java与Spring Boot生态系统——接下来值得探索的方向

Spring AI

向量数据库

实用演示思路

未来深入探讨的高级主题

深度学习推荐参考资料

总结与思考

操作检查清单