实用提示：RAG基础设施的扩展：从简单搜索到……的演进之路
《实用笔记：RAG基础设施扩展——从简单搜索到为采用该模式的团队提供合同、校验机制及即插即用代码模块的演进过程》的操作指南。
本指南将逐步构建从原材料到可运行系统的完整流程，主题为：扩展RAG基础设施：从平面搜索到DiskANN的演进。重点在于可操作的步骤、明确的检查点以及可直接放入代码库的代码，无需猜测其用途。 在概览阶段，应在修改代码之前明确输入参数、各步骤的负责人以及完成标准。操作人员应能够从已知的检查点重新运行相应步骤，而无需推测隐藏状态。 需同时记录正常流程与故障恢复流程。重试机制、人工审核环节以及错误处理都是产品不可或缺的部分，而非后续需要补充的功能。
目标：
在处理目标阶段时，首先写下相关约定：所需的输入参数、成功标志以及部分失败时的处理方式。这样的清单能确保后续的代码修改保持一致性。 建议使用小型、可测试的单元，而非庞大的脚本。当某个步骤失败时，故障应指向单一的责任模块，而非复杂的流程链。 在调整提示词之前，先使用固定的问题集来测试召回率。仅仅更换提示词很难解决检索效果不佳的问题。
定义
在定义阶段工作时，首先写下合同条款：所需的输入、成功信号以及部分失败时会发生什么。这样的清单能确保后续的代码修改保持一致性。 将这一阶段视为输入与经过验证的输出之间的契约。为相关成果命名，明确成功判定标准，并拒绝默许部分完成的情况。 在调整提示词之前，先使用固定的问题集来衡量召回率。仅仅更换提示词很难改善较差的检索效果。
为何要费此功夫？
在“为何要这么做”这一阶段，首先需写下相关规范：所需的输入参数、成功标志以及部分失败时的处理方式。这样的清单能确保后续的代码修改保持一致性。 在功能结果旁记录执行时间以及令牌或查询成本。提前了解成本情况，可避免从演示环境过渡到共享环境时出现意外费用。 在调整提示词之前，先用固定的问题集测试系统的召回率。仅仅更换提示词往往无法改善较差的检索效果。 在“为何要这么做”这一阶段，首先需写下相关规范：所需的输入参数、成功标志以及部分失败时的处理方式。这样的清单能确保后续的代码修改保持一致性。 需同时记录正常流程和异常恢复流程。重试机制、人工审核环节以及错误处理措施都是产品本身的组成部分，而非后续需要补充的功能。
技术栈
将“技术栈”阶段视为可衡量的对象来处理效果最佳。在扩大范围之前，先记录一份优秀的测试用例、一个故障案例以及回滚说明。 优先选择小型且可测试的单元，而非庞大的脚本。当某个步骤出现故障时，故障应指向单一责任模块，而非复杂的流程链。 将分块策略与检索策略分开。当质量指标发生变化时，修改其中一项不应迫使重新编写另一项。
1. 平面搜索/暴力搜索
将“1 平面搜索暴力枚举”阶段视为可度量的工作面最为有效。在扩大范围之前，先记录一份理想的转换结果、一个失败案例以及回滚说明。 把这一阶段视为输入与经过验证的输出之间的契约。为相关成果命名，明确成功标准，绝不允许出现无声的半完成状态。 将分块策略与检索策略分开。当质量指标发生变化时，修改其中一项不应迫使重新编写另一项。
评估：
将评估阶段视为可度量的对象时，其效果最佳。在扩大范围之前，需记录一个理想案例、一个失败案例以及回滚说明。在功能结果旁还需标注处理时间以及令牌或查询成本。提前明确成本情况，可避免在系统从演示环境过渡到共享环境时出现意外费用。应将分块策略与检索策略分开，当质量指标发生变化时，调整其中一个不应迫使重新编写另一个。将评估阶段视为可度量的对象时，其效果最佳。在扩大范围之前，需记录一个理想案例、一个失败案例以及回滚说明。需同时记录正常流程与故障恢复流程，重试机制、人工审核环节以及死信处理都属于产品功能的一部分，而非后续需要补充的内容。
2. Inverted File Flat (IVFFlat) 搜索方法
对于“2个倒置文件扁平化”阶段，在修改代码之前需明确输入参数、该步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。 优先选择小型、可测试的单元，而非冗长的脚本。当某个步骤失败时，故障应指向单一责任点，而非复杂的流程链。 需引用实际作为答案依据的段落。没有引用的话，操作人员就无法区分是虚假信息还是索引缺失所致。
Query → closest centroids → search selected clusters → Top-K
评估：
在评估阶段，应在修改代码之前明确输入内容、该步骤的负责人以及终止标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。 将此阶段视为输入与经过验证的输出之间的契约。为相关成果命名，定义成功判定标准，并拒绝默许的半完成状态。 需引用实际作为答案依据的段落。没有引用的话，操作人员就无法区分幻觉内容与索引缺失的情况。
3. HNSW
在修改代码之前，需为3个HNSW阶段明确输入参数、该步骤的负责人以及终止标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。除了功能结果外，还需记录执行时间以及令牌或查询成本。提前显示成本信息，可避免在系统从演示环境切换到共享环境时出现意外费用。必须注明实际用于得出答案的对应内容；若没有引用依据，操作人员就无法区分是幻觉结果还是索引缺失导致的错误。在修改代码之前，需为3个HNSW阶段明确输入参数、该步骤的负责人以及终止标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。需同时记录正常流程和异常恢复流程。重试机制、人工审核环节以及错误处理措施都是产品本身的组成部分，而非后续需要补充的内容。
评估：
在评估阶段工作时，首先写下相关约定：所需的输入参数、成功标志，以及部分失败时会发生什么。这样的清单能确保后续的代码修改保持一致性。 优先选择小型、可测试的单元，而非庞大的脚本。当某个步骤失败时，故障应指向单一责任模块，而非复杂的流程链。 在调整提示词之前，先使用固定的问题集来衡量召回率。仅仅更换提示词很难解决检索效果不佳的问题。
CREATE INDEX wikipedia_embeddings_hnsw_idx
ON wikipedia_embeddings
USING hnsw (emb vector_cosine_ops)
WITH (
m = 16,
ef_construction = 64
);
数据更新挑战
在处理数据更新挑战阶段时，首先写下相关契约：所需的输入参数、成功信号以及部分失败时的处理方式。这样的清单能确保后续的代码修改保持一致性。 将这一阶段视为输入与验证后输出之间的契约。为相关成果命名，明确成功判定标准，杜绝无声的半完成状态。 在调整提示词之前，先使用固定的问题集来测试召回率。仅仅更换提示词很难改善较差的检索效果。
4. BM25 + 向量搜索（混合检索）
在完成 BM25 向量搜索的四个阶段时，首先需明确相关规范：所需输入、成功标志以及部分失败时的处理方式。这样的清单能确保后续的代码修改保持一致性。 在功能结果旁记录执行时间以及令牌或查询成本。提前了解成本情况，可避免在从演示环境过渡到共享环境时出现意外费用。 在调整提示词之前，先使用固定的问题集测试召回率。仅仅更换提示词很难改善较差的检索效果。 在完成 BM25 向量搜索的四个阶段时，首先需明确相关规范：所需输入、成功标志以及部分失败时的处理方式。这样的清单能确保后续的代码修改保持一致性。 需同时记录正常流程和异常恢复流程。重试机制、人工审核环节以及错误处理措施都是产品本身的一部分，而非后续需要补充的内容。
BM25
将BM25阶段视为可度量的对象时，其效果最佳。在扩大范围之前，先收集一份优秀的示例文本、一个失败案例以及回滚说明。 相较于庞大的脚本，应优先选择小型且可测试的单元。当某个步骤出现故障时，故障原因应能明确指向某个具体的责任模块，而非复杂的流程链。 应将分块策略与检索策略分开。当质量指标发生变化时，修改其中一项不应迫使重新编写另一项。
评估
将评估阶段视为可量化的标准，其效果最佳。在扩大范围之前，先记录一份理想的处理结果、一个失败案例以及回滚说明。把这一阶段视为输入与经过验证的输出之间的契约，为相关成果命名，明确成功标准，绝不允许出现无声无息的半完成状态。应将分块策略与检索策略分开，当质量指标发生变化时，修改其中一项不应迫使重新编写另一项。
权衡
将“权衡阶段”视为可度量的对象时，其效果最佳。在扩大范围之前，需记录一个理想的处理结果、一个失败案例以及回滚说明。在功能结果旁还需标注处理时间以及令牌或查询成本。提前了解这些成本，就能避免在系统从演示环境过渡到共享环境时出现意外费用。应将分块策略与检索策略分开处理，当质量指标发生变化时，调整其中一个不应迫使重新编写另一个。将“权衡阶段”视为可度量的对象时，其效果最佳。在扩大范围之前，需记录一个理想的处理结果、一个失败案例以及回滚说明。需同时记录正常流程与恢复流程，重试机制、人工审核环节以及死信处理都属于产品本身的组成部分，而非后续需要补充的内容。
结语：
在结尾阶段，应在修改代码之前明确输入参数、该步骤的负责人以及终止标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。相比冗长的脚本，更应采用小型、可测试的单元。当某个步骤失败时，故障原因应能指向单一责任点，而非复杂的流程链。必须引用实际作为答案依据的段落；没有引用的话，操作人员就无法区分是幻觉内容还是索引缺失所致。
运营检查清单
将运营检查清单阶段视为可衡量的基准，效果最佳。在扩大范围之前，需记录一份标准示例、一个故障案例以及回滚说明。
应将配置信息置于应用程序代码之外。环境文件、密钥存储和功能开关应集中存放于一个位置，以便操作人员无需查看整个系统结构即可进行审核。
将分块策略与检索策略分开。当质量指标发生变化时，修改其中一项不应强制要求重新编写另一项。
在预算允许的情况下，使用测试数据而非真实的付费 API，在持续集成过程中添加用于检测关键路径的冒烟测试。
同时记录正常流程和故障恢复流程。重试机制、人工审核环节以及死信处理都是产品不可或缺的部分，而非后续需要补充的功能。
将分块策略与检索策略分开。当质量指标发生变化时，修改其中一项不应强制要求重新编写另一项。
在推广该技术栈之前，应冻结版本，为关键路径生成标准操作记录，并确认回滚步骤。共享环境需要设置速率限制、进行租户身份验证，同时明确密钥轮换的责任人。与其追求华丽的临时演示，不如注重扎实的可靠性。
关于编号112743431808的批次说明：不要将提供者密钥放入代码仓库，为每个会话设置令牌使用上限，并将转录内容存储在评估测试用例的旁边，以便后续更换模型时仍能保持可比性。
针对强化安全措施的第0阶段，在修改代码之前需明确输入内容、该步骤的负责人以及终止标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。需同时记录正常流程和异常恢复流程。重试机制、人工审核环节以及错误处理都属于产品功能的一部分，而非后续需要完善的内容。
强化安全措施细节0/618：需统计该步骤的运行时间、错误类型以及令牌消耗情况，然后依据固定的评估标准而非主观判断来决定是否保留该变更。
在处理强化措施的第一阶段时，首先写下相关契约：所需的输入参数、成功信号以及部分失败时的处理方式。这样的检查清单能确保后续的代码修改始终符合约定。 将这一阶段视为输入与验证后输出之间的契约。为相关产物命名，明确成功判定标准，杜绝默许部分完成的情况。
强化措施细节 1/618：需记录该步骤的耗时、错误类型以及令牌消耗情况，然后依据固定的评估标准而非个人经验来决定是否保留该修改。