您的RAG管道并非运行缓慢，而是过度分片了。
你的RAG流程并非运行缓慢，而是分片过多。向量搜索的分片是如何扩散的，索引构建何时停止，以及减少分片又是如何让延迟降下来的。
本指南将逐步构建从原材料到可运行系统的完整流程，适用于以下场景：你的RAG管道并非运行缓慢，而是存在过度分片问题。重点在于可操作的步骤、明确的检查点，以及可直接放入代码库的代码，无需猜测其用途。 在概览阶段，应在修改代码之前明确输入参数、各步骤的负责人以及终止标准。操作人员应能够从已知的检查点重新运行相应步骤，而无需猜测隐藏的状态。 配置信息应与应用程序代码分开存放。环境文件、密钥存储以及功能开关应集中管理，以便操作人员无需查看整个系统结构即可进行审计。
我们花费太多时间在模型上
在处理“支出过多”这一阶段时，首先需写下相关契约：所需的输入参数、成功标志以及部分失败时的处理方式。这样的检查清单能确保后续的代码修改保持一致性。 同时记录正常流程与异常恢复路径。重试机制、人工审核环节以及死信处理都是产品本身的组成部分，而非后续需要补充的功能。 缓存系统中稳定的指令和工具结构。重复发送相同的开头信息是导致资源浪费的常见原因。
典型的RAG架构
在处理“典型的RAG架构”这一阶段时，首先需明确相关约定：所需的输入参数、成功信号，以及部分失败时的处理方式。这样的检查清单能确保后续的代码修改保持一致性。 相较于庞大的脚本，应优先选择小型且可测试的单元。当某个步骤出现故障时，故障原因应能指向单一责任模块，而非复杂的流程链。 在调整提示词之前，先使用固定的问题集来评估召回率。仅仅更换提示词往往无法解决检索效果不佳的问题。
Documents
↓
Chunking
↓
Embeddings
↓
Vector Store
↓
Retriever
↓
LLM
Amazon S3
↓
Document Processing
↓
Amazon Bedrock Embeddings
↓
LangChain
↓
Amazon OpenSearch Service
↓
LLM
索引停止之日
在处理“索引停止之日”这一阶段时，首先需明确相关约定：所需的输入参数、成功标志以及部分失败时的处理方式。这样的清单能确保后续的代码修改始终符合初始约定。 将这一阶段视为输入与验证后输出之间的契约。为相关产物命名，定义成功判定标准，杜绝无声的半完成状态。 在调整提示词之前，先使用固定的问题集来测试召回率。仅仅更换提示词很难改善较差的检索效果。 在处理“索引停止之日”这一阶段时，首先需明确相关约定：所需的输入参数、成功标志以及部分失败时的处理方式。这样的清单能确保后续的代码修改始终符合初始约定。 将配置信息置于应用程序代码之外。环境文件、密钥存储以及功能开关应集中存放于一个位置，以便操作人员无需查看整个系统结构即可进行审计。
Validation Failed:
this action would add [10] total shards,
but this cluster currently has [992]/[1000]
maximum shards open
咖啡店类比
将“咖啡店类比”阶段视为可测量的界面时，其效果最佳。在扩大范围之前，先记录一个成功的案例、一个失败案例以及回滚说明。 同时记录正常流程和恢复流程。重试机制、人工审核环节以及死信处理都是产品本身的一部分，而非后续需要补充的内容。 将分块策略与检索策略分开。当质量指标发生变化时，修改其中一项不应迫使重新编写另一项。
10 Espresso Machines
5 Customers
索引的隐性成本
将“索引的隐性成本”视为可测量的指标最为有效。在扩大范围之前，先记录一个成功的案例、一个失败案例以及回滚说明。 优先选择小型且可测试的单元，而非庞大的脚本。当某个步骤出现故障时，故障应指向单一责任主体，而非复杂的流程链。 将分块策略与检索策略分开。当质量指标发生变化时，修改其中一项不应迫使重新编写另一项。
Dataset A → Index A
Dataset B → Index B
Dataset C → Index C
无人谈及的OpenSearch默认设置
将“The OpenSearch Default That”阶段视为可度量的工作面时效果最佳。在扩大范围之前，需记录一份理想案例、一个故障实例以及回滚说明。 应将此阶段视为输入与经过验证的输出之间的契约。为相关成果命名，明确成功标准，杜绝默许的半完成状态。 将分块策略与检索策略分开。当质量指标发生变化时，修改其中一项不应强制要求重新编写另一项。 将“The OpenSearch Default That”阶段视为可度量的工作面时效果最佳。在扩大范围之前，需记录一份理想案例、一个故障实例以及回滚说明。 将配置置于应用程序代码之外。环境文件、密钥存储及功能开关应集中存放于一处，以便操作人员无需查看全部内容即可进行审计。
{
"settings": {
"index": {
"knn": true
}
}
}
number_of_shards
number_of_replicas
5 Primary Shards
1 Replica
10 Total Shards Per Index
为何在上线前必须考虑分片策略
在探讨“为何分片策略重要”这一环节时，应在修改代码之前明确输入参数、该步骤的负责人以及完成标准。操作人员应能够从已知的检查点重新执行该步骤，而无需猜测隐藏的状态。 需同时记录正常流程与故障恢复流程。重试机制、人工审核环节以及死信处理都是产品功能的一部分，而非后续需要补充的内容。 必须引用支撑答案的具体段落。如果没有引用依据，操作人员就无法区分是虚假信息还是索引缺失的问题。
number_of_shards
AWS 分片建议
在 AWS 分片建议阶段，应在修改代码之前明确输入参数、该步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏的状态。相比复杂的脚本，应优先选择小型且易于测试的单元。当某个步骤失败时，故障原因应能明确指向单一责任模块，而非整个混乱的流程。需引用实际作为答案依据的段落；没有引用的话，操作人员就无法区分是虚假信息还是索引缺失导致的错误。
以搜索为重的任务负载
在以搜索为重心的工作负载阶段，修改代码之前需明确输入参数、该步骤的负责人以及终止标准。操作员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。 应将此阶段视为输入与经过验证的输出之间的契约。为相关成果命名，定义成功判定标准，并杜绝无声的半完成状态。 需引用实际作为答案依据的段落。没有引用的话，操作员就无法区分幻觉内容与索引缺失的问题。 在以搜索为重心的工作负载阶段，修改代码之前需明确输入参数、该步骤的负责人以及终止标准。操作员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。 将配置信息置于应用程序代码之外。环境文件、密钥存储以及功能标志应集中存放于操作员可审计的位置，无需阅读整个系统结构。
h.10–30 GB
以写入为中心的工作负载
在处理“以写入为中心的工作负载”阶段时，首先需明确相关约定：所需的输入参数、成功标志以及部分失败时的处理方式。这样的检查清单能确保后续的代码修改保持一致性。 同时记录正常流程与故障恢复流程。重试机制、人工审核环节以及错误消息处理都是产品功能的一部分，而非后续需要补充的内容。 在调整提示词之前，先使用固定的问题集来测试召回率。仅仅更换提示词往往无法解决检索效果不佳的问题。
30–50 GB
过度分片陷阱
在处理“过度分片陷阱”阶段时，首先需写下合约的详细内容：所需的输入参数、成功信号以及部分失败时的处理方式。这样的清单能确保后续的代码修改保持一致性。 应优先选择小型且可测试的单元，而非冗长的脚本。当某个步骤出现故障时，故障应指向单一的责任模块，而非复杂的流程链。 在调整提示词之前，先使用固定的问题集来测试召回率。仅仅更换提示词很难改善较差的检索效果。
100 Indices
5 Primary Shards
1 Replica
1000 Shards
CPU: Healthy
Memory: Healthy
Disk: Healthy
正确计算分片数量
在处理“计算碎片：正确阶段”时，首先需写下契约内容：所需输入、成功信号以及部分失败时的处理方式。这样的清单能确保后续的代码修改保持一致性。 将此阶段视为输入与验证后输出之间的契约。为相关产物命名，明确成功判定标准，杜绝无声的半完成状态。 在调整提示词之前，先使用固定的问题集测试召回率。仅仅更换提示词很难改善较差的检索效果。 在处理“计算碎片：正确阶段”时，首先需写下契约内容：所需输入、成功信号以及部分失败时的处理方式。这样的清单能确保后续的代码修改保持一致性。 将配置信息置于应用程序代码之外。环境文件、密钥存储以及功能开关应集中存放于一处，以便操作人员无需查看整个系统结构即可进行审计。
Primary Shards =
(Daily Data Volume × 1.25)
÷ Target Shard Size
300 GB/day
÷ 30 GB
≈ 10 Primary Shards
副本并不总是有帮助的
将“Replicas Are Not Always”视为可度量的界面时，其效果最佳。在扩大范围之前，先记录一个成功的案例、一个失败案例以及回滚说明。 同时记录正常流程和恢复流程。重试机制、人工审核环节以及死信处理都是产品本身的一部分，而非后续添加的完善措施。 应将分块策略与检索策略分开。当质量指标发生变化时，修改其中一项不应迫使重新编写另一项。
1 Node
1 Primary
1 Replica
Primary → Assigned
Replica → Unassigned
number_of_replicas = 0
无名英雄：索引模板
将“无名英雄”索引阶段视为可度量的对象使用效果最佳。在扩大范围之前，先记录一份优秀的处理结果、一个失败案例以及回滚说明。 优先选择小型且可测试的单元，而非庞大的脚本。当某个步骤出现故障时，故障应指向单一责任主体，而非复杂的流程链。 将分块策略与检索策略分开。当质量指标发生变化时，修改其中一项不应迫使重新编写另一项。
OpenSearchVectorSearch.from_documents(...)
{
"index_patterns": ["my_index_*"],
"template": {
"settings": {
"index": {
"number_of_shards": 1,
"number_of_replicas": 0
}
}
}
}
每个RAG团队都应监控的指标
将每个RAG团队的各个阶段视为可度量的对象，这样才能发挥最佳效果。在扩大范围之前，需记录一份理想样本、一个失败案例以及回滚说明。 应将这一阶段视为输入与经过验证的输出之间的契约。为相关成果命名，明确成功标准，杜绝默许的半完成状态。 应将分块策略与检索策略分开。当质量指标发生变化时，修改其中一项不应强制要求重新编写另一项。 将每个RAG团队的各个阶段视为可度量的对象，这样才能发挥最佳效果。在扩大范围之前，需记录一份理想样本、一个失败案例以及回滚说明。 应将配置置于应用程序代码之外。环境文件、密钥存储和功能开关应集中存放于一个位置，以便操作人员无需查看整个系统结构即可进行审计。
如果日后需要更多分片怎么办？
在“假设你需要”阶段，应在修改代码之前明确输入参数、该步骤的负责人以及终止标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。 需同时记录正常流程和异常恢复流程。重试机制、人工审核环节以及错误处理都是产品本身的组成部分，而非后续需要补充的内容。 必须引用那些真正作为答案依据的段落。如果没有引用，操作人员就无法区分是幻觉内容还是索引缺失导致的错误。
重新索引 API
在重新索引API阶段，应在修改代码之前明确输入参数、该步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。相比庞大的脚本，更应采用小型且可测试的单元。当某个步骤失败时，故障原因应能指向单一责任模块，而非复杂的流程链。必须引用实际作为答案依据的段落；没有引用的话，操作人员就无法区分是幻觉内容还是索引缺失问题。
拆分索引API
在处理 Split Index API 阶段时，应在修改代码之前明确输入参数、该步骤的负责人以及终止标准。操作员应能够从已知的检查点重新运行该步骤，而无需猜测其中的隐藏状态。 应将此阶段视为输入与经过验证的输出之间的契约。为相关成果命名，设定成功检测标准，并杜绝无声的半完成状态。 必须引用实际作为答案依据的段落。没有引用的话，操作员就无法区分是幻觉内容还是索引缺失的问题。 在处理 Split Index API 阶段时，应在修改代码之前明确输入参数、该步骤的负责人以及终止标准。操作员应能够从已知的检查点重新运行该步骤，而无需猜测其中的隐藏状态。 应将配置信息置于应用程序代码之外。环境文件、密钥存储以及功能开关应集中存放于一个位置，以便操作员无需查看整个系统结构即可进行审计。
索引模板
在处理索引模板阶段时，首先需明确相关约定：所需的输入参数、成功信号以及部分失败时的处理方式。这样的清单能确保后续的代码修改保持一致性。 同时记录正常流程与异常恢复流程。重试机制、人工审核环节以及死信处理都是产品功能的一部分，而非后续需要补充的内容。 在调整提示词之前，先使用固定的问题集来衡量检索效果。仅仅更换提示词很难解决检索能力不足的问题。
OpenSearch Serverless
在处理 OpenSearch Serverless 阶段时，首先需明确相关约定：所需的输入参数、成功信号以及部分失败时的处理方式。这样的清单能确保后续的代码修改始终符合预期。 建议采用小型、可测试的单元而非庞大的脚本。当某个步骤失败时，故障应指向单一责任模块，而非复杂的流程链。 在调整提示词之前，先使用固定的问题集来评估检索效果。仅仅更换提示词很难改善较差的检索性能。
在不丢失数据的情况下恢复分片
在处理“在不丢失数据的情况下恢复碎片”这一阶段时，首先需明确相关契约：所需的输入参数、成功标志以及部分失败时的处理方式。这样的清单能确保后续的代码修改始终符合约定。 将这一阶段视为输入与验证后输出之间的契约。为相关成果命名，定义成功判定标准，杜绝无声的半完成状态。 在调整提示词之前，先使用固定的问题集来测试召回率。仅仅更换提示词很难改善较差的检索效果。 在处理“在不丢失数据的情况下恢复碎片”这一阶段时，首先需明确相关契约：所需的输入参数、成功标志以及部分失败时的处理方式。这样的清单能确保后续的代码修改始终符合约定。 将配置信息置于应用程序代码之外。环境文件、密钥存储以及功能开关应集中存放于一个位置，以便操作人员无需查看整个系统结构即可进行审计。
迁移策略
将“迁移策略”阶段视为可度量的对象来处理时，其效果最佳。在扩大范围之前，先记录一个成功的案例、一个失败案例以及回滚说明。同时记录正常流程和恢复流程的文档。重试机制、人工审核环节以及死信处理都是产品本身的一部分，而非后续需要补充的内容。应将分块策略与检索策略分开，当质量指标发生变化时，修改其中一项不应迫使重新编写另一项。
Old Index (5 Primary, 1 Replica)
↓
Create New Index (1 Primary, 1 Replica)
↓
Reindex Documents
↓
Validate Counts
↓
Switch Alias
↓
Delete Old Index
为何这种方法合理
将“为何采用此方法”这一阶段视为可度量的层面来处理最为有效。在扩大范围之前，先记录一份最佳案例、一个失败实例以及回滚说明。 优先选择小型且可测试的单元，而非庞大的脚本。当某个步骤出现故障时，故障应指向单一责任模块，而非复杂的流程链。 将分块策略与检索策略分开。当质量指标发生变化时，修改其中一项不应迫使重新编写另一项。
一个简单的操作经验
“小型操作经验”阶段若被视为可度量的工作面，效果最佳。在扩大范围之前，需记录一份优秀案例、一个故障实例以及回滚说明。 应将此阶段视为输入与已验证输出之间的契约。为相关成果命名，明确成功标准，杜绝默许的半完成状态。 需将分块策略与检索策略分开。当质量指标发生变化时，调整其中一项不应强制重新编写另一项。 “小型操作经验”阶段若被视为可度量的工作面，效果最佳。在扩大范围之前，需记录一份优秀案例、一个故障实例以及回滚说明。 应将配置置于应用程序代码之外。环境文件、密钥存储及功能开关应集中存放于一处，以便操作人员无需查看整个系统结构即可进行审计。
经验总结
在“经验总结”阶段，应在修改代码之前明确输入内容、该步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。 需同时记录正常流程和故障恢复流程。重试机制、人工审核环节以及错误处理都是产品本身的组成部分，而非后续需要补充的内容。 要引用那些真正为答案提供依据的段落。如果没有引用，操作人员就无法区分是幻觉内容还是索引缺失导致的错误。
资源与进一步阅读
在“进一步阅读资源”阶段，应在修改代码之前明确输入内容、该步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。相比冗长的脚本，更应采用小型且可测试的单元。当某个步骤失败时，故障原因应能指向单一责任模块，而非复杂的流程链。需引用实际作为答案依据的段落；没有引用的话，操作人员就无法区分是幻觉内容还是索引缺失所致。
OpenSearch与分片
在 OpenSearch 分片阶段，修改代码之前需明确输入内容、该步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。 应将此阶段视为输入与已验证输出之间的契约。为相关成果命名，定义成功检测标准，并杜绝无声的半完成状态。 需引用实际作为答案依据的段落。没有引用的话，操作人员就无法区分幻觉与索引缺失。
AWS OpenSearch 分片最佳实践
在 AWS OpenSearch 分片最佳实践阶段，应在修改代码之前明确输入参数、该步骤的负责人以及终止标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测其中的隐藏状态。除了功能结果外，还需记录执行时间以及令牌或查询成本。提前了解成本情况可以避免在从演示环境过渡到共享环境时出现意外账单。
Amazon OpenSearch Service 的限制
在 Amazon OpenSearch Service 限制阶段，应在修改代码之前明确输入参数、该步骤的负责人以及终止标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测其中的隐藏状态。