实用笔记：为人工智能智能体设计缓存：在生产环境中运行它

可将此内容视为《为 AI 智能体设计缓存：在生产环境中运行》一文中理念的面向操作员的重构版本：清晰的阶段划分、有序的代码模块，以及便于交接时参考的恢复说明。 “概览”阶段若被视为可度量的基准，效果最佳。在扩大范围之前，应先记录一份理想的运行日志、一个故障案例以及对应的回滚说明。 相较于庞大的脚本，更应采用小型且可测试的单元。当某一步骤出现故障时，故障原因应能明确指向某个特定职责，而非复杂的流程链。

记录标准数值

在日志的标准编号阶段，应在修改代码之前明确输入参数、该步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。 将此阶段视为输入与已验证输出之间的契约。为相关成果命名，定义成功检测标准，并拒绝默许的半完成状态。 对于涉及资金支出或更改生产数据的操作，必须经过人工审批。编译时的连接方式并不等同于业务上的完整性。

那个会悄悄破坏成本计算的规则

在修改代码之前，必须明确该阶段的唯一规则：输入内容、步骤负责人以及退出标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。应在功能结果旁记录执行时间以及令牌或查询成本。提前了解成本情况，可避免在从演示环境过渡到共享环境时出现意外费用。对于会耗费资金或修改生产数据的操作，必须经过人工审批。编译时的配置并不等同于业务功能的完整性。

  Anthropic / Bedrock :  total_input = base + cache_read + cache_write
  OpenAI / Gemini / Azure :  total_input = base
                             uncached    = base − cache_read − cache_write

能发现隐性错误的四个不变量

对于用于监控阶段的四个不变量，在修改代码之前需明确输入参数、该步骤的负责人以及退出条件。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。 配置信息应置于应用程序代码之外。环境文件、密钥存储以及功能开关应集中存放于一个位置，以便操作人员无需查看整个流程即可进行审计。 对于涉及资金支出或修改生产数据的节点，必须设置人工审批环节。编译时的连接方式并不等同于业务功能的完整性。 对于用于监控阶段的四个不变量，在修改代码之前需明确输入参数、该步骤的负责人以及退出条件。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。 相较于庞大的脚本，应优先使用小型且可测试的单元。当某个步骤失败时，故障原因应能明确指向单一责任主体，而非复杂的关联关系。

编辑流水线。

控制面板上的数字

在处理阶段中的各项数值时，首先写下合同条款：所需输入、成功信号以及部分失败时的处理方式。这样的检查清单能确保后续的代码修改保持一致性。 将此阶段视为输入与已验证输出之间的契约。为相关成果命名，定义成功检测标准，并拒绝默许的部分完成状态。 在成本较高的步骤之后设置检查点。当操作员重新尝试后续节点时，恢复流程不应再次调用相同的大型语言模型。

三种应触发通知的警报

在处理需要分阶段的三个警报时，首先记下相关契约：所需输入、成功信号以及部分失败时的处理方式。这样的检查清单能确保后续的代码修改保持一致性。 在功能结果旁记录执行时间以及令牌或查询成本。提前了解成本情况，可避免在从演示环境过渡到共享环境时出现意外账单。 在耗时较高的步骤之后设置检查点。当操作员重新尝试后续节点时，恢复流程不应再次收取相同的LLM调用费用。

遥测数据用于预测，账单则决定最终费用

在处理“遥测数据预测发票阶段”功能时，首先需明确相关规范：所需输入、成功标志以及部分失败时的处理方式。这样的清单能确保后续的代码修改保持一致性。 配置信息应与应用程序代码分开存放。环境文件、密钥存储以及功能开关应集中管理，以便操作人员无需查看整个系统结构即可进行审计。 在成本较高的步骤之后设置检查点。当操作人员重新尝试后续节点时，恢复流程不应再次对同一次大型语言模型调用计费。 在处理“遥测数据预测发票阶段”功能时，首先需明确相关规范：所需输入、成功标志以及部分失败时的处理方式。这样的清单能确保后续的代码修改保持一致性。 相较于复杂的脚本，宜采用小型且可测试的单元。当某个步骤失败时，故障应能指向具体的责任模块，而非整个混乱的流程。

当缓存失效时仍要持续提供服务

“缓存失效”阶段若被视为可度量的环节，效果会最佳。在扩大范围之前，先记录一份理想的运行日志、一个故障案例以及回滚说明。 将此阶段视为输入与经过验证的输出之间的契约。为相关成果命名，明确成功标准，绝不允许出现无声的半完成状态。 保持图表状态的简洁性与类型化。嵌套的数据块会掩盖哪个节点修改了哪个字段的信息，还会在中断后导致无法继续处理。

安全性应是设计的一部分，而非事后添加的组件

将安全性视为可度量的指标时，其在阶段性工作中的效果最佳。在扩大范围之前，先记录一份优秀的测试用例、一个故障案例以及回滚说明。在功能结果旁同时记录执行时间以及令牌或查询成本。提前了解成本情况，就能避免在从演示环境过渡到共享环境时出现意外费用。要保持图表状态简洁且类型明确，嵌套的数据块会掩盖具体是哪个节点修改了哪个字段，还会在出现中断后导致流程无法继续。

设计模式

将设计模式阶段视为可度量的对象来处理时，其效果最佳。在扩大范围之前，需记录一份理想的操作日志、一个故障案例以及回滚说明。 应将配置置于应用程序代码之外。环境文件、密钥存储和功能开关应集中存放于一处，以便操作人员无需查看整个系统结构即可进行审计。 要保持系统状态的扁平化与类型化。嵌套的数据结构会掩盖是哪个节点修改了哪个字段，还会导致在出现中断后无法继续执行。 将设计模式阶段视为可度量的对象来处理时，其效果最佳。在扩大范围之前，需记录一份理想的操作日志、一个故障案例以及回滚说明。 相比庞大的脚本，应优先使用小型且可测试的单元。当某个步骤失败时，故障应指向单一的责任模块，而非复杂的流程链。

反模式

在反模式阶段，应在修改代码之前明确输入参数、该步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新执行该步骤，而无需猜测隐藏状态。 将此阶段视为输入与经过验证的输出之间的契约。为相关成果命名，定义成功判定标准，并拒绝默许的半完成状态。 对于涉及资金支出或修改生产数据的操作，必须经过人工审批。编译时的配置并不等同于业务上的完整性。

核心要点

在可复用阶段，应在修改代码之前明确输入参数、该步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。除了功能结果外，还需记录执行时间以及令牌或查询成本。提前了解成本情况，可避免在从演示环境过渡到共享环境时出现意外费用。对于会消耗资金或修改生产数据的操作，必须经过人工审批。编译时的配置并不等同于业务功能的完整性。

操作检查清单

在处理操作检查清单阶段时，首先需明确相关约定：所需的输入参数、成功标志，以及部分失败时的处理方式。这样的检查清单能确保后续的代码修改保持透明可追溯。

应将正常流程和恢复流程一并记录下来。重试机制、人工干预环节以及死信处理都是产品本身的组成部分，而非后续才添加的完善措施。

在成本较高的操作之后设置检查点。当操作员重新尝试后续节点时，恢复功能不应再次计费相同的LLM调用费用。

锁定依赖版本的编号，并记录用于演示的镜像摘要。可重复性远比经验知识更重要。

优先选择小型且易于测试的单元，而非结构复杂的脚本。当某个步骤失败时，故障应能指向具体的责任模块，而非整个混乱的流程。

在成本较高的操作之后设置检查点。当操作员重新尝试后续节点时，恢复功能不应再次计费相同的LLM调用费用。

在推广该技术栈之前，应先冻结版本，为关键路径生成标准记录，并明确回滚步骤。共享环境需要设置速率限制、租户验证机制，以及负责密钥轮换的明确责任人。与其展示花哨的一次性演示，不如注重扎实的可靠性。

关于77c55b276160的批注：请将提供商密钥移出代码仓库，设定单会话令牌上限，并将记录存储在评估用示例文件旁，以便后续模型更换时仍能保持对比性。