实用指南：构建可靠的AI智能体——生产环境评估方法

以下内容为“构建可靠的AI智能体：打造可扩展的生产级评估管道”这一主题提供的实用实施路径。重点在于契约、校验机制以及可直接插入的代码占位符，而非激励性表述。 在完成概览阶段时，首先明确契约内容：所需输入、成功标志以及部分失败时的处理方式。这样的清单能确保后续的代码修改保持一致性。 将此阶段视为输入与经过验证的输出之间的契约。为相关成果命名，定义成功校验标准，并杜绝默许的部分完成情况。

参考架构：为自主系统设计评估控制平面

将参考架构设计阶段视为可度量的对象来处理时效果最佳。在扩大范围之前，先记录一份最优案例、一个故障场景以及回滚说明。在功能结果旁同时记录执行时间以及令牌或查询成本。提前了解成本情况，就能避免在从演示环境过渡到共享环境时出现意外费用。要保持图表状态简洁且具有明确类型，否则嵌套的数据块会掩盖哪个节点修改了哪个字段的信息，还会在进程中断后导致无法继续执行。

代理运行时——负责执行

将“Agent运行时拥有执行阶段”这一机制视为可度量的对象来处理，其效果最佳。在扩大范围之前，先记录一份完美的操作日志、一个故障案例以及回滚说明。 将配置信息置于应用程序代码之外。环境文件、密钥存储和功能标志应集中存放于一个位置，这样操作人员无需查看整个结构即可进行审计。 保持数据结构的层次简单且类型明确。嵌套的数据块会掩盖哪个节点修改了哪个字段的信息，还会导致在中断后无法继续执行。

工具执行层——负责处理确定性副作用

将“工具执行层负责阶段”视为可度量的对象时，其效果最佳。在扩大范围之前，需记录一份理想运行案例、一个故障案例以及回滚说明。 同时记录正常流程与恢复流程。重试机制、人工审核环节以及错误处理都是产品本身的组成部分，而非后续需要补充的内容。 应使用结构简洁的工具，并明确标注其副作用。主机需要在自动批准之前知道哪些调用会改变状态。 将“工具执行层负责阶段”视为输入与经过验证的输出之间的契约。为相关成果命名，定义成功标准，杜绝无声的半完成状态。

遥测层——负责生成标准执行记录

由于遥测层负责整个流程，因此在修改代码之前需明确输入参数、各步骤的负责人以及终止条件。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。应在功能结果旁记录执行时间以及令牌或查询成本。提前了解成本情况，可避免在流程从演示环境转向共享环境时出现意外费用。对于涉及资金支出或修改生产数据的操作，必须经过人工审批。编译时的配置并不等同于业务功能的完整性。

评估层——负责行为验证

由于评估层负责行为阶段，因此在修改代码之前需明确输入参数、该步骤的负责人以及退出标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。 配置信息应置于应用程序代码之外。环境文件、密钥存储以及功能标志应集中存放于一个位置，以便操作人员无需查看整个系统结构即可进行审计。 对于涉及资金支出或修改生产数据的操作，必须经过人工审批。编译时的连接方式并不等同于业务功能的完整性。

评估仓库——承载机构记忆

在“评估仓库拥有机构级”阶段，修改代码之前需明确输入参数、该步骤的负责人以及退出标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。 需同时记录正常流程与异常恢复路径。重试机制、人工审核环节以及错误处理都是产品本身的组成部分，而非后续需要补充的内容。 对于涉及资金支出或修改生产数据的操作，必须经过人工审批。编译时的配置并不等同于业务功能的完整性。 在“评估仓库拥有机构级”阶段，修改代码之前需明确输入参数、该步骤的负责人以及退出标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。 应将此阶段视为输入与经过验证的输出之间的契约。为相关成果命名，明确成功判定标准，并杜绝无声的局部完成情况。

完成。

部署控制平面——负责版本管理

在处理“部署控制平面负责”阶段时，首先需明确相关约定：所需输入、成功标志以及部分失败时的处理方式。这样的检查清单能确保后续的代码修改始终符合要求。 在功能结果旁记录执行时间以及令牌或查询成本。提前了解成本情况，可避免在从演示环境过渡到共享环境时出现意外费用。 在耗时较高的步骤之后设置检查点。当操作员重新尝试后续节点时，恢复流程不应再次收取相同的LLM调用费用。

构建评估流程

在“构建评估流程”阶段工作时，首先明确相关约定：所需输入、成功信号以及部分失败时的处理方式。这样的清单能确保后续的代码修改保持一致性。 将配置信息与应用程序代码分开存放。环境文件、密钥存储以及功能开关应集中于一个位置，这样操作人员无需查看整个系统结构即可进行审计。 在成本较高的步骤之后设置检查点。当操作人员重新执行后续节点时，恢复流程不应再次计费相同的大型语言模型调用。

dataset:
  id: refund-policy-v2

input:
  query: "Refund my cancelled subscription."

expected_tools:
  - customer.lookup
   - refund.policy

forbidden_tools:
  - payment.capture

constraints:
  max_latency_ms: 3000
  max_tool_calls: 3

success:
  task_completed: true

{ "trace_id": "9ab3...",
"span": "tool.crm.lookup",
"latency_ms": 214,
"tokens_input": 684,
"retry_count": 0,
"status": "success"
}

软件开发生命周期中的测试

在进行“软件间测试”阶段时，首先需明确相关约定：所需的输入参数、成功信号以及部分失败时的处理方式。这份清单能确保后续的代码修改保持一致性。 同时记录正常流程与异常恢复路径。重试机制、人工审核环节以及错误处理都属于产品功能的一部分，而非后续的优化工作。 在成本较高的步骤之后设置检查点。当操作员重新尝试某个节点时，恢复流程不应再次调用相同的大型语言模型接口。 在进行“软件间测试”阶段时，首先需明确相关约定：所需的输入参数、成功信号以及部分失败时的处理方式。这份清单能确保后续的代码修改保持一致性。 将此阶段视为输入与验证后输出之间的契约。为相关成果命名，定义成功判定标准，并杜绝无声的半完成状态。

本地开发

将本地开发阶段视为可度量的对象来处理效果最佳。在扩大范围之前，先记录一个成功的案例、一个失败案例以及回滚说明。在功能结果旁同时记录执行时间以及令牌或查询成本。提前了解成本情况，就能避免在从演示环境过渡到共享环境时出现意外费用。要保持图表状态简洁且类型明确，嵌套的数据块会掩盖是哪个节点修改了哪个字段，还会在出现中断后导致流程无法继续。

拉取请求

将 Pull Requests 阶段视为可度量的界面使用效果最佳。在扩大范围之前，先记录一份理想的测试用例、一个失败案例以及回滚说明。 将配置与应用程序代码分开。环境文件、密钥存储和功能标志应集中存放于一处，这样操作人员无需查看整个结构即可进行审计。 保持数据结构的层次简单且类型明确。嵌套的数据块会掩盖哪个节点修改了哪个字段的信息，还会在中断后导致无法继续处理。

name: Agent Evaluation
on:
  pull_request:
jobs:
  evaluate:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      - name: Replay Evaluation Suite
        run: deepeval test run evaluation/
      - name: Fail on Regression
        run: promptfoo eval --config promptfooconfig.yaml

分阶段处理

将测试阶段视为可度量的界面时，其效果最佳。在扩大范围之前，需记录一份理想状态下的运行日志、一个故障案例以及回滚说明。同时文档化正常流程与恢复流程。重试机制、人工审核环节以及错误处理都是产品本身的一部分，而非后续需要补充的内容。保持数据结构的层次简单且类型明确，嵌套的数据结构会掩盖具体是哪个节点修改了哪个字段，还会导致中断后无法继续处理。将测试阶段视为输入与经过验证的输出之间的契约，为相关工件命名，明确成功标准，绝不允许出现无声无息的半完成状态。

生产环境

在生产阶段，应在修改代码之前明确输入参数、各步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。除了功能结果外，还需记录执行时间以及令牌或查询成本。提前了解这些成本可以避免在系统从演示环境过渡到共享环境时出现意外账单。对于那些会耗费资金或修改生产数据的操作，必须经过人工审批。仅靠编译时的配置并不足以确保业务的完整性。

真正重要的指标

在“真正重要的指标”阶段，应在修改代码之前明确输入参数、该步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。 配置信息应置于应用程序代码之外。环境文件、密钥存储和功能标志应集中存放于一个位置，以便操作人员无需查看整个流程即可进行审计。 对于涉及资金支出或修改生产数据的操作，必须经过人工审批。编译时的连接方式并不等同于业务流程的完整性。

现代工具生态

在“现代工具环境”阶段，修改代码之前需明确输入参数、该步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。 需同时记录正常流程与异常恢复路径。重试机制、人工审核环节以及错误处理都是产品本身的组成部分，而非后续需要补充的功能。 在网关处进行身份验证，在数据层再次授权。仅凭承载令牌并不足以界定租户边界。 在“现代工具环境”阶段，修改代码之前需明确输入参数、该步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。 应将此阶段视为输入参数与经过验证的输出结果之间的契约。为相关工件命名，明确成功判定标准，杜绝无声的半完成状态。

生产环境就绪检查清单

在完成生产环境就绪检查清单的阶段时，首先需明确相关约定：所需输入、成功标志以及部分失败时的处理方式。这样的检查清单能确保后续的代码修改保持透明。 在功能结果旁记录执行时间以及令牌或查询成本。提前了解成本情况，可避免在系统从演示环境过渡到共享环境时出现意外费用。 在耗时较高的步骤之后设置检查点。当操作员重新尝试后续节点时，恢复流程不应再次收取相同的LLM调用费用。

架构设计

在架构设计阶段，首先需明确相关约定：所需的输入参数、成功信号以及部分失败时的处理方式。这样的清单能确保后续的代码修改保持一致性。 配置信息应与应用程序代码分开存放。环境文件、密钥存储以及功能开关应集中管理，以便操作人员无需查看整个系统结构即可进行审计。 在耗时较高的步骤之后设置检查点。当操作人员重新执行后续节点时，恢复流程不应再次调用相同的大型语言模型。

可观测性

在处理可观测性阶段时，首先需明确相关约定：所需的输入参数、成功标志，以及部分失败时的处理方式。这份清单能确保后续的代码修改保持一致性。 同时记录正常流程与故障恢复流程。重试机制、人工审核环节以及死信处理都是产品功能的一部分，而非后续需要补充的内容。 在成本较高的操作之后设置检查点。当操作员重新尝试某个节点时，恢复流程不应再次调用相同的大型语言模型接口。 在处理可观测性阶段时，首先需明确相关约定：所需的输入参数、成功标志，以及部分失败时的处理方式。这份清单能确保后续的代码修改保持一致性。 将此阶段视为输入与经过验证的输出之间的契约。为相关成果命名，定义成功判定标准，杜绝无声的半完成状态。

评估

将评估阶段视为可度量的对象来处理，效果最佳。在扩大范围之前，先记录一个成功的案例、一个失败案例以及回滚说明。在功能结果旁同时记录执行时间以及令牌或查询成本。提前了解成本情况，可避免在从演示环境过渡到共享环境时出现意外费用。要保持图结构的层次简单且类型明确，嵌套的数据块会掩盖是哪个节点修改了哪个字段，还会在出现中断后导致流程无法继续。

安全性

将安全阶段视为可度量的对象来处理时，其效果最佳。在扩大范围之前，先记录一份完美的操作日志、一个故障案例以及回滚说明。 将配置与应用程序代码分开。环境文件、密钥存储和功能开关应集中存放于一处，这样操作人员无需查看整个结构就能进行审计。 保持数据结构的层次简单且类型明确。嵌套的数据块会掩盖是哪个节点修改了哪个字段，还会在出现中断后导致流程无法继续。

可靠性

将可靠性阶段视为可度量的对象来处理时，其效果最佳。在扩大范围之前，需记录一份理想状态下的完整日志、一个故障案例以及回滚说明。 同时记录正常流程与恢复流程。重试机制、人工审核环节以及错误处理都属于产品本身的组成部分，而非后续需要补充的内容。 保持数据结构的层次简单且类型明确。嵌套的数据结构会掩盖具体是哪个节点修改了哪个字段，从而导致中断后无法继续处理。 将可靠性阶段视为输入与经过验证的输出之间的契约。为相关文档命名，明确成功标准，绝不允许出现无声无息的半完成状态。

结论

在结论阶段，应在修改代码之前明确输入参数、该步骤的负责人以及终止标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。除了功能结果外，还需记录执行时间以及令牌或查询成本。提前了解这些成本可以避免在从演示环境过渡到共享环境时出现意外费用。对于那些会消耗资金或修改生产数据的操作，必须经过人工审批。仅靠编译时的配置并不足以确保业务的完整性。

操作检查清单

在操作检查清单阶段，同样需要在修改代码之前明确输入参数、该步骤的负责人以及终止标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。

应优先选择小型、可测试的单元，而非庞大的脚本。当某个步骤出错时，故障应指向单一责任点，而非复杂的流程链。

对于涉及资金支出或修改生产数据的环节，必须经过人工审批。编译时的连接方式并不能保证业务的完整性。

在关注质量的同时，还要跟踪成本和延迟。虽然性能稍差，但成本降低10倍的方案可能是适合生产环境的最佳选择。

需锁定依赖版本的编号，并记录用于运行演示的镜像摘要。可重复性比经验知识更为重要。

配置信息应与应用程序代码分开存放。环境文件、密钥存储以及功能开关都应集中管理，以便操作人员无需查看整个系统结构即可进行审计。

在推广该技术栈之前，应先冻结版本，为关键流程记录标准输出日志，并明确回滚步骤。共享环境需要设置速率限制、租户验证机制，以及负责密钥轮换的明确责任人。与其展示花哨的一次性演示，不如注重扎实的可靠性。

a68934ae62f9的批处理说明：不要将提供商密钥放入代码仓库，为每个会话设置令牌使用上限，并将日志存储在评估用示例文件旁边，以便后续更换模型时仍能保持数据可比性。