《实用笔记：自动化智能体评估与优化》：来自Clever

以下笔记为“自动化智能体评估与优化：从巧妙提示到可控改进”提供了一条实用路径。重点在于契约、校验以及可直接插入的代码占位符，而非动机性阐述。 在完成概览阶段时，首先写下契约内容：所需输入、成功信号以及部分失败时的处理方式。这样的清单能确保后续的代码修改保持一致性。 将此阶段视为输入与经过验证的输出之间的契约。为相关成果命名，明确成功校验标准，并杜绝无声的半完成状态。

核心脉络：以评估作为核心控制循环

将“共同线索评估”阶段视为可度量的指标时，其效果最佳。在扩大范围之前，先记录一份优秀的测试案例、一个失败案例以及回滚说明。在功能结果旁同时记录执行时间以及令牌或查询成本。提前了解成本情况，可避免在从演示环境过渡到共享环境时出现意外账单。为每轮及每次会话设定令牌预算，因为智能工具会大量消耗上下文资源，设置上限能防止演示过程变成意外收费的源头。

为何这个问题日益重要

将“为何会出现此问题”这一阶段视为可测量的对象来处理效果最佳。在扩大范围之前，先记录一份典型的成功案例、一个故障实例以及回滚说明。 应将配置与应用程序代码分开。环境文件、密钥存储和功能开关应集中存放于一处，这样操作人员无需查看整个系统结构即可进行审计。 为每轮对话和每次会话设定预算令牌限制。智能工具往往会大量消耗上下文资源，设置上限可避免演示过程突然产生额外费用。

优化技术的主要类别

将舞台演出的主要流程视为可度量的对象来处理效果最佳。在扩大范围之前，先记录一个成功的案例、一个失败案例以及回滚说明。同时记录正常流程与恢复流程的细节。重试机制、人工审核环节以及错误处理都是产品本身的一部分，而非后续需要补充的内容。为每轮对话和每次会话设定预算额度。智能工具会大量消耗上下文资源，设置上限可避免演示过程变成意外的费用账单。

1. 使用DSPy、MIPRO和COPRO进行程序级优化

将程序级优化视为可度量的对象时，分阶段进行优化效果最佳。在扩大范围之前，先记录一个成功的案例、一个失败案例以及回滚说明。 优先选择小型且可测试的单元，而非庞大的脚本。当某一步骤失败时，故障应能指向单一责任模块，而非复杂的流程链。 为每轮及每次会话设定token预算。智能工具往往会过度扩展上下文，设置上限可避免演示过程变成意外的费用账单。

2. 使用TextGrad进行自然语言梯度式优化

将两个自然语言梯度式优化阶段视为可测量的模型表面，效果最佳。在扩大范围之前，先收集一份理想的转录结果、一个失败案例以及回滚说明。把这一阶段视为输入与经过验证的输出之间的契约，为输出结果命名、明确成功标准，绝不允许出现无声无息的半完成状态。需为每轮对话及每次会话设定token预算，因为智能工具会大量消耗上下文，设置上限可避免演示过程突然产生额外费用。

3. 基于失败的适应性调整与反思

以可度量的指标作为依据，三阶段失败驱动型适配方法效果最佳。在扩大范围之前，先记录一份最优结果文本、一个失败案例以及回滚说明。在功能结果旁同时记录处理时间以及令牌或查询成本。提前了解成本情况，就能避免在从演示环境过渡到共享环境时出现意外账单。为每轮及每次会话设定令牌预算，因为智能代理工具会大量消耗上下文资源，设置上限可防止演示过程产生意外费用。

4. 基于OPRO的LLM优化器搜索

将四阶段LLM作为优化器的搜索方法视为可度量的模型时效果最佳。在扩大范围之前，先记录一份理想的处理结果、一个失败案例以及回滚说明。 配置应置于应用程序代码之外。环境文件、密钥存储和功能开关应集中存放，以便操作人员无需查看整个系统结构即可进行审计。 为每轮对话和每次会话设定token预算。智能工具往往会大量消耗上下文信息，设置上限可避免演示过程变成意外的费用账单。

实用分类法

将“实用分类法”阶段视为可度量的工作面时，其效果最佳。在扩大范围之前，需记录一份理想案例、一个故障案例以及回滚说明。 同时记录正常流程与恢复流程。重试机制、人工审核环节以及错误处理都是产品的一部分，而非后续需要补充的内容。 为每轮对话和每次会话设定token预算。智能工具会大量消耗上下文资源，设置上限可避免演示过程变成意外的费用账单。 将“实用分类法”阶段视为输入与经过验证的输出之间的契约。为相关文档命名，明确成功标准，绝不允许出现无声的、不完整的处理结果。

按优化维度

在“按优化位置”阶段，修改代码之前需明确输入参数、该步骤的负责人以及终止标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。应在功能结果旁记录执行时间以及令牌或查询成本。提前了解成本情况，可避免在从演示环境过渡到共享环境时出现意外费用。当下一步操作为编写代码或调用工具时，优先选择具有架构验证的结构化输出，而非自由形式的文本。

按优化目标

在“通过优化达成目标”阶段，应在修改代码之前明确输入参数、该步骤的负责人以及终止标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。 配置信息应置于应用程序代码之外。环境文件、密钥存储以及功能标志应集中存放于一个位置，这样操作人员无需查看整个系统结构即可进行审核。 当后续步骤为代码执行或工具调用时，应优先使用具有架构验证的结构化输出，而非自由形式的文本。

企业设计原则：将评估与优化分开

在企业设计原则阶段，应在修改代码之前明确输入参数、该步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新执行该步骤，而无需猜测隐藏状态。 需同时记录正常流程与异常恢复路径。重试机制、人工审核环节以及错误处理都是产品的一部分，而非后续需要补充的内容。 当下一步操作为代码编写或工具调用时，应优先使用具有结构化格式且经过模式验证的输出，而非自由形式的文字描述。 在企业设计原则阶段，应在修改代码之前明确输入参数、该步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新执行该步骤，而无需猜测隐藏状态。 应将此阶段视为输入与经过验证的输出之间的契约。为相关成果命名，明确成功判定标准，杜绝无声的半完成状态。

第一层：评估框架

在处理第一层评估框架阶段时，首先明确合同条款：所需输入、成功信号以及部分失败时的处理方式。这样的检查清单能确保后续的代码修改保持一致性。 在功能结果旁记录执行时间以及令牌或查询成本。提前了解成本情况，可避免在从演示环境过渡到共享环境时出现意外费用。 缓存稳定的系统指令和工具架构。重复发送相同的开头信息是导致资源浪费的常见原因。

第二层：优化框架

在处理第二层优化架构阶段时，首先需明确相关约定：所需的输入参数、成功信号以及部分失败时的处理方式。这样的检查清单能确保后续的代码修改不会偏离原有设计。 应将配置信息与应用程序代码分开存放。环境文件、密钥存储以及功能开关应集中于一个位置，这样操作人员无需查看整个架构就能进行审计。 需缓存稳定的系统指令和工具结构。重复发送相同的起始信息是导致资源浪费的常见原因。

更具选择性的库集合

在处理“更精选的集合”阶段时，首先需写下契约：所需的输入参数、成功信号以及部分失败时的处理方式。这份清单能确保后续的代码修改保持一致性。 同时记录正常流程与异常恢复路径。重试机制、人工审核环节以及死信处理都是产品本身的组成部分，而非后续的优化工作。 缓存系统中稳定的指令和工具架构。重复发送相同的报文头是导致资源浪费的常见原因。 在处理“更精选的集合”阶段时，首先需写下契约：所需的输入参数、成功信号以及部分失败时的处理方式。这份清单能确保后续的代码修改保持一致性。 将此阶段视为输入与经过验证的输出之间的契约。为相关产物命名，明确成功判定标准，绝不允许出现无声无息的部分完成情况。

推荐的核心集合

将推荐的核心集阶段视为可测量的对象使用效果最佳。在扩大范围之前，先记录一个成功的案例、一个失败案例以及回滚说明。在功能结果旁同时记录执行时间以及令牌或查询成本。提前了解成本情况，就能避免从演示环境过渡到共享环境时出现意外账单。为每轮及每次会话设定令牌预算。智能代理工具会大量消耗上下文资源，设置上限可防止演示环境变成令人意外的收费来源。

1. DSPy作为主要优化框架

将1 DSPy作为处理平台时，若能将其视为可测量的界面，则效果最佳。在扩大范围之前，先记录一个成功的案例、一个失败案例以及回滚说明。 应将配置置于应用程序代码之外。环境文件、密钥存储和功能开关应集中存放于一处，这样操作人员无需查看整个系统结构即可进行审计。 为每轮及每次会话设定令牌预算。智能工具往往会大量消耗上下文资源；设置上限可避免演示过程突然产生额外费用。

2. 反射作为标准化的运行时模式，而非必选的独立依赖项

将“2次反思”这一阶段视为可测量的界面来处理时效果最佳。在扩大范围之前，需记录一份理想案例、一个故障案例以及回滚说明。 同时记录正常流程与恢复流程。重试机制、人工审核环节以及死信处理都是产品的一部分，而非后续需要补充的内容。 为每轮对话和每次会话设定预算额度。智能工具会大量消耗上下文资源，设置上限可避免演示过程变成意外的费用账单。 将“2次反思”这一阶段视为输入与经过验证的输出之间的契约。为相关成果命名，明确成功标准，绝不允许默默完成部分任务。

3. TextGrad作为高级实验功能

以3个TextGrad阶段为例，在修改代码之前需明确输入内容、该步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。应在功能结果旁记录执行时间以及令牌或查询成本。提前显示成本信息，可避免在从演示环境过渡到共享环境时出现意外费用。当下一步操作为编写代码或调用工具时，应优先选择具有架构验证的结构化输出，而非自由形式的文本。

将降级处理作为平台标准

在将“降低优先级”作为平台阶段使用时，应在修改代码之前明确输入内容、该步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。 配置应置于应用程序代码之外。环境文件、密钥存储以及功能标志应集中存放于一个位置，以便操作人员无需查看整个流程即可进行审计。 当下一步是代码或工具调用时，优先使用具有架构验证的结构化输出，而非自由形式的文本。

OPRO

在OPRO阶段，修改代码之前需明确输入参数、该步骤的负责人以及终止标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。 需同时记录正常流程与异常恢复路径。重试机制、人工审核环节以及错误处理都是产品本身的组成部分，而非后续需要补充的功能。 当下一步操作为代码编写或工具调用时，应优先使用具有结构化格式且经过模式验证的输出，而非自由形式的文本。 在OPRO阶段，修改代码之前需明确输入参数、该步骤的负责人以及终止标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。 应将此阶段视为输入与经过验证的输出之间的契约。为相关成果命名，明确成功判定标准，杜绝无声的半完成状态。

企业内部应构建哪些功能

在“应构建什么”阶段工作时，首先写下相关规范：所需的输入参数、成功标志以及部分失败时的处理方式。这样的清单能确保后续的代码修改保持一致性。 在功能结果旁记录执行时间以及令牌或查询成本。提前了解成本情况，可避免在从演示环境过渡到共享环境时出现意外费用。 缓存稳定的系统指令和工具结构。重复发送相同的开头信息是导致资源浪费的常见原因。

拟议的内部框架：智能体质量与优化平台

在处理“拟议的内部框架代理”阶段时，首先需列出相关契约：所需输入、成功信号以及部分失败时的处理方式。这样的检查清单能确保后续的代码修改保持一致性。 应将配置信息与应用程序代码分开存放。环境文件、密钥存储以及功能开关应集中于一个位置，以便操作人员无需查看整个系统结构即可进行审计。 缓存系统中稳定的指令和工具架构。重复发送相同的开头信息是导致资源浪费的常见原因。

1. 评估 SDK

在完成1号评估SDK阶段的工作时，首先需明确相关约定：所需的输入参数、成功信号以及部分失败时的处理方式。这份清单能确保后续的代码修改保持一致性。 同时记录正常流程与异常恢复路径。重试机制、人工审核环节以及死信处理都是产品功能的一部分，而非后续需要补充的内容。 缓存系统中稳定的指令和工具架构。重复发送相同的报文是导致资源浪费的常见原因。 在完成1号评估SDK阶段的工作时，首先需明确相关约定：所需的输入参数、成功信号以及部分失败时的处理方式。这份清单能确保后续的代码修改保持一致性。 将此阶段视为输入与验证后输出之间的契约。为相关文件命名，定义成功判定标准，杜绝无声的半完成状态。

2. 优化服务

将“2优化服务阶段”视为可度量的对象来处理时，其效果最佳。在扩大范围之前，先记录一份理想的测试结果、一个故障案例以及回滚说明。在功能结果旁同时记录执行时间以及令牌或查询成本。提前了解成本情况，可避免在从演示环境过渡到共享环境时出现意外账单。为每轮及每次会话设定令牌预算。智能工具往往会大量消耗上下文资源，设置上限能防止演示环境变成令人意外的收费来源。

3. 运行时反射策略层

将运行时反射策略的三个阶段视为可度量的指标，效果最佳。在扩大范围之前，先记录一份理想的处理结果、一个失败案例以及回滚说明。 将配置置于应用程序代码之外。环境文件、密钥存储和功能开关应集中存放，以便操作人员无需查看全部内容即可进行审计。 为每轮对话和每次会话设定令牌预算。智能工具往往会大量消耗上下文资源，设置上限可避免演示过程变成意外的费用账单。

4. 提示词与策略注册表

将“4个提示与策略阶段”视为可度量的对象来处理效果最佳。在扩大范围之前，需记录一份理想案例、一个失败案例以及回滚说明。 同时记录正常流程与恢复流程。重试机制、人工审核环节以及错误处理都是产品的一部分，而非后续需要补充的内容。 为每轮对话和每次会话设定token预算。智能工具会大量消耗上下文，设置上限可避免演示过程变成意外的费用账单。 将“4个提示与策略阶段”视为输入内容与经过验证的输出结果之间的契约。为相关文档命名，明确成功标准，杜绝默默完成部分任务的情况。

5. 企业控制平面集成

在第五个企业控制平面阶段，修改代码之前需明确输入参数、该步骤的负责人以及完成标准。操作人员应能够从已知的检查点重新执行该步骤，而无需猜测隐藏状态。应在功能结果旁记录执行时间以及令牌或查询成本。提前了解成本情况，可避免在从演示环境过渡到共享环境时出现意外账单。当下一步操作为编写代码或调用工具时，宜采用带有架构验证的结构化输出形式，而非自由形式的文字描述。

面向开发者的简易运营模型

在“简单操作模型”阶段，应在修改代码之前明确输入内容、该步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。 配置信息应置于应用程序代码之外。环境文件、密钥存储以及功能标志应集中存放于一个位置，以便操作人员无需查看整个系统结构即可进行审核。 当下一步操作为代码编写或工具调用时，应优先使用具有架构验证的结构化输出，而非自由形式的文本。

推荐的采用路径

在“推荐采用路径”阶段，应在修改代码之前明确输入参数、该步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。 需同时记录正常流程和异常恢复流程。重试机制、人工审核环节以及错误处理都是产品本身的组成部分，而非后续需要补充的功能。 当下一步操作为代码编写或工具调用时，应优先使用具有结构化格式且经过模式验证的输出，而非自由形式的文字描述。

第一阶段：首先建立评估规范

在第一阶段的构建评估阶段，应在修改代码之前明确输入参数、该步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。相比冗长的脚本，更应采用小型且可测试的单元。当某个步骤失败时，故障原因应能指向单一责任模块，而非复杂的流程链。如果后续步骤是代码调用或工具调用，相比自由形式的文字描述，更有结构化的、经过模式验证的输出更为合适。

第二阶段：使用DSPy实现离线优化标准化

在第二阶段的标准化离线阶段，应在修改代码之前明确输入内容、该步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。应将此阶段视为输入与已验证输出之间的契约：为相关成果命名、定义成功判定标准，并拒绝默许的半完成状态。当下一步操作为代码编写或工具调用时，优先采用具有架构验证的结构化输出形式，而非自由形式的文字描述。

第三阶段：添加受限的运行时反射功能

在第三阶段的“添加边界”阶段，应在修改代码之前明确输入参数、该步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。应在功能结果旁记录执行时间以及令牌或查询成本。提前了解成本情况，可避免在从演示环境过渡到共享环境时出现意外费用。当下一步操作为编写代码或调用工具时，优先选择具有架构验证的结构化输出，而非自由形式的文本。

第四阶段：有选择地引入高级优化模式

在进入第四阶段的进阶阶段时，应在修改代码之前明确输入参数、该步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新运行该步骤，而无需猜测隐藏状态。 配置信息应置于应用程序代码之外。环境文件、密钥存储以及功能标志应集中存放于一个位置，以便操作人员无需查看整个流程即可进行审计。 当下一步操作为代码编写或工具调用时，应优先使用具有架构验证的结构化输出，而非自由形式的文本描述。

主要风险与故障模式

在“关键风险与故障”阶段，修改代码之前需明确输入参数、该步骤的负责人以及终止标准。操作人员应能够从已知的检查点重新执行该步骤，而无需猜测隐藏状态。 需同时记录正常流程与故障恢复流程。重试机制、人工审核环节以及错误处理都是产品本身的组成部分，而非后续需要补充的内容。 当下一步操作为代码编写或工具调用时，应优先使用具有结构化格式且经过模式验证的输出，而非自由形式的文本。 在“关键风险与故障”阶段，修改代码之前需明确输入参数、该步骤的负责人以及终止标准。操作人员应能够从已知的检查点重新执行该步骤，而无需猜测隐藏状态。 应将此阶段视为输入与经过验证的输出之间的契约。为相关成果命名，明确成功判定标准，杜绝无声的半完成状态。

指标过拟合

在处理度量过拟合问题时，首先写下相关规范：所需输入、成功信号以及部分失败时的处理方式。这样的清单能确保后续的代码修改保持一致性。 在功能结果旁记录执行时间以及令牌或查询成本。提前了解成本情况，可避免在从演示环境过渡到共享环境时出现意外费用。 缓存稳定的系统指令和工具结构。重复发送相同的开头信息是造成资源浪费的常见原因。

评分标准的脆弱性

在处理“脆弱”阶段时，首先写下相关约定：所需的输入参数、成功标志以及部分失败时的处理方式。这样的清单能确保后续的代码修改保持透明可溯。 将配置信息与应用程序代码分开存放。环境文件、密钥存储以及功能开关应集中管理，这样操作人员无需查看整个系统结构即可进行审计。 缓存系统中稳定的指令和工具架构。重复发送相同的开头信息是导致资源浪费的常见原因。

会损害系统质量的本地优化措施

在处理那些会损害阶段运行的本地改进时，首先需明确相关契约：所需的输入参数、成功信号以及部分失败时的处理方式。这样的检查清单能确保后续的代码修改保持一致性。 同时记录正常流程与异常恢复路径。重试机制、人工审核环节以及错误消息处理都是产品功能的一部分，而非后续的优化工作。 缓存系统中稳定的指令和工具结构。重复发送相同的开头信息是导致资源浪费的常见原因。 在处理那些会损害阶段运行的本地改进时，首先需明确相关契约：所需的输入参数、成功信号以及部分失败时的处理方式。这样的检查清单能确保后续的代码修改保持一致性。 应将此阶段视为输入与经过验证的输出之间的契约。为相关产物命名，定义成功判定标准，绝不允许出现无声无息的部分完成情况。

会增添干扰的反馈循环

将用于添加舞台效果的反射循环视为可测量的表面来处理效果最佳。在扩大范围之前，先记录一个成功的案例、一个失败案例以及回滚说明。在功能结果旁同时记录执行时间以及令牌或查询成本。提前了解成本情况，就能避免在从演示环境过渡到共享环境时出现意外账单。为每轮及每次会话设定令牌预算。智能工具会大量消耗上下文资源，设置上限可防止演示过程变成意外收费的源头。

组织结构碎片化

将组织碎片化阶段视为可测量的指标来处理效果最佳。在扩大范围之前，先记录一份典型的成功案例、一个失败案例以及回滚说明。 应将配置与应用程序代码分开。环境文件、密钥存储和功能开关应集中存放于一处，这样操作人员无需查看整个系统结构即可进行审计。 为每轮对话和每次会话设定预算额度。智能工具往往会大量消耗上下文资源，设置上限可避免演示过程变成意外的费用账单。

结论

将“结论阶段”视为可度量的工作面时，其效果最佳。在扩大范围之前，需记录一份理想的处理流程、一个故障案例以及回滚说明。 同时记录正常流程与恢复流程。重试机制、人工审核环节以及错误处理方式都是产品本身的一部分，而非后续需要补充的内容。 为每轮对话和每次会话设定预算额度。智能工具往往会大量消耗上下文资源，设置上限可避免演示过程变成意外的费用账单。 将“结论阶段”视为输入与已验证输出之间的契约。为相关文档命名，明确成功标准，绝不允许出现无声无息的半完成状态。

操作检查清单

在操作检查清单阶段，应在修改代码之前明确输入内容、该步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新执行该步骤，而无需猜测隐藏状态。

优先选择小型、可测试的单元，而非庞大的脚本。当某个步骤失败时，故障应指向单一责任点，而非复杂的流程链。

如果后续步骤是代码或工具调用，应优先使用具有结构化格式且经过模式验证的输出，而非自由形式的文本。

在成本较高的步骤之后设置检查点。当操作人员重新尝试后续节点时，恢复流程不应再次计费相同的LLM调用费用。

在修改提示词或模型之前，先锁定一个黄金版本。同时更改系统和评估标准会掩盖功能退化问题。

在预算允许的情况下，应在持续集成过程中使用测试用例而非真实的付费API来执行针对关键路径的冒烟测试。

在推广该技术栈之前，应先冻结版本，为关键流程记录标准输出日志，并明确回滚步骤。共享环境需要设置速率限制、租户验证机制，以及负责密钥轮换的明确责任人。与其展示花哨的一次性演示，不如注重扎实的可靠性。

b3ebed86106d 的批量处理说明：不要将提供商密钥放入代码仓库，为每个会话设置令牌使用上限，并将日志存储在评估用示例文件旁边，以便后续模型更换时仍能保持对比性。