首页 / 文章 / 实用笔记:我的测试脚本不再响应的那一天——以及我的代理们

实用笔记:我的测试脚本不再响应的那一天——以及我的代理们

《实用笔记》操作指南:当我的测试脚本不再响应——以及我的代理程序:适用于采用该模式的团队的合同、检查项与即插即用代码模块。

2024 词

以下内容围绕“我的测试脚本不再响应——而我的自动化代理开始思考:——”这一主题,梳理出一条实用的处理路径。重点在于合同规范、检查机制以及可插入的代码占位符,而非激励性表述。 在完成概览阶段时,首先明确合同规范:所需的输入参数、成功信号以及部分失败时的处理方式。这样的检查清单能确保后续的代码修改保持一致性。 同时记录正常流程与故障恢复路径。重试机制、人工干预环节以及错误处理方式都是产品本身的一部分,而非后续的优化内容。

恍然大悟的时刻

“点击瞬间”阶段若被视为可度量的对象,效果会最佳。在扩大范围之前,先记录一个成功的案例、一个失败案例以及回滚说明。 相较于庞大的脚本,应优先选择小型且可测试的单元。当某一步骤失败时,故障应能指向单一责任主体,而非复杂的流程链。 保持图表状态简洁且具有类型定义。嵌套的数据块会掩盖哪个节点修改了哪个字段的信息,还会在流程中断后导致无法继续执行。

今日的自动化与明日的自动化

将“今日自动化”与“自动化阶段”视为可度量的层面来处理效果最佳。在扩大范围之前,先记录一份完美的测试用例、一个故障案例以及回滚说明。 把这一阶段视为输入与已验证输出之间的契约。为相关文档命名,明确成功标准,绝不允许出现无声的半完成状态。 保持图表状态的简洁性与类型一致性。嵌套的数据块会掩盖是哪个节点修改了哪个字段,且在中断后会导致无法继续处理。

为何这对质量保障尤为重要

将“为何这对阶段测试很重要”视为一个可度量的指标来处理,效果最佳。在扩大范围之前,先记录一份理想的操作日志、一个故障案例以及回滚说明。 在功能结果旁同时记录执行时间以及令牌或查询成本。提前了解成本情况,就能避免在从演示环境过渡到共享环境时出现意外账单。 保持图表状态简洁且具有类型定义。嵌套的数据块会掩盖哪个节点修改了哪个字段的信息,还会在中断后导致流程无法继续。 将“为何这对阶段测试很重要”视为一个可度量的指标来处理,效果最佳。在扩大范围之前,先记录一份理想的操作日志、一个故障案例以及回滚说明。 需同时记录正常流程和恢复流程。重试机制、人工审核环节以及死信处理都是产品的一部分,而非后续需要补充的功能。

深入探秘:架构设计

在“深入内部”阶段,应在修改代码之前明确输入参数、该步骤的负责人以及终止标准。操作人员应能够从已知的检查点重新运行该步骤,而无需猜测隐藏状态。 相较于庞大的脚本,更应采用小型且可测试的单元。当某个步骤失败时,故障原因应能指向单一责任点,而非复杂的流程链。 对于涉及资金支出或修改生产数据的操作,必须经过人工审批。编译时的连接方式并不等同于业务功能的完整性。

User / Goal
     ↓
Agentic AI Layer (Reasoning + Planning)
     ↓
   ┌──────────┬──────────┬──────────┐
   │ Web Agent│ API Agent│ DB Agent │
   └──────────┴──────────┴──────────┘
     ↓            ↓            ↓
  Browser       APIs       Database
     ↓            ↓            ↓
        Validation / Result

引入MCP:缺失的连接纽带

在“Enter MCP The Missing”阶段,应在修改代码之前明确输入参数、该步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新运行该步骤,而无需猜测隐藏状态。 将此阶段视为输入与经过验证的输出之间的契约。为相关成果命名,定义成功判定标准,并拒绝默许的半完成状态。 在网关处进行身份验证,在数据层再次授权。仅凭承载令牌并不足以界定租户边界。

作为能力的 API 测试

在将 API 测试视为一个流程阶段时,应在修改代码之前明确输入参数、该步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新运行该步骤,而无需猜测隐藏状态。 在功能测试结果旁记录执行时间以及令牌或查询成本。提前了解成本情况,可避免在流程从演示环境转向共享环境时出现意外账单。 对于会产生费用或修改生产数据的操作,必须经过人工审批。编译时的配置并不等同于业务功能的完整性。 在将 API 测试视为一个流程阶段时,应在修改代码之前明确输入参数、该步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新运行该步骤,而无需猜测隐藏状态。 需同时记录正常流程和异常恢复流程。重试机制、人工审核环节以及错误处理都是产品不可或缺的部分,而非后续需要补充的内容。

>
Testing Objective → API Agent → Send Request → Analyze Response
        → Validate Result → Pass Result to Workflow

为何数据库代理是默默无闻的英雄

在处理“为何需要数据库代理”这一阶段时,首先列出相关规范:所需输入、成功标志以及部分失败时的处理方式。这样的检查清单能确保后续的代码修改保持一致性。 建议使用小型、可测试的单元而非庞大的脚本。当某个步骤失败时,故障应指向单一责任模块,而非复杂的流程链。 在成本较高的步骤之后设置检查点。当操作员重新尝试后续节点时,恢复流程不应再次调用相同的大型语言模型。

UI → API → Business Logic → Database

网页自动化:从孤立脚本到团队协作工具

在处理“从孤立状态开始的网络自动化”阶段时,首先需明确相关约定:所需的输入参数、成功信号,以及部分失败时的处理方式。这样的检查清单能确保后续的代码修改始终符合约定。 将此阶段视为输入与验证后输出之间的契约。为相关成果命名,定义成功判定标准,杜绝无声的半完成状态。 在耗时较高的步骤之后设置检查点。当操作员重新尝试后续节点时,恢复流程不应再次调用相同的大型语言模型。

Testing Goal → Agent → Web Interaction → Observation
     → Decision → Validation

内存:让自动化具备记忆能力

在通过记忆教学自动化工具进行阶段开发时,首先需明确相关约定:所需输入、成功信号以及部分失败时的处理方式。这份清单能确保后续的代码修改保持一致性。 在功能结果旁记录执行时间以及令牌或查询成本。提前了解成本情况,可避免在系统从演示环境过渡到共享环境时出现意外费用。 在成本较高的步骤之后设置检查点。当操作员重新尝试后续节点时,恢复流程不应再次收取相同的LLM调用费用。 在通过记忆教学自动化工具进行阶段开发时,首先需明确相关约定:所需输入、成功信号以及部分失败时的处理方式。这份清单能确保后续的代码修改保持一致性。 需同时记录正常流程与故障恢复流程。重试机制、人工审核环节以及死信处理都是产品本身的组成部分,而非后续需要补充的功能。

Test Objective → Current Context → Previous Actions
     → Agent Decision → New Action → Updated Context

这不是什么——因为诚实很重要

“这不是什么”阶段若能作为可度量的框架来使用效果最佳。在扩大范围之前,先记录一份优秀的示例、一个失败案例以及回滚说明。 优先选择小型且可测试的单元,而非庞大的脚本。当某个步骤出错时,故障应指向单一责任点,而非复杂的流程链。 保持图表状态简洁且具有类型定义。嵌套的数据块会掩盖哪个节点修改了哪个字段的信息,还会在中断后导致流程无法继续。

仓库中实际包含的内容

“实际内容是什么”阶段若被视为可度量的界面,则效果最佳。在扩大范围之前,先记录一份优秀的案例、一个失败案例以及回滚说明。 将此阶段视为输入与已验证输出之间的契约。为相关成果命名,明确成功标准,绝不允许默默地仅完成部分工作。 保持图表状态简洁且具有类型定义。嵌套的数据块会掩盖哪个节点编写了哪个字段的信息,还会在中断后导致无法继续处理。

AgenticAIAutoGen/
│
├── Framework/
├── basics1.py → basics6.py     → progressive foundational examples
├── scenario1.py                 → applied automation scenario
├── selectorGroup.py             → capability grouping/selection logic
├── web_surfer.py                → web interaction experimentation
├── memory.json                  → agent memory/context storage
└── .gitignore

谁应该关注此内容

“谁应该关心”阶段作为可度量的对象来处理时效果最佳。在扩大范围之前,需记录一份理想的操作流程、一个失败案例以及回滚说明。 在功能结果旁同时记录执行时间以及令牌或查询成本。提前了解成本情况,可避免在从演示环境过渡到共享环境时出现意外费用。 保持图表状态简洁且类型明确。嵌套的数据块会掩盖哪个节点修改了哪个字段,还会在中断后导致流程无法继续。 “谁应该关心”阶段作为可度量的对象来处理时效果最佳。在扩大范围之前,需记录一份理想的操作流程、一个失败案例以及回滚说明。 需同时记录正常流程与恢复流程。重试机制、人工审核环节以及死信处理都是产品的一部分,而非后续需要补充的内容。

下一步方向

在“下一步去向”阶段,应在修改代码之前明确输入参数、该步骤的负责人以及终止标准。操作人员应能够从已知的检查点重新运行该步骤,而无需猜测隐藏状态。 优先选择小型、可测试的单元,而非庞大的脚本。当某个步骤失败时,故障应指向单一责任点,而非复杂的流程链。 对于涉及资金支出或修改生产数据的操作,必须经过人工审批。编译时的逻辑连接并不等同于业务功能的完整性。

核心要点

在“真正核心环节”阶段,应在修改代码之前明确输入参数、该步骤的负责人以及结束标准。操作人员应能够从已知的检查点重新运行该步骤,而无需猜测隐藏状态。 将此阶段视为输入与经过验证的输出之间的契约。为相关成果命名,定义成功判定标准,杜绝默许的半完成状态。 对于涉及资金支出或修改生产数据的操作,必须经过人工审批。编译时的连接方式并不等同于业务上的完整性。

探索项目

在“探索项目”阶段,应在修改代码之前明确输入参数、该步骤的负责人以及终止标准。操作人员应能够从已知的检查点重新运行该步骤,而无需猜测隐藏状态。应在功能结果旁记录执行时间以及令牌或查询成本。提前了解成本情况,可避免在从演示环境过渡到共享环境时出现意外费用。对于会耗费资金或修改生产数据的操作,必须经过人工审批。编译时的配置并不等同于业务功能的完整性。在“探索项目”阶段,应在修改代码之前明确输入参数、该步骤的负责人以及终止标准。操作人员应能够从已知的检查点重新运行该步骤,而无需猜测隐藏状态。需同时记录正常流程和异常恢复流程。重试机制、人工审核环节以及错误处理措施都是产品不可或缺的部分,而非后续需要补充的内容。

操作检查清单

在制定操作检查清单时,需明确输入参数、各步骤的负责人以及完成标准,然后再进行代码修改。操作人员应能够从已知的检查点重新执行相应步骤,而无需猜测隐藏状态。

将配置信息与应用程序代码分开。环境文件、密钥存储以及功能开关应集中存放于一个位置,以便操作人员无需查看全部内容即可进行审计。

对于涉及资金支出或修改生产数据的操作,必须经过人工审批。仅靠编译时的配置并不足以保证业务的完整性。

编写简短的操作手册:说明如何轮换密钥、如何清空队列、以及如何回滚上一次的数据导入操作。

同时记录正常流程和故障恢复流程。重试机制、人工审核环节以及死信处理都是产品不可或缺的部分,而非后续需要补充的功能。

对于涉及资金支出或更改生产数据的操作,必须经过人工审批。编译时的配置并不等同于业务功能的完整性。

在推广该技术栈之前,应先冻结版本,为关键流程记录完整的操作日志,并明确回滚步骤。共享环境需要设置速率限制、租户验证机制,以及明确的密钥轮换负责人。与其追求花哨的一次性演示,不如注重扎实的可靠性。

关于 9ecb23de3967 的批注:请将提供商密钥存放在仓库之外,为每个会话设置令牌使用上限,并将操作日志与评估用配置文件放在一起,以便后续模型更换时仍能保持数据可比性。