从脚本到目标:适用于Web、API和数据库领域的质量保障自动化人工智能。
用于质量检测的智能代理AI:以目标而非步骤为导向的测试自动化技术,配备网页、API和数据库代理,以MCP作为连接纽带,具备内存功能及其明确的限制。
来源: The Day My Test Scripts Stopped Listening — And My Agents Started Thinking : —
当测试自动化不再被告知该点击哪些按钮,而是被要求达到何种结果时,会发生什么变化?这个问题推动了一项针对质量工程领域的代理型人工智能的小型开源实验,本文将详细介绍该实验的尝试内容、其优势以及局限性。
寻常的周二
你启动回归测试套件,绿色的对勾依次出现。大家都松了口气,但最终还是会有漏洞被遗漏,因为脚本只能按照指令的要求、以指定的顺序执行操作。
人们一直在思考的问题是:自动化工具能否具备推理能力而不仅仅是重复指令?这里没人承诺会有奇迹发生。关键在于探究人工智能代理能否在不过分替代测试人员判断的情况下,为其提供辅助。
脚本驱动的自动化与目标驱动的自动化
如今大多数测试套件都遵循相同的流程:测试用例、脚本、执行、断言、报告。这种方式具有确定性、可预测性且安全,但同时也十分僵化、脆弱,对于脚本中未提及的内容毫无办法。基于脚本的测试套件就像在固定轨道上行驶的火车:在轨道未发生变化之前,它运行迅速且可靠。
而代理式版本则颠倒了这种顺序:
- 给代理一个测试目标,而非固定的脚本。
- 让代理自行决定需要执行哪些操作。
- 让代理根据实际情况选择工具(浏览器、API客户端、数据库等)。
- 让代理监控测试结果并调整后续操作。
- 让代理进行验证并生成报告。
这样一来,需求就从“运行这些预定义的步骤”变成了“这是目标,想办法达成它”。这更多是一种思维方式的转变,而非工具的更替。
为何质量保证非常适合
现代软件很少只存在于单一层次中。一个缺陷可能同时存在于用户界面、API和数据库中,只有同时检查这三者才能发现它。测试人员越来越需要具备系统工程师的思维方式,问题也从“按钮是否正常工作”转变为“整个分布式系统在真实环境下的表现如何”。
假设有一个代理能够围绕单一目标协调这些不同层次的工作,而非三个相互独立的模块。其设计结构如下:
- 一个用于控制浏览器的网页代理。
- 一个负责发送请求并分析响应的API代理。
- 一个用于检查后端数据的数据库代理。
- 一个负责规划并决定何时调用哪个代理的推理层。
- 一个将所有信息整合为可操作结果的验证层。
不必在脑海中拼凑三份报告,只需一个统一的结论即可。
架构草图
下方的流程仍在不断优化中。这只是一个实时实验,而非成熟的框架,实际的工程进展也极少能一蹴而就。
User / Goal
↓
Agentic AI Layer (Reasoning + Planning)
↓
┌──────────┬──────────┬──────────┐
│ Web Agent│ API Agent│ DB Agent │
└──────────┴──────────┴──────────┘
↓ ↓ ↓
Browser APIs Database
↓ ↓ ↓
Validation / Result
MCP作为连接纽带
模型上下文协议MCP是这一领域中值得深入探讨的部分。可以将其视为代理与实际功能之间的标准插头与插座,这样代理不仅能描述它要做什么,还能真正执行这些操作。
对于质量保障而言,这带来了以下优势:
- 将代理与真正的测试工具相连;
- 结构化的浏览器交互;
- 直接的API操作;
- 无需每次都编写新的自定义代码即可访问数据库;
- 持久化的记忆与上下文;
- 可重复使用的自动化工具库。
其工作流程变为:理解目标、选择功能、使用工具、观察结果、决定下一步行动。这与“第一步、第二步、第三步”的方式有显著不同。
API测试作为一种功能
API测试不会消失,但其形式正在发生变化。不再是永远运行相同检查的静态Postman集合,而是可以让代理执行以下操作:
- 根据既定目标发送请求;
- 超越仅匹配状态码的方式,在具体上下文中判断响应;
- 即时创建新的测试场景;
- 在需要跨层级深入分析故障时与其他代理协作。
Testing Objective → API Agent → Send Request → Analyze Response
→ Validate Result → Pass Result to Workflow
这是一种会考虑检测内容的 API 测试,而不仅仅是判断数值是否匹配。
数据库相关工具应得到更多认可
每位 SDET 都熟悉这样的情况:界面显示成功提示,API 返回 200 OK 状态,但数据库中的记录却从未被提交。除非有人直接查看数据,否则根本无法发现问题。
具备数据库认知能力的工具能够自动查询和验证测试数据,无需每次都由人工编写原始 SQL 即可检查后端,还能支持数据驱动及跨系统测试,并能捕获存在于各层之间的各类错误。
UI → API → Business Logic → Database
只有当所有四层同时经过验证时,缺陷才可能显现出来,而这正是协同式智能体发挥作用的地方。
浏览器只是众多工具之一
该示例项目包含一个 web_surfer.py 脚本,用于展示智能体在真实网络环境中的运作方式——它并非独立的脚本,而是整套功能中的一个组成部分。
Testing Goal → Agent → Web Interaction → Observation
→ Decision → Validation
浏览器不再是整个测试的载体,而只是当任务需要时代理会使用的工具。
为自动化赋予记忆功能
大多数自动化工具的记忆力如同金鱼一般,每次运行都从零开始。为解决这一问题,该项目会保存一个小的 memory.json 文件,其中记录了之前的操作、工作流状态、测试环境、相关观察结果以及以往的测试结果。
Test Objective → Current Context → Previous Actions
→ Agent Decision → New Action → Updated Context
具备上下文感知的自动化工具不会在每次运行时都以陌生人的身份对待系统,它会构建工作记忆,这更接近经验丰富的测试人员的操作方式。
它并非什么
关于人工智能的炒作确实让人感到疲惫,因此一些明确的说明很有帮助:
- 它并非“人工智能取代测试人员”。
- 它并非即插即用的测试机器人。
- 它目前还不是一个可用于生产环境的框架。
这其实是一项旨在探索推理、工具和记忆如何重塑质量保证领域的实验,同时也提醒我们,工程决策依然起着主导作用。其目标并非实现所有工作的自动化,而是实现智能化的自动化。
优秀的质量保证工作仍然依赖于风险分析、测试策略、领域知识、探索性测试、合理的自动化设计、可观测性以及人对测试结果的人工审核。这些自动化代理应作为更高效的合作伙伴,而非替代测试人员的思考能力。
仓库结构示意图
对于想要深入了解的人而言,这就是示例项目的结构。basics文件构成了基础框架,场景文件用于应用这些框架,选择器文件负责对功能进行分组和筛选,而内存文件则用于存储上下文信息。
AgenticAIAutoGen/
│
├── Framework/
├── basics1.py → basics6.py → progressive foundational examples
├── scenario1.py → applied automation scenario
├── selectorGroup.py → capability grouping/selection logic
├── web_surfer.py → web interaction experimentation
├── memory.json → agent memory/context storage
└── .gitignore
该技术栈基于 Python,集成了 OpenAI Agents、MCP、API 测试、数据库验证以及浏览器自动化功能。
受益人群
该实验面向 QA 自动化工程师和 SDET、质量主管、测试自动化架构师、AI 自动化工程师,以及正在考虑采用 AI 辅助进行 QA 的工程经理。
未来发展方向
由于该领域发展迅速,其路线图目标十分宏大:
- 多智能体 QA 工作流;
- 更智能的测试生成,包括测试数据;
- AI 辅助的 API 测试;
- 自主浏览器测试;
- 数据库验证智能体;
- 自动故障与缺陷分析;
- CI/CD 集成;
- 测试结果汇总;
- 完整的智能体编排。
以上功能均不会取代基础技术,而是建立在基础技术之上的。
核心要点
质量保证自动化的未来或许不在于更快地编写脚本,而在于构建能够实现以下功能的系统:
- 理解测试目标。
- 判断合适的测试方法。
- 利用适用于网页、API和数据库的合适工具来执行操作。
- 评估测试结果。
- 根据反馈调整策略,并为工程师提供有用的信息。
这样,自动化就从单纯的执行工具转变为能够与你一同思考的伙伴,为测试人员提供更智能的工程辅助工具,而非替代品。