首页 / 文章

智能测试为质量保证带来了哪些变化,以及它仍存在的不足之处。

当用户界面发生变化时,脚本化及自修复套件会失效。基于意图的浏览器代理可减少维护工作,但受约束的流程和复杂的用户界面仍需处理。

发布者:REACTAPP.TOP阅读约 7 分钟1600 词

来源: The Rise of Agentic Testing

在智能测试中,浏览器代理会接收测试目标并自行规划执行步骤。测试人员只需描述预期行为及通过标准,无需为每次点击编写脚本。当DOM结构发生变化时,基于脚本的测试套件会失效,而自修复工具则会在重新运行相同流程之前修复出问题的定位器。该代理每次运行都会重新规划路径,因此界面变化不再需要修复选择器。至于何为正确结果,超出了它的能力范围,这仍是版本发布负责人的职责。

为何测试变得更困难

2019年出现了一种奇怪的现象:原本运行顺畅的绿色测试管道在用户浏览到第二页后,仍会不断推送重复相同十到二十行的无限滚动内容。大多数有数年QA工作经验的人都能讲述类似的经历。

一段时间以来,测试工作一直处于高压状态,团队们常常不询问变化原因就直接修补问题。实际上有很多变化发生了:发布速度加快,界面从静态HTML转变为每次状态更新都会重新渲染的React组件,功能开关机制使得一半的用户看到的界面可能是测试套件从未见过的。

“智能测试”应运而生,成为行业的解决方案。本文并非刻意推广这一术语,而是探讨测试为何变得更困难、“智能”究竟意味着什么、它对实际执行测试工作的人有何影响以及其存在的局限性。它适合所有编写和审查测试代码的人,以及在凌晨2点出现问题时负责处理发布流程的人。

发布速度

每周一次的发布周期有助于保持测试套件的良好状态。而每日部署则无法做到这一点,一旦团队在每次PR合并时就立即发布,测试套件就没法等到周五再进行整理,必须始终处于可投入生产的状态。

更复杂的接口

日益复杂的用户界面越来越难以处理,尤其是在组件以高速生成的情况下。在手工构建的表单中能正常工作的选择器,一旦被MUI的自动补全功能取代,就可能会出问题,因为渲染后的DOM结构、焦点行为以及事件顺序都会随之改变。

维护成本

还有人们很少提及的成本:

  • 一个在本地能通过测试,但在持续集成环境中因加载动画多显示100毫秒而超时的Playwright测试。
  • 一个依赖于弹性容器中第三个子元素的定位器,一旦设计师再添加一个按钮就会失效。
  • 本以为只是“简单的界面优化”,结果却因更新选择器而浪费了半天的时间。
  • 总归会有人来做这项优化工作,尽管这其实并非他们的本职职责。

    人们的第一反应往往是编写更多测试用例。但这并不能增强信心。更多的脚本化测试意味着需要维护的内容更多,而且每新增一个流程都会增加一个自动化测试,而这个测试很可能在下一次界面改动后就变得过时。到某个时候,就会觉得这套测试用例在反倒阻碍工作。

    “代理式”意味着什么

    这个词被随意使用得太多了,因此在继续讨论之前有必要先给出定义。

    脚本测试是按照固定顺序执行一系列指令的。一旦实际情况偏离既定流程,该测试就失去了作用。自愈自动化技术通过修复出错的定位器或重新尝试不确定的点击操作来改进这一点,但它仍然是在执行预先编写的脚本。

    智能代理测试则有所不同。软件代理会监控应用程序的状态并自行决定下一步该采取什么行动,无需人工监督每一步操作。在实际应用中,测试人员只需提出目标,无需详细规定每一项交互操作。与其使用数十行Playwright或Selenium代码,不如通过指令让代理去验证现有客户是否能够在不修改地址的情况下更改支付方式。

    这并不意味着该智能体完全理解产品。只是说明它拥有足够的背景信息以便在产品框架内运作。它无法替代工程团队的判断力。它可能会在完成结账时没有察觉到忠诚度折扣并未应用,或者将本应是正常0美元订单的情况误标为定价错误,而实际上只是使用了已兑换的礼品卡而已。

    因此,人们依然需要决定什么是正确的做法,找出那些关键的边缘情况,并判断故障是产品缺陷还是对应用应有行为的误解。日常工作内容也在变化:用于编写代码的时间减少了,而用于审核智能体提出的方案以及判断哪些部分需要更多覆盖或进一步检查的时间则增加了。

    用户界面的变化

    UI变化长期以来一直是最大的难题之一。即便应用程序运行正常,仅仅将按钮从“继续”改为“下一步”,或在无障碍测试时用下拉菜单替换组合框,都可能引发一系列故障。

    一些AI测试平台采取了不同的方法。它们会观察真实用户的操作流程,构建出逐屏的模型,展示用户如何使用应用程序,包括每个页面或操作的功能。测试正是基于该模型生成的,而非基于不稳定的DOM快照。

    这些测试本身是依据意图来运行的。测试被定义为对应当发生什么以及什么才算正确的描述,测试工具会像真实用户一样操作界面,点击各项并将实际结果与预期进行比对。

    这些措施并不会将人们排除在流程之外。团队成员依然需要决定哪些工作流程最为重要,明确对业务而言“正确”的标准,并审视那些需要产品知识而非仅仅界面知识的领域。

    工作方式的变化

    当用于修复出问题的自动化流程的时间减少后,工作本身也会发生变化。原本用于修正定位器或编辑脆弱脚本的小时数,可以用来扩大覆盖范围、评估风险以及发现仅靠自动化流程无法察觉的问题。

    编写精确的 Selenium 选择器或记住 Playwright API 已不再是需要稀缺的技能,真正关键的是判断力。这意味着要明白哪些用户流程最值得关注,理解哪里的故障会带来真正的业务风险,以及何时生成的测试在技术上虽通过却忽略了关键问题。这些一直都是测试中最困难的部分,而团队往往没有时间去处理它们。

    这种转变也改变了质量对工程经理的意义。统计运行的测试数量或编写的脚本数量从来都不是衡量信任度的可靠标准,而且更庞大的测试套件并不一定能保证更好的覆盖率,尤其是当其中一半测试不稳定,或在界面变更后被忽略时。以下这些问题更为重要:

    • 版本发布需要多快才能得到验证?
    • 团队在发布前有多大的信心?
    • 要长期保持这种信心需要付出什么代价?

    其不足之处

    智能测试并不能替代所有形式的自动化,误以为它可以则会带来危害。有三种情况尤为突出。

    受监管的环境。在医疗保健和金融科技领域,测试执行往往需要具有确定性,必须保留审计轨迹,并确保每次运行时的测试结果一致。智能测试的适应性行为可能会与这一要求相冲突。那些绝不能出现偏差的流程应当采用明确的脚本化步骤,一旦有任何变化就会明显失败,并留下可读的智能体操作及原因记录。一个优秀的平台应允许团队设定每项测试的适应范围。

    生产环境安全。很少有团队希望让自主智能体在真实生产环境中自由活动,并被赋予下订单、修改客户记录或创建测试数据的功能。大多数机构通过隔离的测试环境、一次性账户以及严格控制的权限来解决这一问题。

    难以理解的界面。基于拖放操作、画布渲染或高度定制的内部工作流程构建的应用程序,并不能始终为智能体提供所需的操作指引。有针对性的自动化处理与人工监督仍能起到辅助作用。

    不同的测试问题需要不同的工具,至少目前来看,这三种工具并不适合用于智能体测试。

    入门指南

    核心问题在于软件的发布速度越来越快,自动化工具难以跟上,而智能测试代理解决了这一问题。工程师不再为每个操作编写脚本,他们只需定义目标,审核代理的提议,在需要人工判断时介入,系统则会根据用户界面的后续操作自动调整。

    考虑采用该技术的人不应一开始就替换整套系统。应选择那些经常发生变化的业务关键流程,比如结账或用户注册流程,然后对比几个版本周期内的维护工作量。这样就能客观判断它是否适合团队使用。

    常见问题

    它与自愈功能相同吗? 不同。自愈功能是修复脚本化的测试,而智能测试代理则是以目标为导向,不遵循预先编写的脚本。

    它会取代质量保障工程师吗?不会。它虽然减少了测试维护工作,但工程师仍需定义业务规则、验证测试结果并排查故障。

    它可以与现有的测试套件一起运行吗?可以。大多数团队会先同时运行两种测试套件,再对比不同时间段的维护工作量。

    它适用于对合规性要求极高的流程吗?在具备适当控制措施的前提下是可以的。这类流程可以执行明确的步骤,并完整记录智能体的操作轨迹,从而使关键测试保持确定性且可审计,而其余测试则可以灵活调整。

    相关阅读

  • SaaS领域的智能体AI测试:目标驱动型智能体如何取代脆弱的脚本 — 为何SaaS测试套件不断出错,目标驱动型AI智能体如何探索应用并实现自适应,它们的局限性何在,以及如何开展有针对性的智能体测试试点。