SaaS领域的智能体AI测试:目标驱动的智能体如何替代脆弱的脚本。
为什么SaaS测试套件会不断出错,目标驱动的AI智能体如何探索应用并实现自适应,它们存在哪些不足,以及如何开展有量化指标的智能体测试试点。
配送速度并非困扰现代SaaS团队的问题。真正的痛点在于,产品周围的各项变化速度远远快于用于验证它的流程。那些每天需要多次发布产品的团队,往往要花费与改进测试相当多的精力来维持测试的运行。这些测试的编写质量通常并不差,只是被测试的应用程序本身始终处于变动之中。
每次部署都会带来变化:重新编写的React组件、用户流程的另一种变体、更改登录步骤的身份提供商。这些都不是缺陷,但却正是破坏基于固定假设构建的自动化流程的根源。正是这种不匹配导致了人们对AI测试的兴趣激增,因为AI测试的真正优势在于能够减少大型SaaS套件的维护工作,而非将测试工作完全交给机器来完成。
为何SaaS难以测试
SaaS 很少存在一个真正可称为完整应用程序的环境。基于同一代码库的两个客户可能会看到不同的定价方案、授权流程、功能或访问权限。在全新的测试环境中能够通过的测试计划,在实际租户配置下却可能失败,因为后者会破坏生产环境。
交付速度进一步增加了难度。采用主干开发模式后,更新会频繁发布,因此每一次回归测试都变成一场竞赛。与此同时,即便团队没有进行任何代码提交,外部环境也在不断变化。Stripe 会修改其托管支付功能,Auth0 或 Clerk 会调整登录流程,Salesforce 会更改 API 响应。这些都不是你代码中的缺陷,但客户会将它们视为产品的一部分,因此测试策略必须能够应对这些变化。
这里的测试指的是验证在不断变化的运行环境、集成方案以及不同客户的自定义设置下仍能正常工作的系统,而不仅仅是检查某个静态应用。
不可靠的测试与脆弱的选择器
不可靠的测试往往被归咎于编写时的疏忽,但实际上原因更多出在应用本身的时序问题:
- 在高负载情况下,模态框会延迟几百毫秒才出现。
- API响应的顺序与预期不符。
- 断言执行完毕后,后台任务才完成。
- 在本地重试可以成功,但在环境配置不同的持续集成环境中却会失败。
这些情况并非每次都会发生,也正是因此很难复现。
Playwright和Selenium这类工具在设计上就是确定性的。它们会按照给定的顺序执行指令,只要应用程序的行为可预测,这种方式就能很好地发挥作用。但如果用户界面尚未完成渲染,或者需要验证的状态仍在变化,精确性就毫无意义了。
选择器则是问题的另一部分。无论是转向新的组件库还是完整的设计系统,前端迁移都可能在不改变最终用户所能察觉的内容的情况下重塑DOM结构。功能依然可以正常使用,但数十个XPath表达式、CSS选择器以及对DOM结构的假设却不再匹配了。
更深层次的代价会逐渐累积。团队花费在维护自动化流程上的时间多于扩展它的时间,而且对这套工具的信任也在不断减弱。一旦工程师不再认为故障是真实存在的,出现红色管道提示时,他们就会开始争论是产品有问题还是测试有问题。这通常意味着需要改变自动化方法,而不仅仅是脚本。
“AI测试”实际上涵盖什么
这个术语已经变成一个统称,值得将其拆分开来,因为其下的各种技术承担着不同的功能。智能代理测试指的是由AI代理根据目标进行测试:它观察屏幕、做出决策、执行操作并验证结果,而非重复执行预设的步骤。这正是它与其他两种方法的不同之处。
其局限性需要客观审视。智能代理会依据应用的结构及流程来理解屏幕上的内容,但这与理解业务规则并非同一回事。它能够完成多步骤的注册表单,却可能不知道推荐码本应带来折扣,也不清楚在流程中途降级套餐应如何调整最终价格。人工智能辅助工具也无法解决这一问题,因为即便能加快脚本编写速度的模型,仍需由人们来判定什么是正确的做法。无论采用哪种方法,这一责任始终在于负责产品开发的团队。
智能代理的测试方式有何不同
传统的自动化流程是从编写脚本开始的。而智能代理测试则是让代理先学习应用程序。在任何测试运行之前,它会像新用户一样探索产品,浏览页面、填写表单并点击链接。它不会将这些操作记录为一系列步骤,而是构建一个产品模型,在该模型中页面是节点,连接节点的操作则是边,这更类似于实时地图而非脚本。
这一点很重要,因为代理并非在重复昨天的操作流程。在每次运行过程中,它会重复一个循环:
- 观察应用程序的当前状态。
- 决定哪个操作能更接近测试目标。
- 执行所选操作。
- 验证结果。
- 不断重复直至达成目标。
观察、决策、执行、验证、重复:这就是质量检测智能体在应用程序上运行的循环流程。它们通过自行探索应用程序、浏览页面并尝试各种交互来构建映射图,然后运用对常见产品模式的了解,基于该映射图生成并设计测试用例。
由于智能体是根据应用程序的当前状态来工作的,因此无需手动编码,也不存在易出错的选择器。当工作流程发生变化时,无论是div元素的类名被修改、按钮位置改变还是表单设计调整,模型都会随之更新。后续的运行就会反映出现在的产品状态,而非自动化脚本最初编写时的样子。
人们并没有从这一流程中消失,只是他们的时间被分配到了其他地方。某些工作流仍需要人工审核,比如退款计算、税务处理、定价规则以及付款操作,因为这些环节依赖于自动化测试工具无法理解的业务背景。对许多团队而言,转变过程如下:
工程师不必在每次界面更改后花费数小时维护自动化测试,而是可以扩大测试范围,解决那些需要深入理解产品才能解决的真正问题。
开展试点
从第一天起就将智能测试应用到整个产品中,可能会削弱人们对它的信心。更好的做法是从那些一旦出错就会造成重大损失的业务关键流程入手,例如用户注册、账户创建,或是任何经常发生变化的流程。
如果没有对比对象,试点就毫无意义,而有三个要素至关重要。
明确的基准。使用秒表记录当前回归周期的时间,而非凭猜测。诸如“回归大约需要一周”之类的说法不算数。
真正的对比。在相同的候选版本上,将试点方案与当前的手动或脚本化流程同时运行,让两台秒表记录相同范围的工作时间。
事先确定的通过/不通过标准。在开始之前就确定什么结果才算值得推广:是发现了本会流入生产环境的错误,还是相比基准减少了数小时的维护工作。
没有基准的试点方案既不会失败,也无法展现任何成效。一旦经过精心挑选的流程达到了标准,扩大推广范围的风险就会大大降低。
总结
SaaS产品发展如此迅速,基于固定假设的自动化方法注定会失败。代理测试则提供了一种不同的思路:随变化而调整,而非随之过时。判断它的最佳方式就是衡量其在您自身应用中的表现。
相关阅读
- 代理测试为质量保障带来的变化及其仍存在的不足 —— 当用户界面发生变化时,脚本化及自修复测试套件会失效。以意图为导向的浏览器代理可减少维护工作,但受规则约束的流程和复杂的用户界面仍需妥善处理。