利用编码代理进行左移测试:选择最可靠的测试层级
借助编码代理实现左移测试:质量保证工程师查看代码仓库,为每种场景选择最可靠的测试层级,并剔除耗时的浏览器测试。附有示例。
来源: Shift-Left Testing in the AI Era: How Coding Agents Can Change the QA Engineer’s Role
多年来,人们一直建议在开发生命周期的早期进行测试,但很少有人能真正做到。AI编码工具或许终于能为质量保证工程师提供一种切实可行的方法,让他们更有信心地推进这一工作。
“左移策略”意味着将验证工作提前到开发的早期阶段,即单元测试、组件测试、API测试和集成测试,而非依赖端到端测试或UI自动化来发现所有缺陷。这一理念本身并不新鲜,但实际执行起来总是比描述要困难,其主要原因在于质量保证知识与代码层面知识之间存在差距。
质量保证工程师能够深入理解业务场景。常见的相关问题包括:
- 如果折扣已过期会怎样?
- 如果支付金额超过允许上限会怎样?
- 如果API返回了不支持的值会怎样?
- 如果计算结果无效会怎样?
这些都是不错的场景。更难的问题是应该在何处进行测试。单元测试能覆盖这些场景吗?它们属于组件层吗?需要集成测试吗?还是说真的需要从开始到结束都使用浏览器?从历史情况来看,QA工程师往往就在这里陷入困境。
为何QA团队难以向左移动
单元测试和集成测试紧密围绕实现代码展开。开发功能的人清楚业务逻辑位于何处,哪些类或函数参与其中,什么可以被模拟,以及哪些依赖存在于代码之外。
质量保证工程师可能清楚哪些内容需要验证,但却缺乏足够的实现知识,无法自信地判断某个场景无需通过用户界面处理,因为单元层可以直接处理该场景。因此在许多团队中,质量保证人员负责编写测试场景,询问开发人员已有哪些单元测试或集成测试,然后根据回复来决定后续工作,因为独立验证代码层面的覆盖情况十分困难。
在那种沟通中,没有人对也没有人错。这只是可见性方面的问题。质量保障团队负责识别业务风险,开发人员则负责实现功能,当两者缺乏沟通时,“左移测试”就只会成为讨论话题,而无法成为实际的策略。于是各种场景都会被转移到用户界面层,仅仅因为那是质量保障团队熟悉并能掌控的层面。这也是自动化测试工具越来越臃肿的原因之一:需要运行的浏览器更多,环境依赖更复杂,测试数据的问题更多,维护工作更繁琐,反馈速度也更慢。
编码代理带来的变化
Claude Code和GitHub Copilot这类工具现在可以直接操作代码库,读取其结构与内容。想象一个拥有20个测试场景的功能模块,质量保障工程师无需立即决定用Playwright还是Selenium来自动化哪些测试,可以先让编码助手分析代码库,指出每个场景最适合用哪种方式测试:哪些属于单元测试范畴,哪些需要组件测试或集成测试,哪些适合通过API测试,还有哪些确实需要端到端自动化。
这是一种不同的测试自动化思路。质量保障人员不再仅仅从外部视角审视应用程序,人工智能能够深入检查实现代码,指出真正的业务逻辑所在,这让测试金字塔模型变得更加实用。
结账功能的示例
以电子商务平台的结账功能为例,质量保障人员准备了五个测试场景:
- 过期的优惠券会被拒绝。
- 无效的优惠券会被拒绝。
- 订单总价会正确重新计算。
- 支付失败的情况能得到妥善处理。
- 订单处理成功后会显示确认信息。
采用传统方法时,这五种情况很可能都变成浏览器测试。现在假设有人扫描代码库,发现优惠券验证功能位于一个独立的业务逻辑函数中,因此前两种情况非常适合用作单元测试。订单金额计算也是单独实现的,无需浏览器即可进行测试,所以第三种情况属于较低层级的测试。支付失败则更适合作为集成测试或服务级测试。只有完整的成功结账流程才需要浏览器进行端到端测试。
五个用户界面测试合并为一个用户界面测试,再加上四个更快速、更底层的测试。这正是“左移”策略所追求的结果,而变化之处在于,质量保障团队现在有了实际的方法来指导决策。
开发者仍需参与
盲目信任自动化工具而非开发者并非关键所在。人工智能也可能出错,它可能误解系统架构、忽略依赖关系或提出错误的测试范围,因此不应成为最终决策的依据。
这样的价值为讨论提供了更坚实的起点。质量保障人员无需询问开发人员某个场景是否可以通过单元测试覆盖,而是可以这样思考:该验证功能关联到某个服务,且看起来与用户界面相互独立,因此是否可以在单元层面完成测试,而无需再增加浏览器测试?这样的技术讨论力度要强得多。人工智能并不会让开发人员退出左移测试流程,而是为质量保障人员提供足够的技术视野,使他们能够自信地参与相关讨论。
为智能体提供测试背景信息
只有当编码智能体了解一个团队的测试理念而不仅仅是代码时,它们才会变得更为有用。这正是代码仓库说明文件、智能体指令文件或技能文件的作用。许多智能体会读取会自动加载的常驻指令文件,放在代码仓库根目录下的CLAUDE.md就是这类文件之一。
一个简化的版本可以从标题开始:
# Testing Strategy Instructions
接下来是规则本身:
- Prefer the lowest reliable testing layer for any new scenario.
- Do not recommend UI automation if the same behavior can be
validated reliably at a lower layer.
- Before suggesting a test, identify what unit, API, integration,
and end-to-end frameworks already exist in this repo.
- Explain *why* a scenario belongs to a specific layer.
- Flag duplicate coverage — check if a scenario is already
tested before recommending a new test.
具体格式因工具而异,但原则是一致的:为智能体提供足够的上下文,使其能从测试策略的角度分析代码,而不仅仅是将其视为代码。
从层面出发,而非工具
自动化过程中常见的错误就是从工具入手。使用 Playwright 的团队会询问如何在 Playwright 中实现自动化,而使用 Selenium 的团队则会询问类似的问题。更好的问题是:哪个是最底层的、可用来测试行为的可靠层面。
有时答案仍然是用户界面,因为许多流程确实需要浏览器级的验证。选择用户界面层面是因为场景有此需求,而非因为质量保障人员无法看到其底层结构。智能体正好可以填补这一差距。
质量保障工程师需要做哪些改变
核心技能依然没有变化:理解业务风险、发现边缘情况、设计有意义的测试场景,以及判断哪些部分需要端到端覆盖。有一项新技能却极具价值,那就是利用编码智能体来了解应用程序的实际实现方式,然后再与开发团队核对这些发现。在自动化某个测试场景之前,先向智能体提出以下问题:
- 该场景的业务逻辑位于何处?
- 是否已有覆盖该场景的测试?
- 该场景依赖什么,它是与用户界面隔离的还是紧密耦合的?
- 能够快速提供可靠反馈的最快途径是什么?
这已经更接近真正的左移测试理念了。
为何它最终可能被广泛采用
从理论上讲,提前进行测试听起来一直都很不错。但在许多团队中,质量保障人员缺乏代码层面的洞察力,无法推动这一做法的落实。编码助手通过帮助质量保障人员检查代码仓库、明确实现边界、审查现有测试用例,并为每种场景建议合适的测试层级,从而改变了这一状况。
这并不意味着人工智能就能提供完美的测试体系。团队架构、遗留系统、责任归属、截止日期以及工程文化等因素依然至关重要。但显然有一个障碍正在缩小——当有工具可以帮助找到答案时,再以“我对代码了解不足,不知道该把测试放在哪里”作为借口就越来越难站得住脚。自动化的未来在于在恰当的层级编写合适的测试用例,而非单纯增加测试数量。
常见问题
什么是左移测试?即在软件生命周期的更早阶段进行测试,将验证工作放到单元、组件、API和集成层,而非主要依赖端到端或UI自动化测试。
为什么这对质量保障团队来说很困难?质量保障人员通常很清楚业务风险,但却无法了解实现细节,因此不询问开发人员的话,就无法独立判断某个测试场景应属于哪一层。
编码代理如何提供帮助?代理可以分析代码仓库,并指出某个测试场景最适合在哪个层面进行测试——无论是单元层、组件层、API层、集成层还是端到端层——从而让质量保障人员能够获得以往没有的实现细节视角。
测试策略中,智能体会取代开发人员吗?不会。智能体可能误判架构或忽略依赖关系,因此其建议需要与开发团队共同验证,不应被视为最终决定。
以质量保证为重点的配置文件应包含哪些内容?应优先选择最可靠的测试层级,规定在较低层级可行时不得推荐使用界面自动化方案,首先检查现有的测试覆盖率,并说明某个测试场景为何适合对应的层级。
相关阅读
- 实用笔记:Ornith 1.0让本地编码智能体再度值得测试 —— 对《实用笔记:Ornith 1.0让本地编码智能体再度值得测试》的详细操作指南,涵盖了适用于采用该模式的团队的契约、检查项以及可直接插入的代码片段。