Тестування з використанням агентів для кодування: вибір найбільш надійного рівня тестування
Тестування з відхиленням вліво за допомогою агентів кодування: інженери QA читають репозиторій, обирають найбільш надійний рівень тестування для кожного сценарію та відкидають повільні тести браузера. З прикладом.
Джерела: Shift-Left Testing in the AI Era: How Coding Agents Can Change the QA Engineer’s Role
Тестування на ранніх етапах життєвого циклу розробки є рекомендацією вже багато років, проте її рідко дотримуються належним чином. Штучні інтелектуальні агенти для кодування, можливо, нарешті нададуть інженерам з тестування практичний спосіб ефективно її впроваджувати.
Перенесення процесів перевірки на ранні етапи означає включення їх у тестування на рівні модулів, компонентів, API та інтеграції, а не виявлення кожної несправності за допомогою тестів від початку до кінця чи автоматизації користувацького інтерфейсу. Сама ідея не є новою. Однак її реалізація завжди була складнішою, ніж її опис, а однією з основних причин є розбіжність між знаннями в галузі тестування та знаннями на рівні коду.
Інженер з тестування може глибоко зрозуміти бізнес-сценарій. Типові запитання виглядають так:
- Що станеться, якщо знижка закінчиться?
- Що станеться, якщо сума оплати перевищить дозволений ліміт?
- Що станеться, якщо API поверне непідтримуване значення?
- Що станеться, якщо обчислення дасть недійсний результат?
Це хороші сценарії. Складніше питання — де саме слід їх тестувати. Чи покриває це тест на одиницю? Чи належить він до шару компонентів? Чи потрібен тест інтеграції? Чи справді з самого початку до кінця потрібен браузер? Історично саме тут і застрягали інженери з тестування.
Чому команди з тестування мали труднощі з переходом на ранні етапи розробки
Тести на одиницю та інтеграцію тісно пов’язані з реалізацією. Розробник, який створив функціонал, знає, де знаходиться бізнес-логіка, які класи чи функції беруть участь, що можна імітувати та які залежності знаходяться поза кодом.
Інженер з тестування може точно знати, що потрібно перевірити, проте у нього може бракувати достатніх знань з реалізації, щоб з упевненістю стверджувати, що певний сценарій не повинен проходити через інтерфейс користувача, оскільки його може безпосередньо обробити рівень модулів. Тому в багатьох командах інженер з тестування пише сценарії, запитує у розробників, які модульні чи інтеграційні тести вже існують, а потім покладається на їхню відповідь, адже незалежна перевірка охоплення на рівні коду є складною.
У цьому обміні думками ніхто не має рації чи неправильності. Це проблема видимості. QA несе відповідальність за бізнес-ризики, а розробники — за реалізацію, і коли ці дві групи залишаються окремо, підхід shift-left стає лише предметом обговорень, а не ефективною стратегією. Сценарії тоді переміщуються до шару користувацького інтерфейсу просто тому, що це той шар, з яким QA вміє працювати. Це одна з причин збільшення об’єму автоматизаційних комплексів: більше запусків браузерів, більше залежностей від середовищ, більше проблем із тестовими даними, більше обслуговування та повільніша зворотна відгук.
Що змінюють кодувальні агенти
Інструменти на кшталт Claude Code та GitHub Copilot тепер можуть працювати безпосередньо з репозиторієм, аналізуючи його структуру та вміст. Уявіть функцію з 20 підготовленими сценаріями тестування. Замість того, щоб одразу вирішувати, які з них автоматизувати за допомогою Playwright чи Selenium, інженер з тестування може спочатку попросити кодовий агент проаналізувати репозиторій та визначити, де кожен сценарій найкраще підходить: які належать до рівня одиниць, які потребують тестів компонентів чи інтеграції, які підходять для API та які справді потребують автоматизації від початку до кінця.
Це інший підхід до автоматизації тестів. Інженери з тестування більше не розглядають програму лише ззовні. Штучний інтелект може перевірити реалізацію та показати, де знаходиться справжня бізнес-логіка, що робить піраміду тестів набагато практичнішою.
Приклад процесу оформлення замовлення
Розглянемо процес оформлення замовлення в інтернет-магазині. Інженер з тестування підготовлює п’ять сценаріїв:
- Акційний купон, термін дії якого закінчився, відхиляється.
- Недійсний купон відхиляється.
- Загальна сума замовлення правильно перераховується.
- Проблеми з оплатою належним чином вирішуються.
- Після успішного оформлення замовлення відображається підтвердження.
За традиційним підходом усі п’ять сценаріїв, ймовірно, стають тестами браузера. Тепер уявімо, що агент сканує репозиторій. Він бачить, що перевірка купонів знаходиться у ізольованій функції бізнес-логіки, тому перші два сценарії є ідеальними тестами одиниці. Обчислення суми замовлення також реалізоване окремо та може перевірятися без браузера, тому третій сценарій опускається на нижчий рівень. Проблеми з оплатою, ймовірно, краще підходять для тестів інтеграції чи на рівні сервісу. Лише повне, успішне оформлення покупки потребує тестування від початку до кінця в браузері.
П’ять тестів користувацького інтерфейсу перетворюються на один тест користувацького інтерфейсу плюс чотири більш швидкі тести нижчого рівня. Саме цього й прагне підхід shift-left, і зміна полягає у тому, що тепер відділ QA має практичний спосіб впливати на прийняття рішень.
Розробник залишається залученим
Сліпе довір’я до агента замість сліпого довір’я до розробника — це не те, до чого слід прагнути. Штучний інтелект може помилятися. Він може неправильно проаналізувати архітектуру, пропустити залежності чи запропонувати неправильні межі тестування, тому він не повинен ставати остаточним авторитетом.
Його значення є набагато сильнішою відправною точкою. Замість того, щоб запитувати розробника, чи можна охопити певний сценарій тестуванням на рівні одиниць, спеціаліст з тестування може сказати щось на кшталт: ця перевірка пов’язана з цим сервісом та, схоже, ізольована від інтерфейсу користувача, тож чи можна її охопити на рівні одиниць замість додавання ще одного тесту в браузері? Це набагато ефективніша технічна дискусія. Штучний інтелект не виключає розробника з процесу тестування на ранніх етапах. Він надає спеціалісту з тестування достатню технічну інформацію, щоб він міг з упевненістю брати участь у обговоренні.
Надання агентам контексту тестування
Агенти для кодування стають набагато кориснішими, коли знають філософію тестування команди, а не лише її код. Саме для цього існують інструкції до репозиторію, файли інструкцій для агентів чи файли з навичками. Багато агентів читають постійний файл інструкцій, який завантажується автоматично. CLAUDE.md, розташований у корені репозиторію, є одним із таких файлів.
Проста версія може починатися з заголовка:
# Testing Strategy Instructions
І продовжимо з самими правилами:
- Prefer the lowest reliable testing layer for any new scenario.
- Do not recommend UI automation if the same behavior can be
validated reliably at a lower layer.
- Before suggesting a test, identify what unit, API, integration,
and end-to-end frameworks already exist in this repo.
- Explain *why* a scenario belongs to a specific layer.
- Flag duplicate coverage — check if a scenario is already
tested before recommending a new test.
Точний формат варіюється залежно від інструменту, але принцип залишається незмінним: необхідно надати агенту достатньо контексту, щоб він аналізував код з точки зору стратегії тестування, а не просто як код.
Починайте з рівня, а не з інструменту
Поширеною помилкою в автоматизації є початок роботи з інструменту. Команда, яка використовує Playwright, запитує, як автоматизувати сценарій у Playwright, а команда, що працює з Selenium, ставить аналогічні запитання щодо Selenium. Кращим запитанням є те, який є найнижчий надійний рівень, на якому можна протестувати поведінку.
Іноді відповіддю все одно є інтерфейс користувача, оскільки багато процесів дійсно потребують перевірки на рівні браузера. Рівень інтерфейсу користувача слід обирати тому, що це необхідно для сценарію, а не тому, що QA-інженери не можуть бачити те, що знаходиться під ним. Агенти ідеально підходять для подолання цієї прогалини.
Що змінюється для інженерів QA
Основні навички залишаються незмінними: розуміння бізнес-ризиків, пошук межових випадків, проектування значущих сценаріїв та визначення того, що потребує повного покриття. Одна нова навичка має велику цінність — це використання агентів для кодування з метою дізнання про те, як насправді реалізовано додаток, а потім перевірка отриманих результатів з командою розробників. Перш ніж автоматизувати сценарій, поставте ці запитання агенту:
- Де знаходиться бізнес-логіка цього сценарію?
- Чи існує вже тест, який його покриває?
- Від чого залежить сценарій, і чи є він ізольованим чи тісно пов’язаним з інтерфейсом користувача?
- Який є найшвидший та надійний шар, який надає реальну інформацію?
Це значно ближче до справжнього тестування з раннього етапу розробки.
Чому це нарешті може стати стандартом
Підхід Shift-left теоретично завжди здавався гарним. Однак у багатьох командах відділ QA не мав достатньої інформації на рівні коду, щоб його реалізувати. Фахівці з програмування змінюють ситуацію, допомагаючи QA перевіряти репозиторії, визначати межі реалізації, аналізувати наявні тести та пропонувати підходи для кожного сценарію.
Це не означає, що ШІ надасть ідеальну структуру тестів. Архітектура команди, легасі-системи, відповідальні особи, терміни та інженерна культура все ще мають значення. Але одна з перешкод явно зменшується. Стверджувати «Я не знаю достатньо про код, щоб зрозуміти, до якого тесту належить цей випадок», стає все складніше обґрунтувати, коли існують інструменти для пошуку відповіді. Майбутнє автоматизації полягає у написанні правильних тестів на відповідному рівні, а не у їх подальшому збільшенні.
Поширені запитання
Що таке тестування з відхиленням на початок життєвого циклу? Це тестування, яке проводиться на ранніх етапах, шляхом виконання перевірок на рівні модулів, компонентів, API та інтеграції, замість того щоб опиратися переважно на автоматизацію кінцево-кінцевих процесів чи користувацького інтерфейсу.
Чому це складно для команд QA? QA-фахівці зазвичай добре розуміють бізнес-ризики, але не можуть бачити процес реалізації, тому не можуть самостійно визначити, до якого рівня належить той чи інший сценарій, не звертаючись до розробників.
Як допомагають агенти для кодування? Агент може проаналізувати репозиторій та визначити, на якому рівні найкраще перевірити сценарій — на рівні модулів, компонентів, API, інтеграції чи кінцево-кінцевих процесів, що надає QA можливість бачити процес реалізації, якої раніше не було.
Чи замінюють агенти розробників у стратегії тестування? Ні. Агенти можуть неправильно оцінити архітектуру чи пропустити залежності, тому їхні рекомендації потребують підтвердження з командою розробників та не повинні вважатися остаточними.
Що має бути у файлі інструкцій, орієнтованому на QA? Перевага найнижчого надійного рівня тестування, правило проти рекомендацій щодо автоматизації інтерфейсу, коли підходить нижчий рівень, спочатку перевірка наявного охоплення та пояснення того, чому певний сценарій підходить до свого рівня.
Пов’язані матеріали
- Практичні нотатки: Ornith 1.0 робить локальних агентів для кодування гідними повторного тестування — Детальний огляд Практичних нотаток: Ornith 1.0 робить локальних агентів для кодування гідними повторного тестування: контракти, перевірки та місця для вставки коду для команд, які використовують цю модель.