Головна / Статті

Як змінюється тестування з використанням агентів для QA та де воно все ще залишається недосконалим.

Комплекси зі скриптами та функціями самовідновлення припиняють працювати, коли змінюється інтерфейс користувача. Агенти браузера, засновані на намірах, скорочують обсяг технічного обслуговування, проте регульовані процеси та незвичайні інтерфейси все ще потребують уваги.

Видавець: REACTAPP.TOP7 хв читання1600 слів

Джерела: The Rise of Agentic Testing

За допомогою тестування з агентами браузерний агент отримує мету тесту та самостійно визначає окремі кроки. Тестувальник описує бажану поведінку та критерії проходження тесту, не створюючи скриптив для кожного кліку. Скриптовані набори тестів зазнають збоїв, коли DOM змінюється, а інструменти самовідновлення просто виправляють пошкоджені маркери перед тим, як знову запустити ту саму послідовність дій. Агент щоразу на новому запуску планує свій шлях заново, тож зміни в інтерфейсі більше не означають необхідності виправлення селекторів. Визначення того, що є правильним, виходить за межі його можливостей, і це залишається завданням того, хто відповідає за випуск продукту.

Чому тестування стало складнішим

У 2019 році з’явилася дивна тенденція: бездоганні зелені пайплайни продовжували доставляти контент з безкінечним прокручуванням, у якому одні й ті самі десять–двадцять рядків повторювалися після того, як користувач переходив на другу сторінку. Більшість людей, які кілька років працювали над контролем якості, можуть розповісти подібні історії.

Тестування вже деякий час знаходиться під тиском, і протягом певного часу команди просто виправляли проблеми, не запитуючи, що саме змінилося. Але багато чого змінилося. Швидкість випуску продуктів зросла. Інтерфейси перейшли від статичного HTML до компонентів React, які оновлюються після кожної зміни стану. Функції типу „feature flags“ означали, що половина користувачів могла бачити екран, якого тестовий набір ніколи раніше не бачив.

„Агентне тестування“ з’явилося як відповідь індустрії. Метою цього тексту не є просування цього терміна. У ньому розглядається, чому тестування стало складнішим, що насправді означає „агентне“ тестування, чому це важливо для тих, хто виконує роботу, та де воно має обмеження. Цей матеріал призначений для всіх, хто пише та переглядає тести, або хто відповідає за випуск продукту, коли щось ламається о 2 години ночі.

Швидкість випуску

Щотижневий цикл випуску залишає час на підтримку тестового набору у належному стані. Щоденні розгортання цього не дозволяють, а якщо команда розгортає код щоразу після об’єднання PR, тестовий набір не може чекати на очищення у п’ятницю. Він має бути готовим до експлуатації постійно.

Складніші інтерфейси

Складні користувацькі інтерфейси стають все важчими для роботи, особливо коли компоненти генеруються швидко. Селектор, який працював у ручно створеній формі, може перестати функціонувати в день, коли його замінює Autocomplete від MUI, оскільки структура DOM, поведінка фокусу та порядок подій змінюються.

Витрати на технічне обслуговування

Є ще витрати, про які люди рідко говорять:

  • Тест Playwright, який проходить локально, але завершується через таймаут у CI через те, що індикатор завантаження залишається видимим на 100 мс довше.
  • Локатор, прив’язаний до третьої дитини контейнера flex, який перестав працювати після того, як дизайнер додав ще одну кнопку.
  • Півспринту втрачено через оновлення селекторів після того, що називали „лише очищенням інтерфейсу“.

Хтось завжди змушений виконувати це очищення, хоча це насправді ніколи не було його обов’язком.

Інстинктивною реакцією є написання ще більше тестів. Це не додає впевненості. Більше скриптованих тестів означає більше обов’язків з їх підтримки, і кожен новий процес стає ще однією автоматизацією, яка мусить витримати наступну зміну інтерфейсу, що, ймовірно, зробить її застарілою. У певний момент здається, що набір тестів працює проти вас.

Що означає „агентний“ підхід

Це слово використовується настільки нечітко, що перед подальшим розглядом потрібне його визначення.

Тест на основі скриптів виконується згідно з набором інструкцій у фіксованій послідовності. Коли обставини відхиляються від цього плану, тест стає марним. Автоматизація з можливістю самовідновлення покращує ситуацію, виправляючи несправні механізми пошуку елементів чи повторюючи невизначені дії кліку, проте все одно виконує заздалегідь написаний скрипт.

Тестування з використанням агентів відрізняється. Програмні агенти стежать за станом додатку та вирішують, яку дію виконати далі, без необхідності контролю кожного кроку з боку людини. На практиці тестувальник визначає цілі, але не описує кожної взаємодії детально. Замість десятків рядків коду Playwright чи Selenium достатньо лише запиту, щоб попросити агента перевірити, чи може існуючий клієнт змінити спосіб оплати, не змінюючи свою адресу.

Це не означає, що агент добре розуміє продукт. Це означає, що у агента є достатньо контексту, щоб діяти в межах цього продукту. Це не може замінити інженерну оцінку. Він може завершити процедуру оплати, не помітивши, що знижка для постійних клієнтів так і не застосувалась, або позначити законний замовлення на суму 0,00 доларів як помилку в ціноутворенні, хоча насправді це була просто використана подарункова картка.

Тож люди все одно вирішують, що вважається правильним, шукають критичні крайні випадки та оцінюють, чи є збій дефектом чи просто неправильним розумінням того, як має поводитися додаток. Щоденні обов’язки також змінюються: менше часу витрачається на написання коду, а більше — на перегляд пропозицій агента та вирішення питання, де потрібен додатковий огляд чи більш ретельне аналізування.

Зміни в інтерфейсі користувача

Проблема змін у інтерфейсі користувача вже давно є однією з найбільших труднощів. Зміна назви кнопки з „Continue“ на „Next“ або заміна выпадаючого списку на комбокс під час перевірки доступності може спричинити низку проблем, навіть якщо додаток працює без проблем.

Деякі платформи для тестування штучного інтелекту підходять до цього по-іншому. Вони спостерігають за реальними діями користувачів та створюють модель крок за кроком того, як люди використовують додаток, включаючи функції кожної сторінки чи дії. Тести потім генеруються на основі цієї моделі, а не на основі нестабільного знімка DOM.

Самі тести базуються на намірах. Тест складається як опис того, що має статися та що вважається правильним, а агент просувається по інтерфейсу, як справжня людина, натискаючи на елементи та порівнюючи результати з заданими очікуваннями.

Жоден з цих заходів не видаляє людей із процесу. Члени команди все одно вирішують, які робочі процеси є найважливішими, визначають, що означає „правильно“ для бізнесу, та аналізують сфери, які вимагають знань продукту, а не лише знань інтерфейсу.

Як змінюється робота

Коли на усунення несправностей автоматизації витрачається менше часу, сама робота змінюється. Години, які раніше йшли на виправлення конкретних елементів чи редагування нестабільних скриптів, можна спрямувати на розширення охоплення, аналіз ризиків та виявлення проблем, які автоматизація сама по собі не помічає.

Написання точних селекторів Selenium чи запам’ятовування API Playwright більше не є рідкісною навичкою. Справжньою навичкою є здатність до судження. Це означає знати, які шляхи використання продукту потребують найбільшої уваги, розуміти, де збій створює справжній бізнес-ризик, та помічати, коли генерований тест технічно проходить, але не враховує те, що має значення. Це завжди були найскладніші аспекти тестування, і команди просто не мали на них часу.

Ця зміна також впливає на те, що менеджери з інженерії розуміють під якістю. Підрахунок кількості пройдених тестів чи написаних скриптів ніколи не був надійним показником довіри, а більша кількість тестів не гарантує кращого охоплення, особливо якщо половина з них нестабільна чи ігнорується після змін інтерфейсу. Краще відповідають на такі запитання:

  • Як швидко можна підтвердити якість нової версії?
  • Наскільки впевнена команда перед випуском?
  • Скільки коштуватиме підтримка цієї впевненості з часом?

Де він поступається

Агентські тести не замінюють усі форми автоматизації, а придумування про це завдає шкоди. Варто звернути увагу на три конкретні випадки.

Регульовані середовища. У охороні здоров’я та фінтеху виконання завдань часто має бути детермінованим, із записами аудиту та доказами того, що тест працює однаково під час кожного запуску. Адаптивна поведінка може суперечити цьому. Процеси, які ніколи не повинні відхилятися, вимагають чітко визначених скриптованих кроків, які гучно відмовляються при будь-яких змінах та залишають читабельні сліди дій та причин агента. Хороша платформа дозволяє команді встановлювати, наскільки кожен тест може адаптуватися.

Безпека виробництва. Мало які команди хочуть, щоб автономний агент діяв у реальному середовищі з дозволом на оформлення замовлень, редагування даних клієнтів чи створення тестових даних у продакшені. Більшість організацій вирішують цю проблему за допомогою ізольованих тестових середовищ, тимчасових облікових записів та суворо контрольованих прав доступу.

Інтерфейси, складні для читання. Додатки, створені на основі механізмів перетягування елементів, відображення на полотні чи сильно налаштованих внутрішніх процесів, не завжди надають агенту необхідні інструкції. Цілеспрямована автоматизація та людський нагляд все одно допомагають у цьому.

Різні проблеми тестування вимагають різних інструментів, і ці три не підходять для тестування з використанням агентів, принаймні наразі.

Початок роботи

Основна проблема полягає у тому, що програмне забезпечення тепер випускається швидше, ніж автоматизація може за цим встигнути, і агенти QA змінюють цю ситуацію. Інженери більше не пишуть скрипти для кожної дії. Вони визначають мету, переглядають пропозиції агента та втручаються, коли потрібен людський судження, тоді як система адаптується до наступних дій інтерфейсу.

Ті, хто розглядає цей підхід, не повинні починати з заміни всього комплексу інструментів. Виберіть бізнес-критичний процес, який часто змінюється, наприклад процес оплати чи оновлення даних користувача, та порівняйте зусилля з технічним обслуговуванням протягом кількох циклів випуску. Це дозволить отримати реалістичну картину щодо того, чи підійде цей підхід команді.

Поширені запитання

Чи це те саме, що самовідновлення? Ні. Самовідновлення виправляє скриптовані тести, тоді як тестування з використанням агентів переслідує певну мету та не дотримується заздалегідь написаних скриптів.

Чи замінює воно інженерів з контролю якості? Ні. Воно скорочує обсяг технічного обслуговування тестів, але інженери все одно визначають бізнес-правила, перевіряють результати та досліджують збої.

Чи можна його використовувати разом із існуючим набором інструментів? Так. Більшість команд спочатку використовують обидва підходи та порівнюють зусилля, необхідні для технічного обслуговування, з часом.

Чи підходить воно для процесів, де критично важлива відповідність стандартам? Так, за наявності відповідних механізмів контролю. У таких процесах можна виконувати чітко визначені кроки із повним записом дій агента, тож критичні тести залишаються детермінованими та підлягають аудиту, а решта тестів можуть адаптуватися вільно.

Пов’язана література

  • Тестування AI з використанням агентів для SaaS: як агенти, керовані цілями, замінюють крихкі скрипти — чому набори тестів для SaaS постійно зламуються, як агенти AI, керовані цілями, досліджують додаток та адаптуються, де вони проявляють обмеження, та як провести експериментальне тестування з використанням агентів.