Головна / Статті

Тестування SaaS за допомогою штучного інтелекту з агентами: як агенти, керовані цілями, замінюють крихкі скрипти.

Чому набори тестів для SaaS постійно зламуються, як штучні інтелектуальні агенти, керовані цілями, досліджують додаток та адаптуються, де вони проявляють недоліки, та як провести контрольований пілотний проект з тестування за допомогою агентів.

Видавець: REACTAPP.TOP6 хв читання1435 слів

Джерела: What Is Agentic AI Testing? How It Works for SaaS

Швидкість доставки — це не те, що завдає проблем сучасним командам SaaS. Проблеми починаються тоді, коли все навколо продукту змінюється швидше, ніж процеси, призначені для його перевірки. Команди, які випускають продукт кілька разів на день, часто витрачають стільки ж зусиль на підтримку існуючих тестів, скільки й на їх вдосконалення. Ці тести зазвичай не написані погано. Просто програма, яку тестують, не залишається нерухомою.

Кожне розгортання щось змінює: переписаний компонент React, інша версія процесу використання продукту, постачальник ідентифікації, який змінює кроки входу. Жоден з цих факторів не є дефектом, проте саме вони руйнують автоматизацію, засновану на фіксованих припущеннях. Саме ця неузгодженість пояснює стрімке зростання інтересу до тестування за допомогою ШІ, справжньою перевагою якого є скорочення обсягу роботи з підтримки великої системи SaaS, а не передача завдань тестувальників машині.

Чому SaaS складно тестувати

SaaS рідко має єдине середовище, яке можна було б чесно назвати додатком. Два клієнти, які використовують одну й ту саму базу коду, можуть бачити різні плани ціноутворення, процеси авторизації, функції чи права доступу. Тестовий план, який пройшов на чистій стадійній средовищі, може зазнати невдачі через конфігурацію клієнта, яка порушує роботу у продакшні.

Швидкість розробки ще більше ускладнює ситуацію. Завдяки розробці на основі головної гілки оновлення випускаються десятками разів, тож кожна регресія перетворюється на справжню гонку. Тим часом навколишнє середовище змінюється без жодних змін з боку команди. Stripe коригує свою систему оплати, Auth0 чи Clerk змінюють процес входу, Salesforce змінює відповіді API. Жоден з цих факторів не є помилкою у вашому коді, але клієнти сприймають їх як частину продукту, тому стратегія тестування мусить враховувати їх.

Тестування тут означає перевірку системи, яка постійно змінюється в різних середовищах, під час інтеграцій та внаслідок індивідуальних налаштувань для кожного клієнта, а не просто перевірку одного статичного додатку.

Нестабільність та крихкі селектори

Нестабільні тести частіше звинувачують у недбалості авторів, ніж це справедливо. Частіше причиною є проблеми з таймінгом у самому додатку:

  • Під великим навантаженням модальне вікно з’являється на кілька сотень мілісекунд пізніше.
  • Відповіді API надходять у непередбачуваному порядку.
  • Фонова задача завершується відразу після виконання перевірки.
  • Перепробування працює локально, але зазнає невдачі в CI через відмінності в налаштуваннях.

Жоден з цих факторів не виникає щоразу, і саме тому їх важко відтворити.

Інструменти на кшталт Playwright та Selenium за своєю суттю є детерміністичними. Вони виконують надані інструкції у визначеному порядку, і це добре працює, поки додаток не стає непередбачуваним. Точність не допомагає, якщо інтерфейс ще не завершив рендеринг або стан, який перевіряється, все ще змінюється.

Селектори становлять іншу половину проблеми. Міграція фронтенду, чи то до нової бібліотеки компонентів, чи до повноцінної системи дизайну, може змінити структуру DOM без змін того, що помічає кінцевий користувач. Функція продовжує працювати, проте десятки виразів XPath, CSS-селекторів та припущень щодо DOM більше не відповідають дійсності.

Глибші витрати накопичуються поступово. Команди витрачають більше часу на підтримку автоматизації, ніж на її розширення, і довіра до цього комплексу зменшується. Як тільки інженери перестають вірити, що збої є реальними, проблема з червоною лінією обробки лише спричиняє суперечки щодо того, чи вина у продукті, чи у тестах. Це зазвичай свідчить про необхідність зміни підходу до автоматизації, а не лише скриптів.

Що насправді охоплює „тестування з використанням ШІ“

Цей термін став своєрідним загальним поняттям, і варто його розглядати окремо, адже техніки, які під ним криються, виконують різні функції. Агентне тестування означає, що ШІ-агент тестує, керуючись метою: він спостерігає за екраном, приймає рішення, діє та перевіряє результат, замість того щоб повторювати запрограмовані кроки. Саме це відрізняє його від двох інших підходів.

Його обмеження потребують реалістичного аналізу. Агент робить висновки щодо того, що відображається на екрані, використовуючи структуру додатку та логіку його функціонування, що не є тотожним розумінню бізнес-правил. Він може заповнити багатоетапну форму реєстрації, не знаючи, що код-пропозиція мав би забезпечити знижку, або що зниження рівня плану під час процесу реєстрації мало б змінити кінцеву ціну. Інструменти з допомогою ШІ також не вирішують цієї проблеми, адже модель, яка допомагає швидше писати скрипти, все одно залишає на людях обов’язок визначати, що є правильним. Цей обов’язок залишається з командою, яка розробляє продукт, незалежно від того, який із трьох підходів використовується.

Як агент тестує по-іншому

Традиційна автоматизація починається з написання скрипту. Тестування з використанням агентів починається з того, що агент вивчає додаток. Перед кожним запуском тесту він досліджує продукт, як це зробив би новий користувач: переходить між сторінками, заповнює форми та клікає по посиланнях. Він не зберігає ці дії у вигляді послідовності кроків. Натомість він створює модель продукту, у якій сторінки є вузлами, а дії, що їх пов’язують, — ребрами; це більше схоже на живу карту, ніж на скрипт.

Це має значення, тому що агент не відтворює сесію з вчорашнього дня. Під час роботи він повторює один цикл:

  1. Спостерігає за поточним станом додатку.
  2. Вирішує, яка дія найкраще наблизить його до мети тесту.
  3. Виконує обраний крок.
  4. Перевіряє результат.
  5. Повторює процес, поки не буде досягнута мета.

Спостерігати, приймати рішення, діяти, перевіряти, повторювати: це цикл, який використовують агенти QA для перевірки додатку. Вони створюють „карту“, досліджуючи сам додаток, переходячи між сторінками та пробуючи різні взаємодії, а потім застосовують знання про поширені моделі продуктів, щоб на основі цієї „карти“ створювати та аналізувати тести.

Не потрібне ручне програмування та не існує крихких селекторів, оскільки агент працює з поточним станом додатку. Коли змінюється робочий процес — чи то зміна назви класу в елементі div, інший кнопка чи перероблена форма — модель оновлюється разом із додатком. Таким чином подальші виконання відображають продукт у його сучасному вигляді, а не таким, яким він був на момент створення автоматизації.

Люди не зникають з цього процесу, але їхній час переходить в інше місце. Деякі робочі процеси все ще потребують людського контролю – наприклад, розрахунок повернень коштів, оподаткування, правила формування цін та обробка платежів – оскільки вони ґрунтуються на бізнес-контексті, якого не може зрозуміти жоден автоматизований тестер. Для багатьох команд перехід виглядає так:

Замість того, щоб витрачати години на підтримку автоматизації після кожної зміни інтерфейсу, інженери можуть розширити охоплення тестів та вирішувати справжні проблеми, які вимагають розуміння продукту.

Проведення пілоту

Впровадження агентських тестів у всьому продукті з першого дня може підірвати довіру до нього. Кращим підходом є початок з бізнес-критичного процесу, який має великі витрати у разі збою – наприклад, процесу налагодження роботи, створення облікового запису чи будь-якого процесу, який постійно змінюється.

Пілот майже нічого не означає без чогось для порівняння, і тут важливі три аспекти.

Виміряна базова лінія. Вимірюйте час поточного циклу регресії за допомогою стоп-годинника, а не припускайте. Такі зауваження, як «регресія триває приблизно тиждень», не мають значення.

Справжнє порівняння. Запускайте пілотний проект паралельно з поточним ручним або запрограмованим процесом на тому самому кандидаті на випуск, щоб два стоп-годинники вимірювали однаковий обсяг роботи.

Поріг «так/ні», узгоджений заздалегідь. Домовтесь ще до початку, а не на завершальній нараді, який результат виправдовує розширення: виявлені баги, які могли потрапити у продакшн, або години технічного обслуговування, заощаджені порівняно з базовим рівнем.

Пілотний проект без базової лінії не може програти, але через це він також не може нічого показати. Як тільки ретельно обраний процес перевершить цей рівень, розширення впровадження несе значно менший ризик.

Висновок

Продукти SaaS розвиваються настільки швидко, що автоматизація, заснована на фіксованих припущеннях, неодмінно зазнає невдачі. Агентний тестування пропонує інший підхід: адаптуватися до змін замість того, щоб застаріти разом з ними. Найчесніший спосіб оцінити його ефективність — це перевірити, як він працює у вашому власному додатку.

Пов’язані матеріали