Від скриптів до цілей: агентський ШІ для тестування в вебі, API та базах даних.
Агентський ШІ для тестування якості: автоматизація тестування, яка має мету замість послідовності кроків, із агентами для вебу, API та баз даних, MCP як зв’язуючий елемент, пам’яттю та її чесними обмеженнями.
Джерела: The Day My Test Scripts Stopped Listening — And My Agents Started Thinking : —
Що змінюється, коли автоматизація тестування більше не отримує вказівок щодо того, які кнопки натискати, а отримує інструкції щодо досягнення певного результату? Це питання стало основою невеликого експерименту з відкритим кодом з використанням агентних ШІ для забезпечення якості, і у цій статті розглядається, що саме намагається зробити експеримент, де він допомагає, а де — ні.
Звичайний вівторок
Ви запускаєте набір інструментів для перевірки на наявність змін, і мимо прокручуються зелені галочки. Усі розслабляються, але все одно потрапляє баг, тому що скрипт знав лише те, як робити саме те, що йому було сказано, у саме тому порядку, у якому йому було сказано.
Постійне питання полягає у тому, чи може автоматизація міркувати замість того, щоб просто повторювати дії. Ніхто тут не обіцяє чудес. Мета — з’ясувати, чи можуть ШІ-агенти доповнювати судження тестувальника, не намагаючись його замінити.
Скриптована автоматизація та автоматизація, орієнтована на цілі
Більшість сучасних наборів тестів дотримуються однієї послідовності: випробувальний кейс, скрипт, виконання, перевірка, звіт. Цей підхід є детермінованим, прогнозованим та безпечним. Водночас він є жорстким, крихким та не бере до уваги нічого, про що не згадується у скрипті. Набір тестів на основі скриптів — це поїзд на фіксованій колії: швидкий та надійний, поки колія не зміниться.
У версії з агентом порядок змінюється:
- Надайте агенту ціль тестування замість фіксованого скрипта.
- Дозвольте йому самостійно визначити, що потрібно зробити.
- Дозвольте йому обирати інструменти (браузер, клієнт API, база даних) відповідно до контексту.
- Дозвольте йому стежити за результатами та коригувати свої наступні дії.
- Дозвольте йому перевіряти результати та складати звіти.
Таким чином, запит перестає бути «виконайте ці заздалегідь визначені кроки» та стає «ось ціль, знайдіть спосіб її досягти». Це скоріше зміна мислення, ніж зміна інструментів.
Чому QA є ідеальним вибором
Сучасне програмне забезпечення рідко існує лише в одному шарі. Одна помилка може полягати як у інтерфейсі користувача, так і в API чи базі даних, і проявитися лише тоді, коли перевіряються всі три компоненти одночасно. Від тестувальників все більше очікують, що вони будуть мислити як інженери систем, і питання змістилося з „чи працює кнопка“ на „чи поводиться вся розподілена система за реальних умов“.
Уявімо, що один агент міг би координувати дії між цими шарами для досягнення єдиної мети, замість трьох незалежних комплексів. Дизайн розділяється на:
- Веб-агента, який керує браузером.
- Агента API, який надсилає запити та аналізує відповіді.
- Агента бази даних, який перевіряє дані на сервері.
- Шару обробки інформації, який планує та вирішує, який агент потрібно викликати та коли.
- Шару верифікації, який об’єднує все в один дієздатний результат.
Замість трьох звітів, які людина мусить уявно об’єднати, ви отримуєте одне узгоджене рішення.
Ескіз архітектури
Описаний нижче процес ще активно розвивається. Це живий експеримент, а не готова структура, і справжній інженерний прогрес рідко досягається у повністю сформованому вигляді.
User / Goal
↓
Agentic AI Layer (Reasoning + Planning)
↓
┌──────────┬──────────┬──────────┐
│ Web Agent│ API Agent│ DB Agent │
└──────────┴──────────┴──────────┘
↓ ↓ ↓
Browser APIs Database
↓ ↓ ↓
Validation / Result
MCP як з’єднувальна тканина
Model Context Protocol, MCP, — це та частина цього простору, яка варта детального розгляду. Уявіть собі його як стандартний роз’єм та гніздо між агентами та реальними можливостями, щоб агент не просто описував, що буде робити, а справді це робив.
Для перевірки якості це відкриває:
- з’єднання агентів із справжніми інструментами тестування;
- структуровану взаємодію з браузером;
- прямі операції з API;
- доступ до баз даних без необхідності щоразу створювати нові кастомні з’єднувачі;
- персистентну пам’ять та контекст;
- багаторазово використовувані бібліотеки інструментів автоматизації.
Цикл стає таким: зрозуміти мету, вибрати можливість, використати інструмент, спостерігати за результатом, вирішити, що робити далі. Це суттєво відрізняється від підходу „крок перший, крок другий, крок третій“.
Тестування API як можливість
Тестування API не зникне, але його форма змінюється. Замість статичної колекції Postman, яка постійно виконує однакові перевірки, агент може:
- надсилати запити, що ґрунтуються на визначеній меті;
- оцінювати відповідь у контексті, а не лише за кодами статусу;
- створювати нові сценарії в реальному часі;
- співпрацювати з іншими агентами, коли для вирішення проблеми потрібне аналізування різних рівнів.
Testing Objective → API Agent → Send Request → Analyze Response
→ Validate Result → Pass Result to Workflow
Це тестування API, яке враховує те, що саме перевіряє, а не лише те, чи збіглося число.
Агенти баз даних заслуговують на більше визнання
Кожен SDET знає цю історію. Інтерфейс відображає підтвердження успіху, API повертає код 200 OK, а рядок у базі даних так і не зберігається. Ніщо не попереджає про це, якщо хтось не перегляне дані безпосередньо.
Агент, який розуміється на базах даних, може автоматично запитувати та перевіряти тестові дані, перевіряти бекенд без необхідності щоразу писати сирі SQL-запити, підтримувати тестування, засноване на даних, та міжсистемне тестування, а також виявляти помилки, які існують між різними шарами системи.
UI → API → Business Logic → Database
Дефект може проявитися лише тоді, коли всі чотири шари перевіряються разом, і саме тут координовані агенти знаходять своє місце.
Браузер як один із інструментів серед багатьох
У зразковому проекті є скрипт web_surfer.py, який демонструє, як агент працює у реальному веб-середовищі — не як окремий скрипт, а як одна з функцій у комплексі.
Testing Goal → Agent → Web Interaction → Observation
→ Decision → Validation
Браузер більше не є повним тестом — він стає інструментом, до якого звертається агент, коли це необхідно за завданням.
Надання автоматизації пам’яті
Більшість систем автоматизації мають „пам’ять золотої рибки“: кожен запуск починається з нуля. Щоб вирішити цю проблему, проект зберігає невеликий файл memory.json. У ньому зберігаються попередні дії, стан робочого процесу, контекст тесту, важливі спостереження та попередні результати.
Test Objective → Current Context → Previous Actions
→ Agent Decision → New Action → Updated Context
Автоматизація, здатна розуміти контекст, не ставиться до системи як до чужинця щоразу під час виконання. Вона формує робочу пам’ять, що більше нагадує спосіб дій досвідченого тестувальника.
Що це не є
Втома від агітації навколо ШІ справжня, тому деяка ясність допомагає:
- Це не „ШІ замінює тестувальників“.
- Це не бот для тестування типу „підключи та працюй“.
- Це ще не фреймворк промислового рівня.
Це чесний, постійно розвиваючийся експеримент щодо того, як міркування, інструменти та пам’ять можуть переформувати процес QA, а також нагадування про те, що інженерний судження все ще керує процесом. Мета — не автоматизувати все, а автоматизувати розумно.
Якісне QA все ще залежить від аналізу ризиків, стратегії тестування, знань у конкретній галузі, дослідницького тестування, розумного проектування автоматизації, можливості спостереження та людського перегляду результатів. Агенти повинні діяти як більш ефективні партнери, а не замінники міркувань тестувальника.
Як виглядає структура репозиторію
Для тих, хто хоче детальніше ознайомитися, ось структура зразкового проекту. Файли basics є основою для подальшої роботи, файл сценарію застосовує ці основи, файл селекторів групує та вибирає необхідні функції, а файл пам’яті зберігає контекст.
AgenticAIAutoGen/
│
├── Framework/
├── basics1.py → basics6.py → progressive foundational examples
├── scenario1.py → applied automation scenario
├── selectorGroup.py → capability grouping/selection logic
├── web_surfer.py → web interaction experimentation
├── memory.json → agent memory/context storage
└── .gitignore
Ця стек-технологія включає Python з OpenAI Agents, інтеграцію MCP, тестування API, перевірку баз даних та автоматизацію браузера.
Хто отримує користь
Експеримент орієнтований на інженерів з автоматизації QA та SDETs, керівників з питань якості, архітекторів автоматизації тестів, інженерів з автоматизації за допомогою ШІ та менеджерів інженерій, які розглядають можливість використання ШІ для підтримки процесів QA.
Куди це може розвинутися
План розвитку є амбітним, оскільки ця галузь розвивається дуже швидко:
- робочі процеси QA з багатьма агентами;
- більш ефективне створення тестів, включаючи дані для тестів;
- тестування API за допомогою ШІ;
- автономне тестування в браузері;
- агенти для перевірки баз даних;
- автоматичний аналіз помилок та дефектів;
- інтеграція з CI/CD;
- підсумки результатів тестів;
- повна оркестрація агентів.
Жоден з цих елементів не замінює основи. Вони діють на її основі.
Висновок
Майбутнє автоматизації перевірки якості, ймовірно, полягає не у швидшому написанні більшої кількості скриптів. Воно полягає у створенні систем, які можуть:
- Розуміти мету тестування.
- Обмірковувати правильний підхід.
- Використовувати відповідні інструменти у веб-середовищі, API та базах даних.
- Оцінювати результати.
- Адаптуватися та надавати інженерам корисну інформацію.
Це перетворює автоматизацію з простого засобу виконання завдань на інструмент, який думає разом із вами, надаючи тестувальнику розумнішого інженерного партнера замість заміни.