От скриптов к целям: агентные ИИ-решения для тестирования в вебе, API и базах данных.
Агентные ИИ для тестирования качества: автоматизация тестирования, которая имеет цель вместо списка шагов, с агентами для веба, API и баз данных, MCP в качестве связующего элемента, памятью и её четкими ограничениями.
Источники: The Day My Test Scripts Stopped Listening — And My Agents Started Thinking : —
Что изменяется, когда автоматизация тестирования перестаёт получать указания о том, какие кнопки нажимать, и вместо этого получает указания о желаемом результате? Именно этот вопрос лежит в основе небольшого эксперимента с открытым исходным кодом в области агентных ИИ для инженерии качества, и в этой статье рассматривается, что пытается сделать эксперимент, где он помогает, а где — нет.
Обычный вторник
Вы запускаете пакет для тестирования на наличие регрессий, и по экрану пролетают зелёные галочки. Все расслабляются, но всё равно попадает баг, потому что скрипт умел выполнять только то, что ему было велено, и именно в том порядке, в котором ему было велено.
Всегда остаётся вопрос: может ли автоматизация мыслить вместо того, чтобы просто повторять действия? Никто здесь не обещает чудес. Цель — выяснить, могут ли ИИ-агенты дополнять суждения тестировщика, не претендуя на их замену.
Скриптовая автоматизация и автоматизация, ориентированная на цели
Большинство современных наборов тестов следуют одной цепочке: тест-кейс, скрипт, выполнение, проверка, отчет. Этот подход детерминирован, предсказуем и безопасен. Однако он также жесткий, хрупкий и не учитывает всё, что не упомянуто в скрипте. Набор тестов на основе скриптов подобен поезду на фиксированной колее: быстрый и надежный, пока колея не изменится.
В версии с агентом порядок действий изменяется:
- Предоставляется агенту цель тестирования вместо фиксированного скрипта.
- Агент сам определяет, что необходимо сделать.
- Он сам выбирает инструменты (браузер, клиент API, база данных) в зависимости от контекста.
- Агент отслеживает результаты и корректирует свои действия.
- Он сам проверяет результаты и составляет отчет.
Таким образом, запрос перестает звучать как «выполните эти заранее определенные шаги» и становится «вот цель, найдите способ её достичь». Это скорее смена образа мышления, чем смена инструментов.
Почему QA — подходящий выбор
Современное программное обеспечение редко существует в одном слое. Одна ошибка может возникнуть как в интерфейсе пользователя, так и в API и базе данных, и проявиться только при одновременной проверке всех трех компонентов. От тестировщиков всё чаще ожидается мышление в духе инженеров систем, и вопрос изменился с «работает ли кнопка» на «как ведёт себя вся распределённая система в реальных условиях».
Предположим, что один агент мог бы координировать действия между этими слоями ради единой цели, вместо трёх несвязанных комплексов. Схема разделяется на:
- Веб-агент, управляющий браузером.
- Агент API, отправляющий запросы и анализирующий ответы.
- Агент базы данных, проверяющий данные на сервере.
- Слой обработки, планирующий и определяющий, какой агент вызвать и когда.
- Слой верификации, объединяющий всё в один действенный результат.
Вместо трех отчетов, которые человек должен мысленно собирать воедино, получается одно согласованное решение.
Эскиз архитектуры
Представленная ниже структура по-прежнему находится в процессе разработки. Это динамический эксперимент, а не готовая схема, и настоящий технический прогресс редко достигает полной готовности с самого начала.
User / Goal
↓
Agentic AI Layer (Reasoning + Planning)
↓
┌──────────┬──────────┬──────────┐
│ Web Agent│ API Agent│ DB Agent │
└──────────┴──────────┴──────────┘
↓ ↓ ↓
Browser APIs Database
↓ ↓ ↓
Validation / Result
MCP как связующая ткань
Model Context Protocol, MCP, — это та часть этой сферы, которая стоит того, чтобы уделить ей особое внимание. Можно рассматривать его как стандартный разъём между агентами и реальными возможностями, благодаря чему агент не просто описывает, что он собирается сделать, а действительно это делает.
Для тестирования это открывает возможности:
- подключение агентов к настоящим инструментам тестирования;
- структурированное взаимодействие с браузером;
- прямые операции с API;
- доступ к базам данных без необходимости каждый раз создавать новые пользовательские решения;
- перманентная память и контекст;
- повторно используемые библиотеки инструментов автоматизации.
Цикл работы становится таким: понять цель, выбрать необходимую возможность, использовать инструмент, наблюдать за результатом, определить следующий шаг. Это сильно отличается от подхода «шаг первый, шаг второй, шаг третий».
Тестирование API как возможность
Тестирование API не исчезнет, но его форма будет меняться. Вместо статической коллекции в Postman, выполняющей одинаковые проверки вечно, агент может:
- отправлять запросы, основанные на определённой цели;
- оценивать ответ в контексте, а не только с учётом кодов состояния;
- создавать новые сценарии в реальном времени;
- сотрудничать с другими агентами, когда для устранения сбоя необходимо комплексное исследование разных уровней.
Testing Objective → API Agent → Send Request → Analyze Response
→ Validate Result → Pass Result to Workflow
Это тестирование API, которое учитывает суть проверки, а не просто совпадение чисел.
Агенты базы данных заслуживают большего признания
Каждый SDET знаком с такой ситуацией: интерфейс показывает подтверждение успешности, API возвращает код 200 OK, но запись в базе данных так и не сохраняется. Ничего не указывает на проблему, если только кто-то не проверит данные напрямую.
Агент, осведомлённый о структуре базы данных, может автоматически запрашивать и проверять тестовые данные, анализировать серверную часть без необходимости каждый раз писать простой SQL-код, поддерживать тестирование, основанное на данных, межсистемное тестирование, а также выявлять ошибки, возникающие между различными слоями системы.
UI → API → Business Logic → Database
Дефект может проявиться только тогда, когда все четыре слоя проверяются одновременно, и именно здесь координируемые агенты находят своё применение.
Браузер как один из инструментов среди многих
В примерном проекте содержится скрипт web_surfer.py, который демонстрирует, как агент работает в реальной веб-среде, не как отдельный скрипт, а как одна из функций в составе целого набора.
Testing Goal → Agent → Web Interaction → Observation
→ Decision → Validation
Браузер больше не является полным инструментом тестирования. Он становится средством, к которому обращается агент при необходимости выполнения определенной задачи.
Предоставление автоматизации памяти
У большинства систем автоматизации «память рыбки-золотика»: каждая запуск начинается с нуля. Чтобы решить эту проблему, проект хранит небольшой файл memory.json. В нем сохраняются предыдущие действия, состояние рабочего процесса, контекст тестирования, важные наблюдения и результаты предыдущих запусков.
Test Objective → Current Context → Previous Actions
→ Agent Decision → New Action → Updated Context
Автоматизация с учетом контекста не воспринимает систему как чуждый объект при каждом запуске. Она формирует рабочую память, что ближе к способу действий опытного тестера.
Чем это не является
Усталость от ажиотажа вокруг ИИ — реальное явление, поэтому небольшая ясность помогает:
- Это не «ИИ заменяет тестеров».
- Это не готовый к использованию бот для тестирования.
- Это пока не фреймворк производственного уровня.
Это честный, постоянно развивающийся эксперимент с целью выяснения, как рассуждения, инструменты и память могут преобразить процесс тестирования качества, а также напоминание о том, что инженерный опыт по-прежнему направляет процесс. Цель не в автоматизации всего, а в интеллектуальной автоматизации.
Качественное тестирование качества по-прежнему зависит от анализа рисков, стратегии тестирования, знаний области, исследовательского тестирования, разумного проектирования автоматизации, возможности наблюдения и проверки результатов человеком. Агенты должны служить более эффективным партнером, а не заменой мышлению тестера.
Как выглядит структура репозитория
Для тех, кто хочет углубиться, вот структура примерного проекта. Файлы basics представляют собой основу для дальнейшей работы; файл с сценарием применяет эти основы, файл с селекторами группирует и выбирает необходимые функции, а файл с информацией о памяти хранит контекст.
AgenticAIAutoGen/
│
├── Framework/
├── basics1.py → basics6.py → progressive foundational examples
├── scenario1.py → applied automation scenario
├── selectorGroup.py → capability grouping/selection logic
├── web_surfer.py → web interaction experimentation
├── memory.json → agent memory/context storage
└── .gitignore
Эта технологическая стек включает Python с модулями OpenAI Agents, интеграцию MCP, тестирование API, проверку баз данных и автоматизацию браузера.
Кому это полезно
Этот эксперимент предназначен для инженеров по автоматизации тестирования и специалистов по разработке программного обеспечения, руководителей по качеству, архитекторов автоматизации тестов, инженеров по автоматизации с использованием ИИ и менеджеров проектов, рассматривающих возможности использования ИИ для улучшения процессов тестирования качества.
Какие перспективы
План развития амбициозен, поскольку эта область развивается очень быстро:
- рабочие процессы тестирования с участием нескольких агентов;
- более эффективное генерирование тестов, включая данные для тестирования;
- тестирование API с использованием ИИ;
- автономное тестирование в браузере;
- агенты для проверки баз данных;
- автоматический анализ сбоев и дефектов;
- интеграция с системами CI/CD;
- краткие отчеты о результатах тестов;
- полная оркестрация агентов.
Ничто из этого не заменяет основы. Все это работает на их основе.
Вывод
Будущее автоматизации тестирования, вероятно, заключается не в более быстром написании скриптов. Оно связано с созданием систем, способных:
- Понимать цель тестирования.
- Определять наиболее подходящий подход.
- Использовать соответствующие инструменты в веб-среде, через API и базы данных.
- Оценивать результаты.
- Адаптироваться и предоставлять инженерам полезную обратную связь.
Это превращает автоматизацию из простого инструмента для выполнения действий в средство, способное мыслить вместе с вами, предоставляя тестировщику более умного инженерного партнера вместо замены ему.