Что меняется в тестировании с использованием агентов для QA и в чём оно всё ещё уступает.
Комплексы с скриптовым управлением и функцией самовосстановления теряют работоспособность при изменении интерфейса. Агенты браузера, основанные на целях, сокращают объем технического обслуживания, но регулируемые процессы и нестандартные интерфейсы всё равно требуют внимания.
Источники: The Rise of Agentic Testing
При тестировании с использованием агентов браузерный агент получает цель теста и сам определяет последовательность действий. Тестировщик описывает ожидаемое поведение и критерии успешного прохождения теста, не пишет скрипты для каждого клика. Скриптовые наборы тестов теряют работоспособность при изменении структуры DOM, в то время как инструменты самовосстановления просто исправляют несрабатывающие способы поиска перед повторным запуском той же последовательности действий. Агент каждый раз заново планирует свой путь, поэтому изменения интерфейса больше не требуют корректировки способов поиска. Определение того, что считается правильным, выходит за рамки его возможностей, и это остается задачей того, кто отвечает за выпуск продукта.
Почему тестирование стало сложнее
В 2019 году появилась странная закономерность: идеально работающие тестовые процессы продолжали поставлять контент с бесконечным прокручиванием, в котором после просмотра второй страницы повторялись те же десять–двадцать строк. Большинство специалистов по тестированию с несколькими годами опыта могут рассказать подобные истории.
Тестирование уже некоторое время находится под сильным давлением, и какое-то время команды просто исправляли проблемы, не спрашивая, что изменилось. На самом деле многое изменилось: процесс выпуска обновлений ускорился, интерфейсы перешли от статического HTML к компонентам React, которые перерисовываются при каждой смене состояния. Флаги функций позволяют половине пользователей видеть экран, который тестовый набор никогда раньше не видел.
«Агентное тестирование» стало ответом индустрии на эти проблемы. Цель данного текста — не пропагандировать этот термин, а рассмотреть причины усиления сложности тестирования, что на самом деле означает «агентное» тестирование, почему это важно для тех, кто выполняет работу, и в чём его ограничения. Он предназначен для всех, кто пишет и проверяет тесты, а также для тех, кто отвечает за выпуск обновлений, когда что-то ломается в 2 часа ночи.
Скорость выпуска
Еженедельный цикл выпусков позволяет своевременно поддерживать тестовый набор в порядке. Ежедневные развертывания этого не позволяют, а когда команда выпускает код при каждом слиянии pull-реквеста, тестовый набор не может ждать уборки в пятницу — он должен быть готов к работе в производстве постоянно.
Более сложные интерфейсы
Сложные пользовательские интерфейсы становятся всё труднее в обработке, особенно когда компоненты генерируются быстро. Селектор, который работал в ручно созданной форме, может перестать функционировать в тот день, когда его заменит функция Autocomplete от MUI, поскольку структура DOM, поведение фокуса и порядок событий полностью меняются.
Расходы на техническое обслуживание
Есть ещё затраты, о которых люди редко говорят:
- Тест с использованием Playwright, который проходит локально, но теряет сигнал в CI из-за того, что индикатор загрузки остается видимым на 100 мс дольше.
- Локатор, связанный с третьим элементом контейнера типа flex, который перестаёт работать, когда дизайнер добавляет ещё одну кнопку.
- Половина времени, затраченного на спринт, ушла на обновление селекторов после того, как это называли «просто уборкой интерфейса».
В конце концов кто-то всегда вынужден заниматься этой уборкой, хотя это на самом деле не является его задачей.
Инстинктивным решением кажется написание ещё большего количества тестов. Однако это не укрепляет уверенность. Чем больше скриптовых тестов, тем сложнее их обслуживать, и каждый новый процесс превращается в ещё одну автоматизацию, которой приходится выдерживать следующие изменения интерфейса, что, скорее всего, приводит к её устареванию. В какой-то момент кажется, что набор тестов работает против вас.
Что означает «агентный» подход
Это слово используется настолько расплывчато, что перед дальнейшим обсуждением оно требует определения.
Тест на основе скрипта выполняется в строгом соответствии с заданными инструкциями в определенном порядке. Когда обстоятельства отклоняются от этого плана, тест теряет свою ценность. Автоматизация с функцией самовосстановления улучшает ситуацию, исправляя неисправные механизмы поиска элементов или пытаясь повторить неоднозначные действия, но она по-прежнему выполняет заранее написанный скрипт.
Тестирование с использованием агентов отличается. Программные агенты отслеживают состояние приложения и сами решают, какие действия предпринять дальше, без участия человека, контролирующего каждый шаг. На практике тестировщик указывает цели, но не описывает каждое взаимодействие. Вместо десятков строк кода Playwright или Selenium достаточно простого запроса, чтобы попросить агента проверить, может ли существующий клиент изменить способ оплаты, не меняя при этом свой адрес.
Это не означает, что агент хорошо понимает продукт. Это означает, что у агента есть достаточно контекста для действий в рамках этого продукта. Он не может заменить инженерную оценку. Агент может завершить процедуру оплаты, не заметив, что скидка для постоянных клиентов так и не была применена, или отметить законный заказ стоимостью 0,00 доллара как ошибку в ценообразовании, хотя на самом деле речь шла просто о использованной подарочной карте.
Поэтому люди по-прежнему определяют, что считается правильным, выявляют критические крайние случаи и решают, является ли сбой дефектом или просто неправильным пониманием того, как должно работать приложение. Ежедневные задачи также меняются: уделяется меньше времени написанию кода, а больше — анализу предложений агентов и определению того, где требуется дополнительная проверка или более тщательный анализ.
Изменения в интерфейсе
Проблема изменения интерфейса уже давно считается одной из самых серьезных. Изменение названия кнопки с «Continue» на «Next» или замена выпадающего списка на комбокс во время проверки доступности может вызвать цепную реакцию сбоев, даже если приложение работает нормально.
Некоторые платформы для тестирования с ИИ подходят к этой проблеме иначе. Они отслеживают реальные действия пользователей и создают модель работы приложения по экранам, указывая, что делает каждая страница или действие. Тесты затем генерируются на основе этой модели, а не на основе нестабильного отображения DOM.
Сами тесты основаны на целях. Тест формулируется как описание того, что должно произойти и что считается правильным, после чего агент перемещается по интерфейсу, как настоящий человек, нажимает на элементы и сравнивает результаты с заявленными ожиданиями.
Ничто из этого не исключает людей из процесса. Члены команды по-прежнему выбирают, какие рабочие процессы имеют наибольшее значение, определяют, что означает «правильное» решение для бизнеса, и анализируют области, требующие знаний продукта, а не только знаний интерфейса.
Как меняется работа
Когда уходит меньше времени на устранение сбоев в автоматизации, сама работа меняется. Часы, ранее тратившиеся на исправление элементов поиска или редактирование нестабильных скриптов, теперь могут быть использованы для расширения охвата, анализа рисков и выявления проблем, которые не может обнаружить автоматизация в одиночку.
Написание точных селекторов Selenium или запоминание API Playwright больше не являются редкими навыками. Настоящей ценностью становится способность к критическому мышлению. Это означает умение определять, каким этапам работы пользователя следует уделять наибольшее внимание, понимать, где сбой создаёт реальные бизнес-риски, и замечать, когда тест технически проходит, но не учитывает то, что действительно важно. Именно это всегда было самой сложной частью тестирования, и у команд просто не хватало на это времени.
Эти изменения также влияют на понимание качества у менеджеров по инженерии. Подсчёт количества выполненных тестов или написанных скриптов никогда не был надёжным показателем доверия, а большое количество тестов не гарантирует лучшего покрытия, особенно если половина из них нестабильна или игнорируется после изменений интерфейса. Более полезными являются следующие вопросы:
- Насколько быстро можно проверить выпуск?
- Насколько уверена команда перед выпуском?
- Сколько потребуется усилий, чтобы сохранить это уверенность со временем?
В чём оно уступает
Агентные тесты не заменяют все формы автоматизации, и представление об обратном вредно. Выделяются три основных случая.
Регулируемые среды. В сферах здравоохранения и финтеха выполнение операций часто должно быть детерминированным, с записями аудита и доказательствами того, что тест ведёт себя одинаково при каждом запуске. Адаптивное поведение может противоречить этому. Для процессов, которые ни в коем случае не должны отклоняться, необходимы чётко прописанные шаги, которые громко срабатывают при любых изменениях и оставляют читаемые следы действий и причин агента. Хорошая платформа позволяет команде задавать, насколько может адаптироваться каждый тест.
Безопасность производства. Немногие команды хотят, чтобы автономный агент действовал в реальной среде с правом оформлять заказы, редактировать данные клиентов или создавать тестовые данные в производственной среде. Большинство организаций решают эту проблему с помощью изолированных тестовых сред, временных учётных записей и строго контролируемых прав доступа.
Интерфейсы с плохой читаемостью. Приложения, построенные на принципе перетаскивания элементов, отрисовке на холсте или сильно настроенных внутренних рабочих процессах, не всегда предоставляют агенту необходимые указания. Целенаправленная автоматизация и человеческий надзор по-прежнему помогают в таких случаях.
Для различных задач тестирования требуются разные инструменты, и эти три не подходят для тестирования с использованием агентов, по крайней мере пока.
Начало работы
Основная проблема заключается в том, что программное обеспечение теперь выпускается быстрее, чем автоматизация может за ним поспеть, и агенты QA меняют эту ситуацию. Инженеры больше не пишут скрипты для каждого действия. Они определяют цель, проверяют предложения агента и вмешиваются там, где требуется человеческое суждение, в то время как система адаптируется к дальнейшим действиям интерфейса.
Те, кто рассматривает такой подход, не должны сразу заменять всю систему. Выберите бизнес-критический процесс, который часто меняется, например процедуру оформления заказа или настройку аккаунта, и сравните усилия по его обслуживанию в течение нескольких циклов выпусков. Это позволит получить реалистичное представление о том, подойдет ли такой подход команде.
Частые вопросы
Это то же самое, что самовосстановление? Нет. Самовосстановление исправляет запланированные тесты, тогда как тестирование с использованием агентов направлено на достижение цели и не следует заранее написанным скриптам.
Заменяет ли оно инженеров по контролю качества? Нет. Он сокращает объем работ по техническому обслуживанию тестов, но инженеры по-прежнему определяют бизнес-правила, проверяют результаты и расследуют сбои.
Можно ли использовать его вместе с существующим набором инструментов? Да. Большинство команд сначала запускают оба решения и сравнивают усилия, затрачиваемые на техническое обслуживание, со временем.
Подходит ли он для процессов, критичных с точки зрения соблюдения норм? Да, при наличии соответствующих механизмов контроля. В таких процессах можно выполнять четко определенные шаги с полным отслеживанием действий агента, благодаря чему критически важные тесты остаются детерминированными и поддающимися аудиту, а остальные тесты могут свободно адаптироваться.
Связанные материалы
- Ornith-1.0: Модели кодирования с открытыми весами от 9B до 397B под лицензией MIT — Что обещает версия Ornith-1.0 на тестах SWE-Bench и Terminal-Bench, как она обучает структуру с решением и какое это может означать для агентов для кодирования с закрытым исходным кодом.
- Практическое применение агентных аналитических систем: Slackbot, семантический слой и варианты покупки против разработки — Опыт специалиста по данным по созданию Slackbot для взаимодействия с данными, его внедрению, масштабированию семантического слоя, покупке сервиса Omni и почему важны были внедрение и необходимые навыки.