Тестирование на ранних этапах с использованием агентов для кодирования: выбор наименее надежного уровня тестирования
Тестирование с смещением влево с использованием агентов для кодирования: инженеры по качеству читают репозиторий, выбирают наименее надежный уровень тестирования для каждого сценария и исключают медленные тесты в браузере. С примером.
Источники: Shift-Left Testing in the AI Era: How Coding Agents Can Change the QA Engineer’s Role
Тестирование на ранних этапах жизненного цикла разработки считается хорошей практикой уже много лет, но её редко соблюдают должным образом. Искусственные интеллектуальные агенты для программирования, возможно, наконец позволят инженерам по контролю качества найти практический способ эффективно применять этот подход.
Перенос процессов проверки на более ранние этапы означает включение тестирования на уровне модулей, компонентов, API и интеграции, а не выявление каждого дефекта с помощью тестов от начала до конца или автоматизации пользовательского интерфейса. Сама идея не нова. Однако её реализация всегда оказывалась сложнее, чем её описание, причем одной из основных причин является разница между знаниями в области контроля качества и знаниями на уровне кода.
Инженер по контролю качества может глубоко понимать бизнес-сценарии. Типичные вопросы выглядят так:
- Что произойдёт, если срок действия скидки истек?
- Что произойдёт, если сумма платежа превысит установленный лимит?
- Что произойдёт, если API вернёт недопустимое значение?
- Что произойдёт, если результат вычислений будет недействительным?
Это хорошие сценарии. Сложнее ответить на вопрос о том, где следует проводить тестирование каждого из них. Покрывает ли это модульный тест? Следует ли он к слою компонентов? Требуется ли тест интеграции? Или действительно необходим браузер на всех этапах? Исторически именно здесь сталкивались инженеры по тестированию.
Почему командам по тестированию было трудно перейти к раннему тестированию
Модульные и тесты интеграции тесно связаны с реализацией. Разработчик, создавший функцию, знает, где находится бизнес-логика, какие классы или функции участвуют в её работе, что можно имитировать, а какие зависимости находятся вне кода.
Инженер по тестированию может точно знать, что необходимо проверить, но при этом не обладать достаточными знаниями в области реализации, чтобы с уверенностью утверждать, что тот или иной сценарий не должен проходить через интерфейс пользователя, поскольку его можно прямо обработать на уровне модулей. Поэтому во многих командах специалисты по тестированию составляют сценарии, спрашивают у разработчиков, какие тесты на уровне модулей или интеграции уже существуют, и затем опираются на их ответы, поскольку независимая проверка степени покрытия на уровне кода является сложной задачей.
В этом обмене мнениями никто не прав и не ошибается. Это проблема видимости. QA несет ответственность за бизнес-риски, а разработчики — за реализацию, и когда эти две группы работают раздельно, подход «shift-left» становится лишь предметом обсуждения, а не реальной стратегией. В результате сценарии трансформируются в уровень пользовательского интерфейса просто потому, что именно этот уровень QA умеет контролировать. Это одна из причин увеличения объема автоматизационных инструментов: больше запусков браузеров, больше зависимостей от среды, больше проблем с тестовыми данными, больше работ по техническому обслуживанию и более медленная обратная связь.
Что меняют кодирующие агенты
Инструменты вроде Claude Code и GitHub Copilot теперь могут работать непосредственно с репозиторием, анализируя его структуру и содержимое. Представьте функцию с 20 подготовленными тестовыми сценариями. Вместо того чтобы сразу решать, какие из них автоматизировать с помощью Playwright или Selenium, инженер по тестированию может сначала попросить кодирующего агента проанализировать репозиторий и определить, где каждый сценарий лучше всего применяется: какие относятся к уровню модулей, какие требуют тестов компонентов или интеграции, какие подходят для API, а какие действительно нуждаются в полноценной автоматизации «от начала до конца».
Это другой подход к автоматизации тестирования. Инженеры по тестированию больше не рассматривают приложение только снаружи. Искусственный интеллект может изучить реализацию и показать, где находится настоящая бизнес-логика, что делает концепцию пирамиды тестов гораздо более практичной.
Пример процесса оформления заказа
Рассмотрим процесс оформления заказа в интернет-магазине. Инженер по тестированию готовит пять сценариев:
- Аннулированный купон отклоняется.
- Недействительный купон отклоняется.
- Общая сумма заказа пересчитывается правильно.
- Ситуация с неудачной оплатой обрабатывается должным образом.
- При успешном оформлении заказа отображается подтверждение.
При традиционном подходе все пять сценариев, вероятно, становятся тестами в браузере. Теперь предположим, что агент сканирует репозиторий. Он обнаруживает, что проверка купонов находится в изолированной функции бизнес-логики, поэтому первые два сценария идеально подходят в качестве тестов единиц. Расчёт стоимости заказа также реализован отдельно и может проверяться без браузера, поэтому третий сценарий относится к более низкому уровню. Ситуация с неудачной оплатой, возможно, лучше подходит в качестве теста интеграции или на уровне сервиса. Только полностью успешная процедура оформления заказа требует тестирования «конец-конец» в браузере.
Пять тестов интерфейса превращаются в один тест интерфейса плюс четыре более быстрых теста нижнего уровня. Именно такого результата добивается подход «смещения на ранний этап», и изменилось то, что теперь в отделе QA есть практический способ влиять на принятие решений.
Разработчик остается вовлечённым
Слепое доверие к агенту вместо слепого доверия к разработчику — не то, к чему следует стремиться. Искусственный интеллект может ошибаться: он может неправильно интерпретировать архитектуру, упустить зависимости или предложить неверные границы тестирования, поэтому он не должен становиться окончательным источником авторитета.
Его значение представляет собой гораздо более надежную отправную точку. Вместо того чтобы спрашивать разработчика, можно ли охватить тот или иной сценарий с помощью тестирования на уровне модулей, специалисты по качеству могут сказать что-то вроде: эта проверка связана с этим сервисом и, по-видимому, не зависит от интерфейса пользователя, поэтому её можно охватить на уровне модулей вместо добавления ещё одного теста в браузере. Это гораздо более содержательный технический диалог. Искусственный интеллект не заменяет разработчика в процессе раннего тестирования; он даёт специалистам по качеству достаточный технический объём знаний, чтобы уверенно участвовать в обсуждениях.
Предоставление агентам контекста тестирования
Агенты, занимающиеся программированием, становятся гораздо более полезными, когда они знают философию тестирования команды, а не только её код. Именно для этого существуют инструкции к репозиторию, файлы инструкций для агентов или файлы с навыками. Многие агенты читают постоянно загружаемый файл с инструкциями. CLAUDE.md, размещённый в корне репозитория, является одним из таких файлов.
Простая версия может начинаться с заголовка:
# Testing Strategy Instructions
А теперь продолжим с самими правилами:
- Prefer the lowest reliable testing layer for any new scenario.
- Do not recommend UI automation if the same behavior can be
validated reliably at a lower layer.
- Before suggesting a test, identify what unit, API, integration,
and end-to-end frameworks already exist in this repo.
- Explain *why* a scenario belongs to a specific layer.
- Flag duplicate coverage — check if a scenario is already
tested before recommending a new test.
Точный формат варьируется в зависимости от инструмента, но принцип остается прежним: необходимо предоставить агенту достаточно контекста, чтобы он анализировал код с точки зрения стратегии тестирования, а не просто как код.
Начинайте с уровня, а не с инструмента
Частой ошибкой при автоматизации является начало работы с инструментом. Команда, использующая Playwright, спрашивает, как автоматизировать тот или иной сценарий в Playwright, а команда, использующая Selenium, задаёт аналогичный вопрос по Selenium. Лучшим вопросом будет то, какой является наименее зависимый надёжный уровень, на котором можно протестировать поведение.
Иногда ответом всё равно остаётся UI, поскольку многие процессы действительно требуют проверки на уровне браузера. Уровень UI следует выбирать потому, что этого требует сценарий, а не потому, что QA-инженеры не могут увидеть то, что находится под ним. Агенты идеально подходят для устранения этого разрыва.
Что меняется для инженеров QA
Основные навыки остаются прежними: понимание бизнес-рисков, выявление крайних случаев, разработка значимых сценариев и определение того, что требует полного покрытия. Один новый навык приобретает большую ценность — это использование кодирующих агентов для изучения того, как на самом деле реализовано приложение, а затем проверка полученных результатов с командой разработчиков. Прежде чем автоматизировать сценарий, задайте агенту следующие вопросы:
- Где находится бизнес-логика для этого сценария?
- Существует ли уже тест, покрывающий его?
- От чего зависит сценарий, и является ли он изолированным или тесно связанным с интерфейсом?
- Какой слой является самым быстрым и надежным для получения реальной обратной связи?
Это гораздо ближе к истинному подходу тестирования с самого начала.
Почему это, возможно, наконец укоренится
Принцип смещения влево на теоретическом уровне всегда казался разумным. Однако во многих командах отдел тестирования не обладал достаточной информацией на уровне кода, чтобы его реализовать. Специалисты по программированию меняют ситуацию, помогая отделу тестирования изучать репозитории, определять границы реализации, анализировать существующие тесты и предлагать подходы для каждого сценария.
Это не означает, что искусственный интеллект предоставит идеальную структуру тестов. Архитектура команды, устаревшие системы, ответственные лица, сроки и инженерная культура по-прежнему имеют значение. Но одно препятствие явно сокращается. Утверждение «У меня недостаточно знаний о коде, чтобы понять, к какому тесту относится этот случай», становится всё труднее оправдать, когда существуют инструменты для поиска ответа. Будущее автоматизации заключается в написании правильных тестов на соответствующем уровне, а не в их увеличении.
Часто задаваемые вопросы
Что такое тестирование смещения влево? Это тестирование на более ранних этапах жизненного цикла, при котором проверка выполняется на уровне модулей, компонентов, API и систем интеграции вместо того, чтобы опираться в основном на тестирование «от начала до конца» или автоматизацию пользовательского интерфейса.
Почему это сложно для команд QA? Специалисты QA обычно хорошо понимают бизнес-риски, но не могут видеть процесс реализации, поэтому без помощи разработчиков не могут самостоятельно определить, к какому уровню относится тот или иной сценарий.
Как помогают агенты для кодирования? Агент может проанализировать репозиторий и указать, на каком уровне лучше всего применить тестирование — на уровне модулей, компонентов, API, систем интеграции или «от начала до конца», что предоставляет специалистам QA возможность видеть процесс реализации, которой раньше не было.
Заменяют ли агенты разработчиков в стратегии тестирования? Нет. Агенты могут неправильно оценить архитектуру или упустить зависимости, поэтому их рекомендации необходимо проверять с командой разработчиков и не следует считать окончательными.
Что должно входить в файл инструкций, ориентированный на QA? Предпочтение наименее надежному уровню тестирования, правило против рекомендации автоматизации интерфейса, когда работает более низкий уровень, сначала проверка существующего уровня покрытия и объяснение того, почему тот или иной сценарий соответствует своему уровню.
Связанные материалы
- Практические заметки: Ornith 1.0 снова делает локальных агентов для кодирования достойными тестирования — Пошаговое руководство по практическим заметкам: Ornith 1.0 снова делает локальных агентов для кодирования достойными тестирования: контракты, проверки и готовые блоки кода для команд, использующих эту модель.