Главная / Статьи

Прекратите передавать ИИ-агентам желания: процесс, основанный на спецификациях, для небольших команд

Прекратите передавать ИИ-агентам пожелания: процесс, основанный на спецификациях, для небольших команд с конкурентным анализом двумя семействами моделей, тестами во время выполнения, слиянием данных вручную и управлением памятью.

Издатель: REACTAPP.TOP7 мин чтения1708 слов

Источники: *A small dev team, a stack of AI agents, and the spec-first process that keeps them honest.*

Представьте ИИ-агента, который создаёт функцию за двадцать минут. Запрос на интеграцию выглядит отлично: аккуратные различия в коде, прошедшие тесты с зелёным статусом, вежливое резюме. Однако в нём есть ошибка, разобраться с которой команде потребуется три дня.

Модель в этом примере не была плохой — она делала то, что ей было приказано. Проблема заключалась в самом указании, которое на самом деле было желанием. «Создайте страницу, показывающую X» — это желание, и быстрый, буквальный исполнитель попытается его выполнить, угадывая всё, что не сказано. Его догадки будут казаться правдоподобными, потому что именно правдоподобие и является результатом работы таких систем.

Сейчас небольшая команда отказывается что-либо создавать, пока всё не будет описано в письменной форме, причем это описание должно выдержать строгую проверку ещё до того, как появится хотя бы одна строка кода. Такой подход называется разработкой, основанной на спецификации. Именно он делает агентов надёжными в ситуациях, когда не хватает людей для разработки большого объёма программного обеспечения. Люди принимают решения, проводят проверки и сливают изменения. Агенты же занимаются набором кода. Такая схема работает только тогда, когда агенты получают нечто большее, чем просто указание.

Что включает спецификация

Ничего не начинается с разработки, пока не появляется краткий документ в формате Markdown, в котором в указанном порядке определяются три аспекта:

  1. Текущая проблема и причина, по которой она требует внимания.
  2. Каким будет результат после решения проблемы, описанный так, чтобы пользователь мог его проверить?
  3. Что должно оставаться точно таким же во время выполнения работы?

Последний пункт имеет удивительно большое значение. Значительная часть любого четкого спецификационного документа заключается просто в обозначении областей, к которым изменения не допускаются. Остальное — это сценарии, то есть все крайние случаи, которые может представить автор, каждый из которых описывается в формате «если это, то то».

Спецификации составляются в виде дельт, а не как универсальные документы. Здесь описывается текущее поведение, здесь указано, в чем именно будет разница. Спецификация, пытающаяся описать все, в итоге ничего не описывает.

Два ИИ сначала атакуют спецификацию

Когда черновик готов, им его передают два ИИ-рецензента. Они приходят от разных поставщиков и имеют разную происхожденность моделей, и их единственная задача — найти способы, при которых план может сорваться. Команда дала этой сессии прозвище «pow-wow». Смешивание происхождений моделей делается намеренно: рецензенты из одной группы склонны упускать из виду одни и те же моменты, как братья и сестры подтверждают друг другу рассказы. Именно разногласия и нужны здесь.

Результаты проверок вносятся обратно в спецификацию. Претензия превращается в требование. Только когда спецификация больше не содержит ошибок, отправляется исполнитель задачи.

За таким порядком стоит определенная история. Однажды исполнителя отправили, пока еще шла проверка. В результате проверки были обнаружены ошибки, сделавшие половину кода недействительной, и команда дважды оплатила работу над этим кодом. С тех пор правило стало неукоснительным: исполнитель ждет, пока оба рецензента завершат свою работу и пока каждая выявленная ошибка будет занесена в спецификацию, даже если на первый взгляд кажется, что пропустить некоторые этапы безопасно.

Эта встреча принесла результаты в неожиданных формах. Один из спецификаций назвал существующий инструмент для проверки разрешений и, исходя лишь из названия, предположил, что он проверяет. Один из рецензентов открыл код и обнаружил, что его функционал гораздо ограниченнее: он применялся только к первоначальному заявителю и только в одном определенном состоянии. Названия функций могут вводить в заблуждение. Поэтому существует твердое правило: читать реализацию до того, как о ней упоминается в спецификации. Это правило спасло больше выходных, чем любое правило проверки кода.

Полный процесс от начала до конца

Для изменений реального масштаба последовательность действий выглядит следующим образом:

spec → adversarial review → apply findings → build → diff review → runtime testing → human testing → human merge

Несколько моментов заслуживают комментария.

Разработчику предоставляются только технические требования, больше ничего. Он никогда не видит логов чатов или случайных запросов на дополнения. Все, что необходимо знать разработчику, должно быть указано в документе, поскольку всё, чего там нет, может быть предметом догадок.

Тестирование во время работы проверяет функциональность программного обеспечения, а не его внешний вид. Успешное прохождение тестов само по себе мало что говорит. В одном из ранних инцидентов сообщение об проверке должно было появиться на экране, но этого не произошло, так как к коду, отвечающему за его отображение, не было доступа. Различия в коде и результаты тестов были в порядке. Никто не пытался действовать неправильно в качестве пользователя, а различия в коде не могут отобразить сообщение, которого нет. Теперь ошибки вносятся намеренно: отправляются бесполезные данные, подтверждается, что ошибка действительно видна, и только после этого работа считается протестированной.

Человеческий шаг — это когда кто-то быстро пролистывает приложение, как нетерпеливый пользователь, и именно в этом суть. Одна категория ошибок ускользает от любой автоматизированной проверки: функция работает, но человек не может её найти. Отсутствуют экраны создания, навигация ведёт в тупик. Раздражённые клики служат тестом на приемлемость и вызывают больше доверия, чем любой отчёт.

Слияние кода всё равно выполняется человеком. Агенты ни сливают, ни развертывают код. Скорость важна, но пул-запрос должен честно указывать, какие проверки были выполнены, а какие пропущены, причём оркестратор сразу же помечает пропущенные этапы как таковые. Когда большая часть команды состоит из машин, проверяющих другие машины, честные записи имеют первостепенное значение.

Объем процесса соответствует масштабу изменений. Небольшая корректировка текста превращается в прямой запрос на внесение изменений. Изменения, касающиеся безопасности, прав доступа и структуры данных, проходят через всю полную процедуру. Навязывание сложных процедур для тривиальных задач убивает их эффективность, а доверие к простым процедурам для важных задач разрушает проект.

Как только изменения внедряются, их описание сохраняется вместе с кодом. Репозиторий постепенно формирует письменную запись всех принятых решений, поэтому на вопрос о том, почему что-то работает определенным образом, часто есть ответ, датированный еще до самого кода.

Проверка двумя командами, которые не писали код

Цель совещания — обсуждение плана. Готовый код рассматривается отдельной группой, и именно этот вариант должна сначала принять другая команда.

Инструмент Builder — это надежный рабочий инструмент, выбранный за то, что он постоянно работает и стоит недорого за токен. Деньги на премиум-функции сохраняются для дальнейшего анализа в виде двух передовых моделей из двух разных лабораторий, не связанных с Builder. Их задачи специально различаются. Один из них выполняет роль старшего инженера: он читает отличия между версиями по строкам в соответствии с спецификацией, а затем работает непосредственно с текущей версией продукта, пытаясь нарушить работу новой функции. Другой инструмент является обязательным этапом проверки — без его одобрения никакие существенные изменения не могут быть внесены, какими бы незначительными они ни казались.

Два лабораторных экземпляра вместо двух копий самой мощной модели? Связанные модели разделяют общие особенности. Рецензент склонен прощать код, написанный по его собственному образцу, но сталкивается с трудностями при работе с кодом, созданным кем-то другим. Если оба источника указывают на одну и ту же строку из разных направлений, это почти наверняка ошибка. Если же они противоречат друг другу, в спецификации была пробела, что легче обнаружить с помощью двух моделей, чем с помощью пользователя.

Эти «места» не являются постоянными. Один рецензент был отстранён после того, как его модель целый период времени повторяла одно и то же заключение более ста раз. Большие модели для логических вычислений могут заходить в бесконечный цикл при получении запроса определённого размера. Его «место» было заменено, но сама система осталась прежней.

Агент, который всё объединяет

Всё это не является чем-то необычным. Спецификации, рецензии и тестирование — это старые идеи в новом обличии. Сложнее предсказать, насколько важна координация действий и сколько агентов требуется для того, чтобы всё в системе функционировало слаженно.

Команда использует Hermes Agent — фреймворк агентов с открытым исходным кодом от Nous Research — в качестве оркестратора. Он не занимается написанием кода, а выполняет управление процессами, что, возможно, является более важной задачей. Три особенности обеспечивают успешную работу этого решения.

Память. Большинство помощников начинают каждый чат с нулевым запоминанием и дружелюбным тоном. Hermes сохраняет контекст между сессиями, поэтому принятые решения остаются в силе. Он знает уровни риска, понимает, что разработчики никогда не оценивают свою собственную работу, и знает, что перед каждым выполнением задания проводится совещание, поскольку прошлые ошибки записываются. Если кто-то спешит и хочет обойти определенные правила, агент отказывает: процесс контролируется тем, кто идеально помнит все правила.

Обучение. Неудача превращается в анализ причин, а этот анализ становится навыком; в системе Hermes это означает документ с процедурами, загружаемый в последующие сессии при необходимости. Через шесть месяцев агент имеет под рукой множество тщательно составленных заметок, основанных на реальных инцидентах, и сначала читает наиболее релевантные из них. Знания, ранее хранившиеся в голове одного уставшего инженера, теперь находятся в системе контроля версий.

Делегирование. Задачи по созданию и анализу передаются подагентам. Поскольку Hermes работает с любыми поставщиками, роли могут свободно соотноситься с моделями: экономичные модели выполняют работу по созданию, а дорогостоящие — анализ. Если у какой-либо модели возникают трудности, её просто заменяют, и больше ничего не меняется.

Что это даёт и сколько это стоит

Здесь нет процентов производительности. Такие цифры невозможно проверить, и почти все, кто их публикует, что-то продают. Вот утверждения, которые можно обосновать:

  • Регулярная доставка осуществляется, несмотря на отсутствие штатного сотрудника, занимающегося этим полный рабочий день.
  • Радиус поражения остается в пределах заданных параметров в течение необходимого времени, пока стоимость мер по его сдерживанию не становится слишком высокой.
  • Любой, кто спрашивает, почему программное обеспечение ведет себя определенным образом, может найти ответ в документации.
  • Задачи сотрудника меняются: от работы с клавиатурой к принятию решений и нажатию кнопок.

Это более значимая, но в то же время более сложная роль. Написание точных технических требований подразумевает знание желаемого результата еще до его визуализации. Поскольку реализация стала дешевой, точность превратилась в редкий навык.

Недостатки действительно существуют. Написание технических спецификаций требует дисциплины, а стремление сократить затраты при, как кажется, незначительных изменениях приводит к срыву всего процесса. Ревизоры на основе ИИ могут засыпать вас мелкими жалобами, поэтому умение их сортировать — это навык, который необходимо развивать. В недели, когда требования уже очевидны, весь процесс кажется медленным. К тому же он требует постоянного внимания: если его бросить, он будет деградировать, как и любой человеческий процесс.

Вопрос уже не в том, может ли ИИ писать код, потому что он может. Теперь важно то, можете ли вы точно определить, что должно делать программное обеспечение, и придерживаться собственного процесса, когда времени мало. Без этого ни одна модель не поможет — она лишь ускорит появление вашей путаницы.

Связанные статьи

  • Основы TanStack Query: запросы, кэширование, мутации и аннулирование — Узнайте, как useQuery, queryKey, staleTime, gcTime, useMutation и механизм аннулирования взаимодействуют друг с другом для управления состоянием сервера в React без необходимости написания собственных функций загрузки данных.