Головна / Статті

Припиніть виконувати бажання AI-агентів: процес, заснований на специфікаціях, для невеликих команд

Припиніть подавати бажання штучним інтелекту: процес, орієнтований на специфікації, для невеликих команд із конкурентним аналізом двома родинами моделей, тестуванням під час виконання, об’єднанням даних людьми та керуванням пам’яттю.

Видавець: REACTAPP.TOP7 хв читання1708 слів

Джерела: *A small dev team, a stack of AI agents, and the spec-first process that keeps them honest.*

Уявіть собі ШІ-агента, який створює функцію за двадцять хвилин. Запит на інтеграцію виглядає чудово: охайні відмінності, позитивні результати тестів, ввічликий опис. Проте він є неправильним, і команді знадобляться три дні, щоб розібратися в проблемі.

Модель у цій історії не була поганою — вона робила те, що їй було сказано. Проблемою були інструкції, які насправді були бажаннями. „Створіть сторінку, яка покаже X“ — це бажання, і швидкий, буквальний виконавець намагатиметься його задовольнити, здогадуючись про все, що не було сказано. Ці здогадки будуть правдоподібними, адже саме правдоподібність є тим, що створюють ці системи.

Зараз невелика команда відмовляється щось створювати, поки все не буде описано у письмовій формі, і цей опис не пройде перевірку на міцність перед тим, як з’явиться хоча б один рядок коду. Цей підхід називається розробкою, заснованою на специфікаціях. Саме він робить агентів надійними у групах, де потрібно створити більше програмного забезпечення, ніж є людей для цього. Люди приймають рішення, переглядають та об’єднують інформацію. Агенти виконують введення даних. Така схема працює лише тоді, коли агенти отримують щось більше, ніж просто бажання.

Що містить специфікація

Нічого не створюється, поки не існує короткий документ у форматі Markdown, який визначає три речі у такому порядку:

  1. Текуща проблема та причина, чому вона потребує уваги.
  2. Що буде істинним після вирішення проблеми, описано так, щоб користувач міг це перевірити?
  3. Що має залишатися абсолютно таким, як є, під час виконання роботи?

Останній пункт має важливе значення. Велика частина будь-якої чіткої специфікації полягає просто у позначенні ділянки, яку зміни не можна торкатися. Решта — це сценарії, тобто кожен крайній випадок, який може уявити автор, кожен з них описаний у форматі „якщо це, то те“.

Специфікації пишуться у вигляді дельт, а не як універсальні документи. Ось поточна поведінка, ось що саме буде відрізнятися. Специфікація, яка намагається описати все, у кінцевому підсумку нічого не описує.

Дві ШІ спочатку атакують специфікацію

Коли чернетка готова, її отримують два аналізатори на основі ШІ. Вони походять від різних постачальників та мають різну структуру моделей, а їхнє єдине завдання — знайти способи, через які план може зазнати невдачі. Команда дала цій сесії прізвисько „pow-wow“. Змішування структур є навмисним: аналізатори з однієї групи схильні ігнорувати одні й ті самі речі, як брати та сестри, які підтримують один одного у розповідях. Саме розбіжності є тим, чого ми прагнемо.

Висновки повертаються до специфікації. Об’єкція перетворюється на вимогу. Лише тоді, коли специфікація більше не містить помилок, відправляється фахівець з розробки.

У такій послідовності є своя причина. Одного разу фахівця з розробки відправили, поки ще тривала перевірка. Перевірка виявила проблеми, які зробили половину коду недійсною, і команда двічі оплатила роботу над цим кодом. З того часу правило є незмінним: фахівець з розробки чекає, поки обидва перевіряючі не подадуть звіти та поки кожен виявлений недолік не буде внесений до специфікації, навіть якщо здається, що пропуск наступних кроків не завдасть шкоди.

Ця зустріч принесла результати несподіваним шляхом. Один із специфікаційних документів назвав існуючий інструмент для перевірки дозволів та, ґрунтуючись лише на назві, припустив, що він перевіряє. Один із рецензентів відкрив код та виявив щось набагато вужче: цей інструмент застосовувався лише до первісного заявника та лише в одному стані. Назви функцій можуть вводити в оману. Тому існує тверда звичка — читати реалізацію ще до того, як про неї згадується у специфікації. Ця звичка врятувала більше вихідних, ніж будь-яке правило перевірки коду.

Процес від початку до кінця

Для змін реального масштабу послідовність є такою:

spec → adversarial review → apply findings → build → diff review → runtime testing → human testing → human merge

Кілька моментів заслуговують на коментарі.

Розробнику надаються лише технічні вимоги, більше нічого. Він ніколи не бачить журналу чату чи прохань про додаткові функції. Усе, що має знати розробник, має бути описано в документі, адже все, чого там немає, може бути предметом здогадок.

Тестування під час роботи перевіряє те, що робить програмне забезпечення, а не те, як виглядають файли. Просте проходження тестів мало що говорить. У одному з ранніх випадків повідомлення про підтвердження мало з’явитися на екрані, але цього не сталося, оскільки до коду, який його відображав, не вдалося отримати доступ. Різниці та тести були у порядку. Ніхто не намагався діяти неправильно як користувач, а різниця не може відобразити повідомлення, якого немає. Тепер помилки вводять навмисно: надсилають непотрібний контент, перевіряють, чи справді помилка видима, і лише тоді позначають роботу як протестовану.

Людський крок — це коли хтось швидко прокликає функції в додатку, як нетерплячий користувач, і саме в цьому суть. Існує категорія помилок, які уникають кожного автоматизованого перевірки: функція працює, але людина не може її знайти. Відсутні екрани створення, безвихідні маршрути навігації. Роздратовані кліки слугують тестом прийняття та заслуговують на більше довіри, ніж будь-який опис.

Об’єднання залишається у руках людини. Агенти ні не об’єднують, ні не розгортають код. Швидкість — це добре, але pull request має чесно вказувати, які перевірки були виконані, а які пропущені, а оркестратор одразу позначає пропущені етапи як такі. Коли більша частина команди — це машини, які перевіряють інші машини, чесні записи є все.

Обсяг процесу залежить від розміру змін. Незначна корекція тексту перетворюється на пряму заявку на внесення змін. Зміни, пов’язані з безпекою, правами доступу та моделлю даних, проходять ретельну перевірку. Нав’язування складних процедур для тривіальної роботи призводить до її провалу, а довіра до простих процедур для серйозних завдань руйнує проект.

Як тільки зміни впроваджені, їхній опис зберігається разом із кодом. Репозиторій поступово створює письмовий запис усіх рішень, тож на запитання про те, чому щось працює певним чином, часто є відповідь, датована ще до самого коду.

Перевірка двома командами, які не писали код

Метою цього етапу є аналіз плану. Готовий код передається окремій комісії, і саме цю версію має спочатку прийняти інша команда.

Builder – це надійний інструмент, обраний через те, що він постійно працює та коштує недорого за кожен токен. Гроші на преміум-функції зберігаються для подальшого аналізу у вигляді двох передових моделей з двох різних лабораторій, які не пов’язані з Builderом. Їхні завдання свідомо різняться. Один з них виконує роль старшого інженера: читає відмінності порівняно зі специфікацією рядок за рядком, а потім безпосередньо працює з процесом будування, намагаючись зламати нову функцію. Інший є обов’язковою перевіркою – жодні суттєві зміни не можуть бути приєднані без його схвалення, навіть якщо вони здаються незначними.

Два лабораторії замість двох копій найсильнішої моделі? Споріднені моделі мають спільні риси. Рецензент схильний вибачати код, написаний у його стилі, та стикається з труднощами під час аналізу коду від стороннього автора. Якщо обидва підходи вказують на один рядок з різних боків, це майже напевно дефект. Якщо вони суперечать один одному, у специфікації була прогалина, яку краще виявити за допомогою двох моделей, ніж за допомогою користувача.

Ці „місця“ не є постійними. Одного рецензента відсторонили після того, як його модель протягом усього часу роботи повторювала одне й те саме висновок понад сто разів. Великі моделі для міркувань можуть застрягати у циклах, коли їм надається запит різного розміру. „Місце“ рецензента змінили, але умови залишилися незмінними.

Агент, який усе тримає разом

Усе це не є чимось екзотичним. Специфікації, рецензії та тестування — це старі ідеї в новому вигляді. Важче передбачити те, наскільки важлива координація дій та скільки агентів потрібно для того, щоб усе в системі функціонувало належним чином.

Команда використовує Hermes Agent — фреймворк агентів з відкритим кодом від Nous Research — як оркестратора. Він не створює код, а керує процесом, що є, ймовірно, більш цінною роботою. Три характеристики забезпечують цю роботу ефективно.

Пам’ять. Більшість асистентів починають кожну розмову без пам’яті про попередні діалоги та у дружньому тоні. Hermes зберігає контекст між сеансами, тож рішення залишаються в силі. Він знає рівні ризиків, розуміє, що розробники ніколи не оцінюють власну роботу, та знає, що перед кожною дією відбувається обговорення, адже минулі помилки записуються. Якщо хтось поспішає та хоче обійти правила, агент відмовляє: процес контролюється тим, хто ідеально пам’ятає усе.

Навчання. Невдача перетворюється на аналіз причин, а цей аналіз стає навичкою; у Hermes це означає документ про процедуру, який завантажується під час подальших сеансів, коли це необхідно. Через шість місяців агент має купу ретельно складених нотаток, зроблених на основі реальних інцидентів, і спочатку читає ті, що є найактуальнішими. Знання, які раніше були лише в голові одного втомленого інженера, тепер зберігаються в системі контролю версій.

Делегування. Завдання зі створення та перевірки передаються підагентам. Оскільки Hermes працює з будь-якими постачальниками, ролі можна вільно прив’язувати до моделей: економічні моделі виконують завдання зі створення, а дорогі розумні моделі — завдання з перевірки. Якщо у певної моделі є проблеми, її просто замінюють, і більше нічого не змінюється.

Що це дає та яка це коштує

Тут немає відсотка продуктивності. Такі цифри неможливо перевірити, і майже кожен, хто їх публікує, щось продає. Ось твердження, які можна обґрунтувати:

  • Щотижнева доставка відбувається, незважаючи на те, що ніхто не працює над цим повний робочий день.
  • Радіус поширення ефекту контролюється відповідно до специфікацій у встановлений час, перш ніж контроль стане дуже дорогим.
  • Будь-хто, хто запитує, чому програмне забезпечення поводиться певним чином, може знайти відповідь у записах.
  • Роль людини змінюється – від роботи за клавіатурою до прийняття рішень та натискання кнопок.

Це краща, але водночас складніша посада. Написання точних специфікацій означає знати, чого ви хочете, ще до того, як це побачите. Оскільки реалізація є дешевою, точність стала дефіцитною навичкою.

Недоліки справжні. Написання технічних специфікацій вимагає дисципліни, а бажання скоротити процес навіть під час, здавалося б, незначних змін призводить до зриву такого типу процесів. AI-рецензенти можуть засипати вас дрібними скаргами, тож їх сортування — це навичка, яку потрібно розвивати. У тижні, коли вимоги вже очевидні, весь процес стає повільним. І йому потрібна увага: якщо залишити його без нагляду, він руйнується, як і будь-який людський процес.

Питання вже не в тому, чи може AI писати код, адже він це може. Тепер важливо те, чи можете ви точно сформулювати, що має робити програмне забезпечення, та дотримуватися власного процесу, коли часу обмаль. Без цього жодна модель не допоможе — вона просто швидше призведе до вашого збентеження.

Пов’язана література

  • Основи TanStack Query: запити, кешування, мутації та скасування — Дізнайтеся, як useQuery, queryKey, staleTime, gcTime, useMutation та скасування взаємодіють для керування станом сервера в React без необхідності використання власних fetch-ефектів.