Галоўная / Артыкулы

Перастаньце задаваць агентам AI бажанні: працэс, які спачатку базуецца на спецыфікацыях, для невелікіх команд.

Парадокс: перэстаньце задаваць бажанні AI-агентам: працэс, які спачатку базуецца на спецыфікацыях, для маленькіх каманд з адварсарскім адзінакоўваннем двума сем’ямі модэляў, тэстамі пад час выканання, злучэннем дадзеных людзьмі і керуваннем памяцю.

Выдавец: REACTAPP.TOP7 хв чытання1708 слоў

Крыніцы: *A small dev team, a stack of AI agents, and the spec-first process that keeps them honest.*

Уявіце агента ІІ, які стварыць функцыю за дваццаць хвілін. Запрос пра перэйманне выглядае чудова: апранутыя разніцы, паспэльныя тэсты, ввічлівы падсумак. Але ён таксама некарэктны, і командзе патрэбны тры дні, каб усё раз’ясніць.

Мадэль у гэтай історыі не была паслабая. Яна рабіла тое, што яй было сказана. Проблема была ў інструкцыі, якая насправе была прашаннем. «Стварыць сторанку, якая пакажае X» — гэта прашанне, і швыдкі, буквальны віконавець задовольніць яго, здагадваючыся пра все, што не сказана. Ція здагадкі будуць правдопадобнымі, бо правдопадобнасць — гэта тое, што ствараюць такія сістэмы.

Адзін маленькі каманды сёньчы адмовяецца ствараць што-небудзь, пакуль усё не будзе опісана пісьмова, а гэты опіс не перажыў б працэю над кодам. Людзі называюць гэты падход развіццю, адмовяючыся ад думак, — спецыфікацыя-кераванне. Самэўсёле гэта робіць агентаў надзеянымі для групы, у якой больш програмнага забава, чым людзей, якія яго могу стварыць. Людзі прымяюць рашэнні, пераглядаюць і з’едынаюць інфармацыю. Агенты выкананяюць работу з набіранням тэксту. Такі падход працюе толькі тады, калі агенты отрымаюць не проста бажанне, а ўсё, што можна рэалізаваць.

Што містыць спецыфікацыя

Нічога не ствараецца, пакуль не будзе існаваць короткі документ у фармаце Markdown, у яком будуць узгаданы тры пункты, у такой спраўе:

  1. Тэкучая проблема і прычына, чаму яна заслуговае на увагу.
  2. Што будзе правдай пасля таго, опісана так, каб корыстнік могаў гэта пераканацца?
  3. Што павінна застацца абсолютна такой, якая ёсць, пакуль трывае праца?

Пасунк з заканчыку мае значны значэнне. Большая частка будзь-якага рэалістычнага спецыфікацыяна — гэта проста пазначэнне тэрыторыі, якую змянам не разрашаецца зачыпаць. Рэшта — гэта сцэнарыі, тыя самыя крайнія сітуацыі, якія можа выдумаць автар, кожная з яых запісана у фармаце «калі-тады-то».

Спецыфікацыяны пішуцца як дэлты, а не як універсальныя дакументы. Цім паказваецца ныяньшая працэздатнасць, цім адначасова паказваецца тое, што будзе адлічыцца. Спецыфікацыяна, якая прагне опісаць усё, ў канцы канцоў не опісвае нічога.

Две штучныя інтэлект-сістэмы спачатку атакуюць спецыфікацыю

Калі праект готавы, яго атрымліваюць два рэвізоры на базе штучнага інтэлекта. Яны прыходзяць з разных вэндораў і з разных ліній модэляў, і ўсё, што ад іх трэба, — гледзець, як план можа пашкодзіцца. Команда дала гэтай сесіі прозвішча «pow-wow». Спецыяльна выбіраюць рэвізораў з разных ліній: рэвізоры з адной групы часта працінаюць тое ж самае, як браты і сястры, якія падтрымліваюць адна другуюя. Самэ гэтае неазгоднае становішча і ёсць метай.

Рэзультаты анаізу включаюцца знову ў спецыфікацыю. Аперакцыя стае тэрабатаваннем. Толькі калі спецыфікацыя больш не міняецца, адправляецца агент-збудовальнік.

У такой парадокс ёсць свая прычына. Аднажды збудовальніка адправілі, калі анаіз ўсё ўсё ўжо трываў. Анаіз паказаў рэзультаты, якія зробілі недзейнаюю половіну коду, і команда заплатыла за такі код два разы. З тэх падзеяў правіло стала жорсткім: збудовальнік чакае, пакуль оба аналізавальнікі не завершыць сваю работу і пакуль кожна з аперакцый будзе запісана ў спецыфікацыю, нават калі прыскок да наступнага крока выглядае безнебяжным.

Эта нарада прынесла плоды неспадзеваным спосабам. Аднакцыя калі-то дала назву існуючаму адпамогчыку для разрэшэнняў і, вылучна на адваге назвы, выявіла, што ён пераглядае. Аднакцыя адкрываў код і знайшоў штосьць значна болей вузкага характару: ён прыменяўся толькі да первіннага прасіцельніка і толькі ў аднам стане. Назвы функцый можу вводзіць у глухое. Таму існуе жорсткая прыzwычка: чытаць рэалізацыю раней, чым аднакцыя яе паводзіць. Гэтая прыzwычка адвячыла больш вяканакоў, чым будзь-якая правіла практычнага перагляду коду.

Працэс, ад пачатку да канца

Для змяны рэальнага размеру последовасць ёсць такая:

spec → adversarial review → apply findings → build → diff review → runtime testing → human testing → human merge

Калькі ліктыў заслуговаюць на адзінакаванне.

Разрабоўцу даўаюць толькі спецыфікацыю, больш нічога. Ён ніколі не бачыць лога чату чыраўскага запіту на дадатковы функцыянал. Усё, што разрабоўцу неабходна ведаць, павінна быць запісанае ў дасягліве, бо ўсё, чаго няма, можа быць прэдметам здогадак.

Тэставанне пад час працы пераканальваецца, што робіць програма, а не як выглядаюць файлы. Толькі паспэўнае праходжэнне тэстаў мало значэння. У аднам з ранніх інцыдэтаў павінна была з’явіцца на экране паведамленне пра параболізацыю, але гэтага не сталося, таму што не было можнасты дасягнуць коду, які яго атрымоўваў. Разлікі і тэсты былі ў парадку. Ніхто не прымышляў робіць ўсё неправільна як выкарыстоўвальнік, а разлік не можа паказаць паведамленне, якога няма. Цяпер бягі навмысна ствараюцца: прысылаюць непатрэбны матэрыял, паўтарна пераканальваюцца, што бяга дзейсна відзіраецца, і толькі пасля чаго пазначаюць, што работа працавана.

Чалавечы крок — гэта калі хтось працуе з аплікацыяй як незаспакоўваны корыстнік, і самэ гэта і ёсць мета. Адна з катэгорыяў багоў выйшвае за межы кожнага аўтаматызаванага адзірвання: функцыя працуе, але чалавек не можа яе знайсці. Відсутныя экраны стварэння, некорэктная навігацыя. Раздражаныя клікі служаюць тэстам на адзірванне і заслуговуюць на большае довер'е, чым будзь-які паводзок.

З’еднанне застаецца у руках чалавека. Агенты нічога не з’еднваюць і не выкладаюць. Швальнасць — гэта нормальна, але прагатэкст павінен чыста паведамляць, якія перакрыцці былі адбыты, а якія праўжні, а організатор тут жа пазначае праўжнія перакрыцці як такія. Калі большая частка команды — гэта машыны, якія перакрываюць машыны, чыстыя запісы ёсць усём.

Колькасць процэса залежыць ад велічыны змян. Незначная практычная паследжка стае прымытай PR. Змяны ў безпецы, правах і модэлі дадзейнах праходзяць праз усе можлыя перагляды. Налаганне складнага процэса на простую працу знішчае яе, а даведчыца лёгкага процэса для серьёзной працы знішчае праект.

Калі змяны аплываюць, іх спецыфікацыя фіксуецца разам з кодам. Рэпазітарый паступова стварае пісьмовыя запісы прынятых рашэнняў, таму на пытанне, чаму ўсё працуе адным чынам, часта ёсць адказ, датаваны раней за сам код.

Перагляд двумя мадэлямі, якія не пісалі код

У цім процэсе акцэнт ставіцца на план. Готавы код практыкуецца на адной з аддзельных груп, і самэ гэтае рашэння ў першую чаргу павінна перыявіць іншая команда.

“Builder” — гэта надзеяўскі інструмент, выбраны таму, што ён продовжае працаваць і коштае мало за кожны токен. Грошы на прымыткавыя функціі зберагаюцца для практычнага тэставання у вобразе двух модэляў з двух разных лабараторыяў, якія не асоціююцца з “Builder”. Іхнія задачы спецыяльна разныя: адні знаходзяцца на пазіцыі старшагінжынера, чытаюць разніцы па лініях з спецыфікацыяй і потым працуюць безпасульна з актуальным варыянтом, намагаючыся выкліканыць бягучыя проблемы. Іншы ёсць обавязковым элементам, і жадны значныя змяны не можа быць адключаны без яго схвалення, нават якім бы маленькім гэта не здавалася.

Два лабараторыя замест двух копій самага сільнага модэлю? Спадзяючыяся модэлі дзеліяюць за аднаковымі прынцыпамі. Рэвізор часта прыймае код, напісаны на аднаковым стылі, і сталквецца з трудамі з кодам, напісаным іншым адамам. Калі оба паказуюць на адну лінію з разных направленняў, гэта практычна напэўна яваеся дыфектам. Калі ж іхныя мненні супераслігаюцца, значыць у спецыфікацыі была прасоць, якую лепей выявіць за дапамогою двух модэляў, чым за дапамогою корыстніка.

Этыя „месца“ няўявучыя стацыонарныя. Аднаго рэвізора адстаўілі з працы, калі яго рэзультаты складаліся з паўтарэння аднаго і таго ж вынікання болей чым сто разоў. Большыя модэлі для логічных вырахункаў можу застрагнуць, калі ў яных даходзіць запіт разнага размеру. „Месца“ рэвізора было зменена, але яго статус застаўся тым самым.

Агент, які ўсё стаяўкае

Нічога з гэтага не ўскладненага. Спецыфікацыі, рэвізіі і тэстыраванне — гэта старыя ідэі, практыкуемыя ў новай форме. Чым сложней прадвыраць, такім гэта, наскількі важліва коордынацыя, і скількі агентоў патрэбна, каб усё працавало ўзаўмна.

Команда выкарыстоўвае Hermes Agent – фрэймворк агента з адкрытым кодам ад Nous Research – як оркестратора. Ён не стварае код, а выкананае яму працэсы часта ўзятыя за найцэннейшыя. Тры аспекты дапамагаюць гэтаму функцыонаванню.

Памяць. Большасць асістэнтав пачынае кожную розмову без памяці пра пакананыя дзеянні і з дружэльным тонам. Hermes зберагае кантэкст між сесіямі, таму рашэнні застаюцца чысткімі. Ён знае рангі рызыка, розумее, што разрабоцы ніколі не оцінююць сваю працу, і ведае, што перад кожным выпадкам адбываецца аналіз, таму што пакананыя прыклады заносяцца. Якшо хтось спешыць і хочаць абійсці праблэмы, агент адмовляе: працэс контролюецца тым, хто ідэальна памятае усе.

Навчанне. Неудача ператвараецца ў аналіз пасля інцыдэту, а гэты аналіз стае навыкам; у Hermes гэты навык адпавядае документу з процедурамі, які завантажаецца пад час наступных сесій, калі гэта неабходна. Чэрэз шысь месяцаў агент распаўшчае купу зусім не проста здобытых нотатак, апрацоўваных на аднойчынных інцыдэтах, і спачатку чытае тыя, якія стосуюцца самэй проблемы. Знанні, якія раней былі толькі ў галаве аднаго вядомага інжынера, цяпер зберагліся ў сістэме керавання версіямі.

Дэлегаванне. Задачы з будовы і аналізу перадаюцца падагентам. Паколькі Hermes можа працаваць з будзь-кім з прадаўцоў, ролі можна свабодна прыяжджаць да адпаведных модэляў: эканомічныя, простыя модэлі ведуць будову, а дорогія, сложныя модэлі здыячыць аналіз. Калі модэль паспяшае з тым, што трэба, яго проста заменяюць, і больш нічога не змініцца.

Што гэта дае і скількі коштае

Ёсць тут жадных пакетаў пра рэнтабельнасць. Такія цыфры немагчыма пераканацца, а практычна всі, хто іх публікуе, чыгнаюць якісь товары. Этыя твэрджэнні можна захаваць:

  • Дастаецца адправляць тавары ў тыждэнь, нават калі няма людзей, якія працавалі бы цяпероўна.
  • Радыус уражэння залічваецца ў межах спецыфікацыі, перш чым яе санацыя стане дорогай.
  • Кожны, хто спытаецца, чаму програма паводзіцца так, можа знайсці адпаведныя адказы.
  • Праца чалавека зменяецца: з працы за клавіатурой на прынятак рашэнняў і кліканне.

Гэта лепшая, але ў той жытк чырвоная роля. Напісанне точных спецыфікацый значыць знанне таго, што хочаце, яшчэ перш чым гэта бачыце. Калі рэалізацыя стае дышэўнаю, тачнасць стае рэдкім навыкам.

Недзеянкі ёсць рэальныя. Разрабатаванне спецыфікацый выклікае дысцыпліну, а прагненне зашчытыцца часамі пад час якога-небудзь маленькага змянення ўсё чашчэ прыводзіць да таго, што такі працэс зламваецца. АІ-рэвізоры можуць засыпаць вас дробнымі прытвараннямі, таму ўмеласць сортаваць іх — гэта навык, які трэба развіваць. У тыя тыдні, калі трыбуналы вялікія, весь працэс стае медленным. І ёму трэба атлегліванне: калі яго заставіць самога сабе, ён занепадае, як і будзь-які людзкі працэс.

Пытанне ужо не ў тым, чы можа АІ пісаць код, бо ён можа. Цяпер важлівае — чы можаце вы точна апісаць, што прагне робіць програма, і дотрымвацца свайго працэсу, калі часу мало. Без гэтага жадны мадэль не дапаможа. Ён проста яшчэ раней прыносіць вашу плутанасць.

Спадневана літэратура

  • Адміністрацыя TanStack Query: запыты, кэшаванне, мутацыі і анавалідаванне — Дазвольце дазнаць, як useQuery, queryKey, staleTime, gcTime, useMutation і анавалідаванне работаюць разам, каб кераваць станам сервера ў React без ручнага выкарыстоўвання fetch-эфектаў.