Практычныя прытамулкі: Вам не трэба ствараць агента з нуля. Вам патрэбен

Існавайце гэта як перапрацоўаную версію ідэй з артыкула “Вам не трэба ствараць агента з нуля. Вам патрэбны інжынеры прыстроёў”: чыстыя этапы, аранжаваныя блакіты коду і прыметкі з восстанавлення, якія застаюцца пасля перадачы. Этап “Аптаварыс” найэфектывнейша працюе, калі яго спрыяваць як вимерную плошчу. Запісайце адна ідеальная транскрыпцыю, адзін прыклад неудачы і прыметку з вярнення да пачатковага стану прычаму расшырэння масштаба. Запісвайце часы виконання і косты токеноў або запытак праза функцыйнае рэзультат. Відкрытыя даныя пра косты з’являюцца раніше, чым утвараюцца неспадзянаныя рахункі, калі процес пераходзіць з дэмаверсіі ў спакульнаныя сераўры.

Перастаньце называць ваш прыстрой “Агентам”

Для стадіі «Паўстаноць калічыць ваш Harness» неабходна пазначыць вхідныя даны, адпаведальнага за этап і крэтыры завершэння пры перадзеі коду. Аператары должны магчымаць перзапуск этапа з вядомай точкі контролю, не падозрываючы прыхованы стан. Конфігурацыю трэба залічыць пазнаходзяцца за межамі коду прыкладнення. Файлы сераўнавальнага сэрвісу, хранілішчы секретных данных і флагі функцыйяў должны знаходзіцца ў аднам месцы, якое аператары можаць пераглядаць, не чытаяўшы весь ланцуг задач. Автентыфікацыя павінна выканацца на воратах, а пераправенне прав на доступ — у роўні дадзенаў. Сам токен-носіцель не є межай арендаванага ресурсу.

Што такое агент?

Для стадіі «Што такое агент?» неабяжна ўзначыць вхідныя даны, адпаведальнага за крок і крэтыры завершэння пры перадзеі коду. Аперацыйныя працавнікі должны магчымае запускаць крок з вядомай точкі контролю, не падозрываючы схованы стан. Неабяжна задокументаваць як шлях успеху, так і шлях вярнення. Перапрыбуткі, людзкіе перакрыцця і обробка некоректных паведамленняў є часткай продукту, а не чымсь, што дадаецца пазней. Автентыфікуйцеся на воратах і паўторна автарызуйцеся на роўні дадзенняў. Толькі токэн-носіцель не є межай арендаванага ресурсу.

Што такое Harness?

Для стадіі «Што такое Harness» неабяжна ўзначыць вхідныя даны, адпаведальнага за крок і крэтырыя завершэння пры зміне коду. Аперацыйныя працавнікі должны магчымае перайсці на выконанне кроку з вядомага пункта контролю, не спрабоўваючы здогадвацца пра схованы стан. Лепш выбіраць маленькія, тэставаныя елементы замест большых скрыптов. Калі крок не выконваецца, прычына нехарактэрнага роботы должна вказываць на адзін конкрэтны элемент, а не на заплутаную структуру. Автентыфікуйцеся на входзе і паўторна автарызуйцеся на роўні дадзенняў. Толькі токэн-носіцель не є межай адпаведальнасці. Для стадіі «Што такое Harness» неабяжна ўзначыць вхідныя даны, адпаведальнага за крок і крэтырыя завершэння пры зміне коду. Аперацыйныя працавнікі должны магчымае перайсці на выконанне кроку з вядомага пункта контролю, не спрабоўваючы здагадвацца пра схованы стан. Запісвайце час выконання і кост токэна або запыту разам з функцыйнымі рэзультатамі. Відразувыя даны пра косцы запобегаюць неспакоўным рахункам, калі процес пераходзіць з дэмовай среды ў спакульную.

Калькі прыкладаў падвязак

Калі працуеце над этапам «Калькі прыкладаў падвязак», спачатку запісайце кантракт: неабходныя вхідныя даны, сігнал успеху і тое, што выходзіць у разе частковага абякання. Такі список контроля дапамагае заліцварыць пазнейшыя змены ў кодзе. Зберагаюце настройкі праза код аплікацыі. Файлы сераўнавання, хранільнікі секрэтных дадзеных і флагі функцыйяў должны знаходзіцца ў аднам месцы, куды аператары можаць адбавіць без неабяжнага чытання всей структуры. Запісвайце назву інструмента, хэш аргументаў, час затрымкі і рынак кожнага вызову. Без такога следу дэбагаванне агента займае гадзіны.

Не наймайце інжынераў AI для стварэння агентаў

Калі працюеце над этапам «Не запускайце AI», спачатку запісаце кантракт: неабяжлівыя даны, сігнал успеху і тое, што выканаецца у разе частковага нявыполнення. Такі список пераканаець у тым, што пазнейшыя змены коду будуць чыстымі. Дакументавайце як шлях успеху, так і шлях вярнення. Перапрыбуткі, людзкія контралі і обработка некоректных паведамленняў ёсць часткай продукту, а не пазнейшым дапрацоўкам. Зявляйце логі з назвай інструмента, хэшам аргументаў, часам затрымкі і рэзультатам кожнага вызову. Без такога следу дэбагаванне агента займае гадзіны.

Інжынерыя AI

Калі працюеце над стадзіяй інжынерыі AI, спачатку запісайце умовы працы: неабяжлівыя даннэ, сігнал успеху і тое, што выканаецца у разы частковага нявыполнення. Такі список дапамагае заліцварваць будучыя змены коду. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшае, прычына нявыполнення павінна вказываць на адзін конкрэтны элемент, а не на заплутаны ланцюг задач. Запісвайце назву інструмента, хэш параметраў, час адпаведзення і рынак кожнага вызову. Без такіх задапісаў дэбаггаванне агента займае гадзіны. Калі працюеце над стадзіяй інжынерыі AI, спачатку запісайце умовы працы: неабяжлівыя даннэ, сігнал успеху і тое, што выканаецца у разы частковага нявыполнення. Такі список дапамагае заліцварваць будучыя змены коду. Запісвайце час выканання і кост токеноў або запытаў разам з функцыйнальнымі рынакамі. Відразувая візуабілізацыя костаў запобегае неспакойным рахункам, калі праця пераходзіць з дэмаверсіі ў спакульнаныя сераўысы.

Harness Engineering

Этап інжыніроўкі Harness работае наяўней, калі яго спрыяваць як вимерную паверхню. Зафіксавайце адны ідеальны прыклад, адзін кейс неудачы і запіс пра вярнэнне да поперадньяго стану пры расшырэнні масштаба. Зберагайце настройкі пазырочна ад коду прыемліцеля. Файлы сяродавішча, хранільнікі секрэтных дадзеных і пазначкі функцый канальна знаходзіцца ў аднам месцы, якое аператары можаць пераглядаць без неабяжнага чытання всіх дадзеных. Адкройце інструменты з вузкімі схемамі та чытальнымі пазначкамі побачных эфектаў. Хостам неабходна знаты, якія вызовы мутуюць стан, перш чым яны автаматычна схваляюць іх.

Вывык

Этап вынікнення найэфектывней працюе, калі яго спрыяваць як меравальную плошчу. Зафіксавайце адны ідеальны прыклад роботы, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану, перш чым расширваць масштабы. Документавайце як шлях успеху, так і шлях вярнэння да нормальнага стану. Перапрыбуткі, людзкія контрольны пункты і обработка некоректных поведань ёсцю частью продукту, а не пасляднім допрацоўкам. Адкройце інструменты з вузкімі схемамі та чысткімі пазначэннямі побачных наследкаў. Адпаведальныя за эксплуатацыю людзі павінны знать, якія вызовы мутуюць стан, перш чым автаматычна схваліць іх.

Чэк-ліст для эксплуатацыі

Калі працюеце над этапам чэк-ліста для эксплуатацыі, спачатку запісайце умовы: неабходныя данні, сигнал успеху та тое, што выходзіць на падзею частковай неудачы. Такі чэк-ліст дапамагае заставаць пасляднія змены коду чыстымі.

Спрыявайце этапу як умовам між вхіднымі данымі та перакананымі выходнымі рэзультатамі. Дайце назвы элементам, задаце критэрыя успеху та адмовіцеся ад мовчанкавага частковага завершэння.

Зявіце назву інструмента логавання, хэш аргументаў, час затрымкі і рынак кожнага вызову. Дэбагаванне без такога следу адзначае гады часу.

Зберагайце стан графа ў простам і типаваным формате. Вярнутыя структуры маскуюць, який вузел запісаў канкрэтны поле, і спакоююць працу пасля перарываў.

Калі дозволяе бюджет, дадзіце тэст на працясную працю, які перабірае критычны шлях у CI з фіксатрамі, а не з рэальнымі платнымі API.

Документавайце як шлях успеху, так і шлях вяснавання проблем. Перапрыбуткі, людзкія контралі і обработка некоректных паведамленняў є часткай продукту, а не чымсь, што дадаецца пазней.

Перш чым апранаваць стак, заморозьце версіі, зафіксавайце ідеальны транскрыпт для критычнага шляху і паказвайце способы абраткі. У спадзяльных средах неабходны ліміты частоты, перакананні ў прыналежнасці і чысткі власнік для змены секрэтных даных. Валіце надзейнасць працы над крэатіўнымі разовымі дэманстраціямі.

Запіска параграфу 15a9e3a1fdda: не трэба кантрацеўваць ключы прадаўцаў у репазітарыі, задаць максімальную кантэйнернасць токена на адну сесію, а таксама зберагчы транскрыпціі празаўседле з фікстурамі для ацэнкі, каб пазнейшыя замены моделей заставалі пораўнанневымі.

Запіска па прыняццю заходаў абароны 0 стадіі найэфектывней працюе, калі яе спрыямаць як мерыемую плошчу. Зафіксавайце адну ідеальную транскрыпцію, адзін кейс неудачы і запіску пра вярнэнне да пачатковага стану перш чым расширваць сферу дзеяння. Дакументавайце як успішны, так і вярнэнчы паты. Перапрыбуткі, людзкія контралі і обработка некантрольваных паведамленняў ёсць часткай продукту, а не пазнейшым дапрацоўкам.

Дзялейчык прыняцця заходаў абароны 0/953: замерайце час выканання, класію адзінакоў і выкарыстоўванне токенаў для гэтай запіскі, а пасля вырашыце, чы робіць змяну на адной пазначанай сэткі пытанняў, а не на адной лячбе.

Для першага пасэжу пры яроўванні неабходна перад змянай коду адзначыць вхідныя даны, адпаведальнага за этап і крэтыярыя завершэння. Аператары должны магчымае перадзеісцаваць этап з вядомага пункта контролю, не спрабоўваючы здагадвацца пра схованы стан. Спрыяйце цэму пасэжу як кантракту межа вхіднымі данымі і перакананымі выходнымі рэзультатамі. Даўце назвы артыфактам, адзначыце крэтыярыя успеху і не прымайце тыхчасова часткова завершаныя роботы.

Дзеянні яроўвання 1/953: змерыце час выконання, класію каштоўкаў і выкарыстоўванне токенаў для гэтага пасэжу, а потым вынікніце, чы хацяць застаўці змяну, стварыўшы фіксаваны набор пытанняў, а не на базе індывідуальных спазыроў.

Калі працуеце над 2-й стадзіяю прыемкі з паўнейшага захавання, спачатку запісайце умовы кантракту: неабходныя даны, сігнал успеху і тое, што выходзіць на частым неудачам. Такі список контроля дапамагае заставіць пазнейшыя змены коду быць чыстымі. Зберагайце настройкі параду ўнутры коду прыемкі. Файлы сераўіса, хранільнікі секрэтных дадзеных і флагі функцыйяў должны знаходзіцца ў аднам месцы, куды аператары можаць адбавіць аудыт без неабяжнага чытання всіх элементаў.

Дзялей 2/953 прыемкі з паўнейшага захавання: вымерайце час выконання, класію памылак і колькасць викорыстоўваных токенав для гэтай прыемкі, а пасля выберайце, чы хацяце застаўіць змену, стварыўшы фіксаваны набор пытанняў, а не на базе індывідуальных спазыраў.

2-я стадзія прыемкі з паўнейшага захавання работае лепей, калі яе спрыямаць як меравальную плошчу. Запісайце адну ідеальную транскрыпцыю, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану, перш чым расширваць сферу дзеяння. Валіце маленькія, тэставаныя елементы замест большых скрыптав. Калі якісь крок не выйшае, неудача должна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны ланцужок дзеянняў.

Дзеянні паўжасткі 3/953: звярніце увагу на час выканання, клас памылак і колькасць викорыстоўваных токенав для гэтага зьязку, а пасля, на аднойчынай базе фіксаванага набору пытанняў, а не на індывідуальных прыкладах, выявіце, чы хацяце застаўіць гэтыя змены.