Практычныя нататкі: не трэба будаваць агента з нуля
Практычны разбор тэмы «чаму не трэба будаваць агента з нуля і што патрэбна замест гэтага»: кантракты, праверкі і гатовыя фрагменты кода для каманд, якія ўкараняюць гэты падыход.
Крыніцы: You Don’t Need to Build an Agent From Scratch. You Need a Harness Engineer.
Існавайце гэта як перапрацоўаную версію ідэй з артыкула “Вам не трэба ствараць агента з нуля. Вам патрэбны інжынеры прыстроёў”: чыстыя этапы, аранжаваныя блакіты коду і прыметкі з восстанавлення, якія застаюцца пасля перадачы. Этап “Аптаварыс” найэфектывнейша працюе, калі яго спрыяваць як вімерную плошчу. Запісайце адна ідэальная транскрыпцыю, адзін прыклад неудачы і прыметку з вярнення да пачатковага стану прычаму расшырэння масштаба. Запісвайце часы выканання і косты токеноў або запытак праза функцыйнае рэзультат. Відкрытыя даныя пра косты з’являюцца ранішэ, чым утвараюцца неспадзянаныя рахункі, калі працэс пераходзіць з дэмаверсіі ў спакульнаныя сераўры.
Перастаньце называць ваш прыстрой “Агентам”
Для этапы «Паўстаноць калічыць ваш Harness» неабходна пазначыць вхідныя даны, адпаведальнага за этап і крэтыры завершэння пры перадзеі коду. Аператары должны магчымаць перзапуск этапа з вядомай точкі контролю, не падозрываючы прыхованы стан. Конфігурацыю трэба залічыць пазнаходзяцца за межамі коду прыкладнення. Файлы сераўнавальнага сэрвісу, хранілішчы секрэтных даных і флагі функцыйяў должны знаходзіцца ў аднам месцы, якое аператары можаць пераглядаць, не чытаяўшы весь ланцуг задач. Автэнтыфікацыя павінна выканацца на воратах, а пераправенне прав на доступ — у роўні дадзенаў. Сам токен-носіцель не ёсць межай арэндаванага рэсурсу.
Што такое агент?
Для этапы «Што такое агент?» неабяжна ўзначыць вхідныя даны, адпаведальнага за крок і крэтыры завершэння пры перадзеі коду. Аперацыйныя працавнікі должны магчымае запускаць крок з вядомай точкі контролю, не падозрываючы схованы стан. Неабяжна задокументаваць як шлях успеху, так і шлях вярнення. Перапрыбуткі, людзкіе перакрыцця і апрацоўка некорэктных паведамленняў ёсць часткай продукту, а не чымсь, што дадаецца пазней. Автэнтыфікуйцеся на воратах і паўторна автарызуйцеся на роўні дадзенняў. Толькі токэн-носіцель не ёсць межай арэндаванага рэсурсу.
Што такое Harness?
Для этапы «Што такое Harness» неабяжна ўзначыць вхідныя даны, адпаведальнага за крок і крэтырыя завершэння пры зміне коду. Аперацыйныя працавнікі должны магчымае перайсці на выконанне кроку з вядомага пункта контролю, не спрабоўваючы здогадвацца пра схованы стан. Лепш выбіраць маленькія, тэставаныя елементы замест большых скрыптов. Калі крок не выконваецца, прычына нехарактэрнага працы должна вказываць на адзін конкрэтны элемент, а не на заплутаную структуру. Автэнтыфікуйцеся на входзе і паўторна автарызуйцеся на роўні дадзенняў. Толькі токэн-носіцель не ёсць межай адпаведальнасці. Для этапы «Што такое Harness» неабяжна ўзначыць вхідныя даны, адпаведальнага за крок і крэтырыя завершэння пры зміне коду. Аперацыйныя працавнікі должны магчымае перайсці на выконанне кроку з вядомага пункта контролю, не спрабоўваючы здагадвацца пра схованы стан. Запісвайце час выканання і кост токэна або запыту разам з функцыйнымі рэзультатамі. Відразувыя даны пра косцы запобегаюць неспакоўным рахункам, калі працэс пераходзіць з дэмовай асяроддзя ў спакульную.
Калькі прыкладаў падвязак
Калі працуеце над этапам «Калькі прыкладаў падвязак», спачатку запісайце кантракт: неабходныя вхідныя даны, сігнал успеху і тое, што выходзіць у разе частковага абякання. Такі спіс контроля дапамагае заліцварыць пазнейшыя змены ў кодзе. Зберагаюце настройкі праза код аплікацыі. Файлы сераўнавання, хранільнікі секрэтных дадзеных і флагі функцыйяў должны знаходзіцца ў аднам месцы, куды аператары можаць адбавіць без неабяжнага чытання всей структуры. Запісвайце назву інструмента, хэш аргументаў, час затрымкі і рынак кожнага вызову. Без такога следу дэбагаванне агента займае гадзіны.
Не наймайце інжынераў AI для стварэння агентаў
Калі працюеце над этапам «Не запускайце AI», спачатку запісаце кантракт: неабяжлівыя даны, сігнал успеху і тое, што выканаецца у разе частковага нявыполнення. Такі спіс пераканаець у тым, што пазнейшыя змены коду будуць чыстымі. Дакументавайце як шлях успеху, так і шлях вярнення. Перапрыбуткі, людзкія контралі і обработка некорэктных паведамленняў ёсць часткай продукту, а не пазнейшым дапрацоўкам. Зявляйце логі з назвай інструмента, хэшам аргументаў, часам затрымкі і рэзультатам кожнага вызову. Без такога следу дэбагаванне агента займае гадзіны.
Інжынерыя AI
Калі працюеце над стадзіяй інжынерыі AI, спачатку запісайце умовы працы: неабяжлівыя даныя, сігнал успеху і тое, што выканаецца у разы частковага нявыполнення. Такі спіс дапамагае заліцварваць будучыя змены коду. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшае, прычына нявыполнення павінна вказываць на адзін конкрэтны элемент, а не на заплутаны ланцюг задач. Запісвайце назву інструмента, хэш параметраў, час адпаведзення і рынак кожнага вызову. Без такіх задапісаў дэбаггаванне агента займае гадзіны. Калі працюеце над стадзіяй інжынерыі AI, спачатку запісайце умовы працы: неабяжлівыя даныя, сігнал успеху і тое, што выканаецца у разы частковага нявыполнення. Такі спіс дапамагае заліцварваць будучыя змены коду. Запісвайце час выканання і кост токеноў або запытаў разам з функцыйнальнымі рынакамі. Відразувая візуабілізацыя костаў запобегае неспакойным рахункам, калі праця пераходзіць з дэмаверсіі ў спакульнаныя сераўысы.
Harness Engineering
Этап інжыніроўкі Harness работае наяўней, калі яго спрыяваць як вімерную паверхню. Зафіксавайце адны ідэальны прыклад, адзін кейс неудачы і запіс пра вярнэнне да поперадньяго стану пры расшырэнні масштаба. Зберагайце настройкі пазырочна ад коду прыемліцеля. Файлы сяродавішча, хранільнікі секрэтных дадзеных і пазначкі функцый канальна знаходзіцца ў аднам месцы, якое аператары можаць пераглядаць без неабяжнага чытання всіх дадзеных. Адкройце інструменты з вузкімі схемамі і чытальнымі пазначкамі побачных эфектаў. Хостам неабходна знаты, якія вызовы мутуюць стан, перш чым яны автаматычна схваляюць іх.
Вывык
Этап вынікнення найэфектывней працюе, калі яго спрыяваць як меравальную плошчу. Зафіксавайце адны ідэальны прыклад працы, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану, перш чым расшырваць масштабы. Документавайце як шлях успеху, так і шлях вярнэння да нормальнага стану. Перапрыбуткі, людзкія контрольны пункты і обработка некорэктных поведань ёсцю часткай продукту, а не пасляднім допрацоўкам. Адкройце інструменты з вузкімі схемамі і чысткімі пазначэннямі побачных наследкаў. Адпаведальныя за эксплуатацыю людзі павінны ведаць, якія вызовы мутуюць стан, перш чым автаматычна схваліць іх.
Чэк-ліст для эксплуатацыі
Калі працюеце над этапам чэк-ліста для эксплуатацыі, спачатку запісайце умовы: неабходныя даныя, сігнал успеху і тое, што выходзіць на падзею частковай неудачы. Такі чэк-ліст дапамагае заставаць пасляднія змены коду чыстымі.
Спрыявайце этапу як умовам між вхіднымі данымі і перакананымі выходнымі рэзультатамі. Дайце назвы элементам, задаце крытэрыя успеху і адмовіцеся ад мовчанкавага частковага завершэння.
Зявіце назву інструмента логавання, хэш аргументаў, час затрымкі і рынак кожнага вызову. Дэбагаванне без такога следу адзначае гады часу.
Зберагайце стан графа ў простам і тыпаваным фармаце. Вярнутыя структуры маскуюць, які вузел запісаў канкрэтны поле, і спакоююць працу пасля перарываў.
Калі дозволяе бюджэт, дадзіце тэст на працясную працю, які перабірае крытычны шлях у CI з фіксатрамі, а не з рэальнымі платнымі API.
Документавайце як шлях успеху, так і шлях вяснавання проблем. Перапрыбуткі, людзкія контралі і обработка некорэктных паведамленняў ёсць часткай продукту, а не чымсь, што дадаецца пазней.
Перш чым апранаваць стак, заморозьце версіі, зафіксавайце ідэальны транскрыпт для крытычнага шляху і паказвайце способы абраткі. У спадзяльных срэдах неабходны ліміты частоты, перакананні ў прыналежнасці і чысткі власнік для змены секрэтных даных. Валіце надзейнасць працы над крэатыўнымі разовымі дэманстраціямі.
Запіска параграфу 15a9e3a1fdda: не трэба кантрацеўваць ключы прадаўцаў у рэпазітарыі, задаць максімальную кантэйнернасць токена на адну сесію, а таксама зберагчы транскрыпціі празаўседле з фікстурамі для ацэнкі, каб пазнейшыя замены мадэляў заставалі пораўнанневымі.
Запіска па прыняццю заходаў абароны 0 этапы найэфектывней працюе, калі яе спрыямаць як мерыемую плошчу. Зафіксавайце адну ідэальную транскрыпцію, адзін кейс неудачы і запіску пра вярнэнне да пачатковага стану перш чым расшырваць сферу дзеяння. Дакументавайце як успішны, так і вярнэнчы паты. Перапрыбуткі, людзкія контралі і обработка некантрольваных паведамленняў ёсць часткай продукту, а не пазнейшым дапрацоўкам.
Дзялейчык прыняцця заходаў абароны 0/953: замерайце час выканання, класію адзінакоў і выкарыстоўванне токенаў для гэтай запіскі, а пасля вырашыце, чы робіць змяну на адной пазначанай сэткі пытанняў, а не на адной лячбе.
Для першага пасэжу пры яроўванні неабходна перад змянай коду адзначыць вхідныя даны, адпаведальнага за этап і крэтыярыя завершэння. Аператары должны магчымае перадзеісцаваць этап з вядомага пункта контролю, не спрабоўваючы здагадвацца пра схованы стан. Спрыяйце цэму пасэжу як кантракту межа вхіднымі данымі і перакананымі выходнымі рэзультатамі. Даўце назвы артыфактам, адзначыце крэтыярыя успеху і не прымайце тыхчасова часткова завершаныя працы.
Дзеянні яроўвання 1/953: змерыце час выканання, класію каштоўкаў і выкарыстоўванне токенаў для гэтага пасэжу, а потым вынікніце, чы хацяць застаўці змяну, стварыўшы фіксаваны набор пытанняў, а не на базе індывідуальных спазыроў.
Калі працуеце над 2-й стадзіяю прыемкі з паўнейшага захавання, спачатку запісайце умовы кантракту: неабходныя даны, сігнал успеху і тое, што выходзіць на частым неудачам. Такі спіс контроля дапамагае заставіць пазнейшыя змены коду быць чыстымі. Зберагайце настройкі параду ўнутры коду прыемкі. Файлы сераўіса, хранільнікі секрэтных дадзеных і флагі функцыйяў должны знаходзіцца ў аднам месцы, куды аператары можаць адбавіць аўдыт без неабяжнага чытання всіх элементаў.
Дзялей 2/953 прыемкі з паўнейшага захавання: вымерайце час выканання, класію памылак і колькасць вікорыстоўваных токенав для гэтай прыемкі, а пасля выберайце, чы хацяце застаўіць змену, стварыўшы фіксаваны набор пытанняў, а не на базе індывідуальных спазыраў.
2-я стадзія прыемкі з паўнейшага захавання работае лепей, калі яе спрыямаць як меравальную плошчу. Запісайце адну ідэальную транскрыпцыю, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану, перш чым расшырваць сферу дзеяння. Валіце маленькія, тэставаныя елементы замест большых скрыптав. Калі якісь крок не выйшае, неудача должна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны ланцужок дзеянняў.
Дзеянні паўжасткі 3/953: звярніце увагу на час выканання, клас памылак і колькасць вікорыстоўваных токенав для гэтага зьязку, а пасля, на аднойчынай базе фіксаванага набору пытанняў, а не на індывідуальных прыкладах, выявіце, чы хацяце застаўіць гэтыя змены.