Практычныя прытамулі: ацэнка агента і выяўленне зсуву — што такое новы кодуючы агент

Наступныя прыміткі паказваюць практычны падход да тэмы «Адзінкты функцыонавання і выяўленне адхылень — што не вимервае новая апаратура для кодавання-адзінакоў». Акцэнт ставяцца на кантракты, пераконтроўкі і месца для коду, які можна легка адразу вставіць, а не на мотывацыйныя аспекты.

Адзінкты функцыонавання, выяўленне адхылень і оркестрацыя спрыяюць оптымізацыі падачы коду. Межы перагляду застаюцься незменнымі вялікі час, таму толькі черга продовжвае растаць.

Калі працуеце над стадзіяю выканання пераканалення агента на выяўленне дрыфту, спачатку запісайце умовы: неабходныя даны, сигнал успеху і тое, што выканаецца у разе частковай нявыполненасці. Такі список контролю дапамагае залічыць змяны ў кодзе пазнейша. Зберагайце настройкі за межамі коду прыемліка. Файлы сераўнавання сяродовысці, хранілішча секрэтных дадзеных і флагі функцыйяў должны знаходзіцца ў аднам месцы, куды аператары можаюць адбавіць аудыт без неабходнасці чытання всей структуры. Зявляйце логі з назвай інструмента, хэшам аргументаў, часам затрымкі і рэзультатам кожнага вызову. Без такога следу дэбагаванне цыклаў агента займае гадзіны.

Правілло, якое можна застосаваць пры чытанні рэшты

Калі працуеце над правілам, які можна рэалізаваць, спачатку запісайце контракт: неабяжлівыя даны, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі список пераконтроўвае, каб пазнейшыя змены коду былі чыстымі. Документавайце як шлях успеху, так і шлях вярнення. Перапрыбуткі, людзкіе контралі і обработка некоректных паведамленняў ёсць часткаю продукту, а не пазнейшым дапрацоўкам. Зявляйце логі з назвай інструмента, хэшам аргументаў, часам затрымкі і рэзультатам кожнага вызову. Без такога следу дэбаггінг агента губіць гадзіны.

Чатыры запускі, чатыры слою, адна працэйка

Калі працуеце з этапамі чатырых запускаў, спачатку запісайце умовы контракту: неабходныя даны, сігнал успеху і тое, што выходзіць па частковай нявыполненасці. Такі список пераканае ў тым, што пазнейшыя змены коду будуць чыстымі. Валічыце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшоў, прычына нявыполненасці павінна вказваць на адну конкрэтную адпаведальнасць, а не на заплутаны ланцюг задач. Запісвайце назву інструмента, хэш параметраў, час адклікання і рынак кожнага вызову. Без такога следу дэбагаванне губіць гадзіны.

„Змяненне“, якое не ўзьменецца

Калі працуеце над стадзіяй «The drift that isn», спачатку запісайце угоду: неабяжлівыя даны, сігнал успеху і тое, што выходзіць у разе частковага неяксамоства. Такі список пераканальвае пазнейшыя змены коду. Спрытывайце гэту стадзію як угоду межа данымі і пераканальванымі выходамі. Дайце назву рэзультатам, задаце правіла пераканальвання і не прымайце часткова завершэнне без паведамлення. Зявляйце лог з назвай кантролю, хэшам аргументаў, часу затрымкі і рэзультатаце кожнага вызову. Без такога следу дэбаггінг агента губіць гады.

Ліміт перагляду не зменіўся за дзесяць гадоў

Калі працуеце над стадзіяй «The review ceiling hasn», спачатку запісайце умовы кантракту: неабяжлівыя даны, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі список контроля дапамагае заліцвачыць пазнейшыя змены коду. Запісвайце час выканання і кост токена або запыту праз ці функцыйнальныя рэзултаты. Відразлівасць коста з самага пачатку запобегае неспакоўным рахункам, калі процес пераходзіць з дэмаверсіі ў спяльныя среды. Запісвайце назву інструмента, хэш аргументаў, час затрымкі і рэзултат кожнага вызову. Без такога лёгкага следу дэбагаванне агента займае гадзіны. Калі працуеце над стадзіяй «The review ceiling hasn», спачатку запісайце умовы кантракту: неабяжлівыя даны, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі список контроля дапамагае заліцвачыць пазнейшыя змены коду. Дакументавайце як «шчаслівы» шлях, так і шлях вяснавання. Перапрыбуткі, людзкія контрольныя пункты і обработка нераспакаваных паведамленняў ёсць часткаю продукту, а не пазнейшым дапрацоўкам.

Косц прыямлення, а не косц чытання

Этап касц прыямлення работае наўжоўдзей, калі яго спрыягаюць як мерыемую велічыну. Запісаўце адна ідеальная версія, адзін прыклад неудачы і прыметку па адкату перш чым расширваць масштаб. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісьць крок не выйшае, неудача павінна адносіцца да конкрэтной адпаведальнасці, а не да заплутанага ланца задач. Адкройце інструменты з вузкімі схемамі та чытальнымі пазначкамі пра пабочныя эфекты. Адпаведальным за эксплуатацію трэба ведаць, якія вызовы мутуюць стан, перш чым вони автаматычна схваляюцься.

Што ваша структура работы не ізолюе

Этап «What your worktree doesn stage» працюе найкраща, калі яго розглядаць як вимерную паверхню. Запісаўце адна ідеальная транскрыпцыя, адзін прыклад неудачы і прыметку па анулюванню змян перш чым расширваць масштабы. Разглядзайце гэты этап як кантракт межа вхіднымі даннымі і перакананымі выходнымі рэзультатамі. Даўце назвы артыфактам, задаце критэрыя успеху і не падтрымайце безсловесна часткова завершэнне задання. Адкройце інструменты з вузкімі схемамі та чысткімі пазначэннямі побачных эфектаў. Адпаведальныя за эксплуатацыю должны знать, якія вызовы мутуюць стан, перш чым автаматычна схваліць іх.

Пакульшыя шары операцый вырасталі так сама

Этапы розвітку пакуальных слоёў працюють найэфективней, калі іх спрыяваць як мерыемую паверхню. Зберагучы адна ідеальная транскрыпцію, адзін прыклад неудачы і запіс пра відкат, перш чым расширваць масштабы. Запісвайце часы виконання і вартасць токеноў або запытаў разам з функцыйнальнымі рэзультатамі. Візуабельнасць вартасцей з самага пачатку запобегае неспакою з боку расчыткаў, калі процес пераходзіць з дэмовай среды ў спакульную. Абяўляйце інструменты з вузкімі схемамі та чысткімі пазначэннямі пабочных эфектаў. Хостам неабходна знаты, якія вызывы мутуюць стан, перш чым вони автаматычна схваляюць іх. Этапы розвітку пакуальных слоёў працюють найэфективней, калі іх спрыяваць як мерыемую паверхню. Зберагучы адна ідеальная транскрыпція, адзін прыклад неудачы і запіс пра відкат, перш чым расширваць масштабы. Дакументавайце як успішны, так і вярнучы паты. Перапрыбуткі, людзкія контралі та обработка некоректных паведамленняў є часткай продукту, а не чымсь, што дадаецца пазней.

Тры характэрыстыкі слою, які выжывае

Для трохіць власнасцей этапа неабяжна прадзефінаваць вхідныя даны, адміністратара крока і крэтырыя выходу пры перадзеўці коду. Аператары должны магчымае перзапускаць крок з вядомай точкі контролю, не падозрываючы схованы стан. Лепш выбіраць маленькія, тэставаныя елементы замест большых скрыптов. Калі крок не выконваецца, прычына нехарактэрыстыкі должна вказываць на адзіну адпаведальнасць, а не на заплутаны ланцюг задач. Автентыфікуйцеся на входзе і прадзеўжыце автарызацію на роўні дадзеных. Толькі токэн-носіцель не ёстся межой арендаванага ресурсу.

Падсумак: што рабіць па панедзелак

У стадії падчытання апштракцыі, перш чым зменяць код, неабходна адзначыць вхідныя даны, адпаведальнага за крок і крэтырыя для завершэння. Аперацыйныя працавнікі должны магчымаць перзапуск крока з вядомай точкі контролю, не падозрюючы прыхованы стан.

Чэк-ліст для аперацый

У стадіўчыку чэк-ліста для аперацый, перш чым зменяць код, неабходна адзначыць вхідныя даны, адпаведальнага за крок і крэтырыя для завершэння. Аперацыйныя працавнікі должны магчымаць перзапуск крока з вядомай точкі контролю, не падозрюючы прыхованы стан.

Зберагаюце канфігурацыю пазначкай за межамі коду прыемліка. Файлы сяродавішча, хранальнікі секрэтных дадзеных і флагі функцыйяў должны знаходзіцца ў аднам месцы, куды аператары можаюць адбавляць аудыт без неабяжнага чытання всей структуры.

Автентыфікуйцеся на шлюзе і паўторна автарызуйцеся на роўні дадзеных. Сам токэн-носіцель не ўтварае межы тэнанты.

Здзейсніце перапаказ пасля дорогіх крокаў. Система не должна занова выклікаць той самы вызыв LLM, калі аператар прабуе зноў запрацаваць пазнейшы вузел.

Заморозьце «золаты» набір параметраў прычыну змены запитоў або модэляў. Перамешчанне як самай системы, так і критэрыяў ацэнкі магчымае сховаць регрэсіі.

Калі бюджет дазволяе, дадзіце тэст на працэс, які пераглядае критычны маршрут у CI з викорыстаннем фіксатыв, а не рэальных платных API.

Перш чым запускать стак, заморозьце версіі, зафіксавце «золаты» транскрыпты для критичнага шляху і паказайце способы анулювання змян. У спільных средах неабходны ліміты частоты запуска, пераконтрольванне прав на выкарыстоўвання ресурсаў і чысткі власнік для змены секретных даных. Валіце простую надзяйнасць працы над крэатіўнымі, адзінразовымі дамэ.

Прыметкі для 401fce7cb1e3: не кладзіце ключы прадаўцаў у репазітарый, задаце ліміт токена на адну сесію і зберагачыце транскрыпты разам з фіксатрамі для адлічэння, каб пазнейшыя змены моделей заставаліся порównанымі.

Калі працуеце над пунктам 0 з групы заходаў па зміцнэнню, спачатку запісайце умовы: неабходныя даннэ, сігнал успеху і тое, што выходзіць на частковай невыполненасці. Такі список дапамагае заставаць пазнейшыя змены коду чыстымі. Спрыятлівае ставленне да гэтага пункту — як да даговору між вхіднымі даннэмі і перакананымі выходнымі рэзультатамі. Назвайце артыфакты, задаце критэрыя успеху і адмовіцеся ад тыхнай частковай, непазначальнай выполненасці.

Дзеянне паўжасткі 0/904: звярніце увагу на час выканання, клас памылкі і колькасць выкарыстоўваных токенаў для гэтай змяты, а пасля, на аднойчынныя пытанні, а не на асобістых спазыраўнях, выявіце, чы хацеце застаўіць гэту змяну.

Этап 1 паўжасткі працуе найэфектывней, калі яго спрыяваць як меравальную плошчу. Запісаце адну ідеальную транскрыпцыю, адзін прыклад памылкі і змяту для вярнення да пачатковага стану, прычаму расшырюваць сферу дзеяння не трэба. Канфігурацыю трэба знаходзіць за межамі коду прыемлівача. Файлы сяродавішча, хранільнікі секрэтных дадзеных і флагі функций должны быць у аднам месца, куды аператары можаць адбавіць аудыт, не чытаючы весь граф.

Дзеянне паўжасткі 1/904: звярніце увагу на час выканання, клас памылкі і колькасць выкарыстоўваных токенаў для гэтай змяты, а пасля, на аднойчынныя пытанні, а не на асобістых спазыраўнях, выявіце, чы хацеце застаўіць гэту змяну.

Для другага этапа практыкы зміцнення неабяжна пазначыць вхідныя даны, адпаведальнага за крок і критэрыі завершэння пры перадзеяванні коду. Аператары должны магчымаць перзапуск кроку з вядомай точкі контролю, не падозрываючы прыхованы стан. Лепш выбіраць маленькія, тэставаныя елементы замест амаль неконтрольваных скрыптав. Калі крок не выйшоў, прычына неудачы павінна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны процес.

Дзеянне зміцнення 2/904: вы мераваеце час выканання, класія ошибак і колькасць выкарыстоўваных токенав для гэтай практыкі, а потым выявляеце, чы рашацеся застаўіць змяну на адной фіксаванай сэтке пытанняў, а не на адзінокых прыкладах.

Калі працуеце над 3-й стадзіяю прыемкі з паўнейшага захавання, спачатку запісайце умовы кантракту: неабходныя даны, сігнал успеху і тое, што выходзіць па частым неудачам. Такі список контроля дапамагае заставаць пазнейшыя змены коду чыстымі. Запісвайце час выканання і вартасьць токенаў або запытак па боку функцыйнальных рэзультатаў. Відразлівае паказанне вартасцей запобегае неспадзяваным рахункам, калі процес пераходзіць з дэмаверсіі ў спяльныя среды.

Дзеянне прыемкі з паўнейшага захавання 3/904: замеры часу выканання, класаў паказакоў і витрачання токенаў для гэтай прыемкі, пасля чаго вынікніце рашэнне пра тое, чы хацеце застаўіць змену на адной фіксаванай сэтке пытанняў, а не на адной лічбе прыкладаў.

3-я стадзія прыемкі з паўнейшага захавання найэфектывней працюе, калі яе спрыямаць як мерыму аб’ект. Запісвайце адну ідеальную транскрыпцыю, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану, перш чым расширваце сферу дзейнасці. Дакументавайце як успешны, так і вярнэнчы паты. Перапрыбуткі, людзкія контрольныя пункты і обработка некоректных паведамленняў є часткай продукту, а не чымсь, што дадаецца пазней.

Дзеянне паўжасткі 4/904: звярнуце увагу на час выканання, класію памылак і колькасць выкорыстоўваных токенаў для гэтага зьязначэння, а пасля, на аднойчынай базе фіксаванага набору пытанняў, а не на індывідуальных прыкладах, выявіце, чы робіць змены.

Для 5-го этапу паўжасткі неабходна перад змянай коду задаць вхідныя даны, адпаведальнага за этап і крэтырыя завершэння. Аперацыёныя працавнікі должны магчыма было перазапускаць этап з вядомай точкі контролю, не падозрываючы прыхованы стан. Штодзе гэты этап трэба спрыятаць як кантракт межа вхіднымі данымі і перакананымі выходнымі рэзультатамі. Назвіце артыфакты, задаць перакананні на успех і адмовіцеся ад беззвучнага частковага завершэння.

Дзеянне паўжасткі 5/904: звярнуце увагу на час выканання, класію памылак і колькасць выкорыстоўваных токенаў для гэтага зьязначэння, а пасля, на аднойчынай базе фіксаванага набору пытанняў, а не на індывідуальных прыкладах, выявіце, чы робіць змены.

Калі працуеце над 6-ю стадзіяй забезпечэння безпекі, спачатку запісайце умовы кантракту: неабяжлівыя даны, сігнал успеху і тое, што выходзіць на частым неудачам. Такі список дапамагае залічваць пазнейшыя змены ў кодзе чыста і адкрыта. Зберагайце настройкі празь яго коду прыемленае програма. Файлы серавэра, хранільнікі секретных дадзеных і флагі функцыйяў должны знаходзіцца ў аднам месцы, куды аператары можаць адбавіць аудыт без неабяжлівага чытання всей структуры.

Дзялёўка забезпечэння безпекі 6/904: вымерайце час выканання, класію каштоўкаў і выкарыстоўванне токенаў для гэтай дзялёўкі, а пасля выберайце, чы хацяце застаўіць змену, адпаведна фіксаванаму набору пытанняў, а не індывідуальным спостарожэнням.

7-я стадзія забезпечэння безпекі працуе лепей, калі яе спрыямаць як меравальную плошчу. Зберагайце адны ідеалны прыклад работы, адзін кейс неудачы і запіс пра вярнэнне да пачатковага стану, перш чым расширваць сферу дзеяння. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшае, неудача должна вказваць на адну конкрэтную адпаведальнасць, а не на заплутаны процес.

Дзеянне паўжчання 7/904: звярніце увагу на час выканання, класыя ошибак і колькасць токенаў, якія былі выкарыстаны для гэтага зазначэння, а пасля, на аднойчыне з фіксаваным наборам пытанняў, а не на асобістых спазырэннях, выявіце, чы хацяце застаўіць змены.

Для 8-го этапу паўжчання неабходна перад змянай коду чытко визначыць вхідныя даны, адпаведальнага за этап і крэтырыя завершэння. Аперацыяныя працавнікі должны магчымае перадзваніць гэты этап з вядомага пункта контролю, не прыпускаючы невядомага стану. Запісвайце час выканання і колькасць токенаў або запытак праза функцыйнае рэзультат. Відкрытая інформацыя пра витраты запобегае неспакою, калі процес пераходзіць з дэмаверсіі ў спяльныя среды.

Дзеянне паўжчання 8/904: звярніце увагу на час выканання, класыя ошибак і колькасць токенаў, якія былі выкарыстаны для гэтага зазначэння, а пасля, на аднойчыне з фіксаваным наборам пытанняў, а не на асобістых спазырэннях, выявіце, чы хацяце застаўіць змены.

Калі працуеце над 9-м падземам прыемкі з ужорсткавання, спачатку запісайце контракт: неабяжлівыя данні, сигнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі список пераконвае ў тым, што пазнейшыя змены коду будуць чыстымі.

Документавайце як шлях успеху, так і шлях вярнення. Перапрыбуткі, людзкіе контралі і обработка некоректных паведамленняў є частью продукту, а не пазнейшым дапрацоўкам.

Падзема 9/904 пры ужорсткаванні: звярніце увагу на час выканання, класыя ошибакі і витрату токенав для гэтай прыемкі, а пасля, на базе фіксаванага набору запытанняў, а не індывідуальных прыкладаў, выявіце, чы рэшыцца застаўляць змену.

9-й падзем прыемкі з ужорсткавання будзе эфектывны, якшо яго спрыяваць як меравальную плошчу. Зафіксавайце адны ідеальны прыклад работы, адзін кейс нявыпання і прыемку для вярнення да пачатковага стану, прычым не расшырюючы сферу дзеяння. Спрыяйце гэтаму падзему як контракту межаў між вхіднымі даннымі і перакананымі выходнымі рэзультатамі. Дайце назвы артыфактам, задаце критэрыя успеху і адмовіцеся ад мовчанкавага частковага завершэння.

Дзеянне паўжырання 10/904: звярніце увагу на час выканання, класыя ошибак і колькасць викорыстоўваных токенаў для гэтага зьязначэння, а пасля, на аднойчынай сяродзеі вопытаў, а не на асобістых спазырэннях, выявіце, чы хацеце застаўіць змяну.

Для 11-й стадзіі паўжырання неабходна перад змянай коду чытача апісацыю вхідных дадзеных, адпаведальнага за крок і крэатарыяў завершэння. Аперацыйныя працавнікі павінны магчымае перадзьвіжваць крок з вядомага пункта контролю, не прымушаныя здагадвацца пра схованы стан. Канфігурацыю трэба зберагчы за межамі коду прыемленае. Файлы сяродзеі, хранальнікі секрэтных дадзеных і флагі функций павінны знаходзіцца ў адном месцы, якое працавнікі можуць пераглядаць, не чытаючы весь граф.

Дзеянне паўжырання 11/904: звярніце увагу на час выканання, класыя ошибак і колькасць викорыстоўваных токенаў для гэтага зьязначэння, а пасля, на аднойчынай сяродзеі вопытаў, а не на асобістых спазырэннях, выявіце, чы хацеце застаўіць змяну.

Калі працюеце над 12-й стадзіяю практыкы зароўнавання безпекі, спачатку запісайце умовы кантракту: неабходныя даны, сігнал успеху і тое, што выходзіць на частым неудачам. Такі список контроля дапамагае залічыць пазнейшыя змены ў кодзе адкрыта і прозрачна. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшае, неудача должна вказваць на адну конкрэтную адпаведальнасць, а не на заплутаны ланцужок задач.

Дзеянні практыкы зароўнавання безпекі 12/904: звярзайце статыстыку часу выканання, класу памылак і витрачання токенав для гэтай практыкі, а потым вырашайце, чы робіць змены на адной основе фіксаванага набору пытанняў, а не на адной лячбе.