Практычныя прытамулкі: Агенты для кодавання яшчэ сталквуюцца з проблемамі з кодамі прыватных компаній

У гэтым керавану практычна перакладзець шлях ад сыр'ёў да рабочай системы для ситуацыі, калі агенты-програмісты яшчэ страждаюць з кодам прыватных компаній. Акцэнт ставится на практычныя крокі, чыстае перакананне і код, які можна проста дадзіць у репазітарый без неабяснення меты. У стадіўцы «Аптаварыс» неабходна з'явіць вхідныя даны, адпаведальнага за крок і критэрыя завершэння пры перамены коду. Аперацыйныя працавнікі должны магчымае перадзеяць крок з вядомай точкі контролю, не спрабоўваючы з'ясаваць захаваны стан. Конфігурацыю трэба залічыць паза кодам прыкладнення. Файлы сераўіса, хранільнікі секрэтных дадзеных і флагі функцый належаць у аднам месца, якое працавнікі можу аудытаваць, не чытаючы весь граф.

Код, які стоіць за гэтымі заданням, застаецца ў межах бізнесу

Калі працуеце над кодам, які стоіць за гэтымі этапамі, спачатку запісайце умовы працы: неабяжлівыя данні, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі список контроля дапамагае заліцьварыць пазнейшыя змены ў коде. Документавайце як шлях успеху, так і шлях вярнення да нормы. Перапрыбуткі, людзкія перакрыцця і обробка некоректных паведамленняў є частью продукту, а не пазнейшым дапрацоўкам. Стварайце контрольныя пункты пасля дорогіх крокаў. Система вярнення не павінна зноў вырахоўваць адпаведную плата за вызов LLM, калі аператар перапрыбуе пазнейшы вузел.

Рэзультаты працы сильна змінююцца залежна ад задання

Калі працуеце над разлікамі, які рознаюцца сильна ў залежнасці ад стадыі, спачатку запішыце умовы: неабходныя даны, сигнал успеху і тое, што выканаецца пад час частковага нявыполнення. Такі список контролю дапамагае заліцвачыць змяны ў кодзе адпаведна. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшае, прычына нявыполнення павінна вказваць на адну конкрэтную адпаведальнасць, а не на заплутаны ланцюг задач. Зробіце перапактаванне пасля дорогіх крокаў. Програма не павінна знову ставіць плату за той самы вызов LLM, калі аператар праказвае пазнейшы вузел.

Рэйтынг не можа паспрацаваць як адказ на нявыполнення

Калі працуеце над стадзіяй «A Score Does Not», спачатку запісайце контракт: неабяжлівыя даннэ, сигнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі список перакладзець пазнейшыя змены коду ў правільным напрамку. Спрэцьвуйце да гэтай стадзіі як да контракту межа даннемі і перакананымі выходамі. Дайце назву артыфактам, задаце критэрыя успеху і не падзволяйце частковаму завершэнню без паведамлення. Зрабіце перапактаванне пасля дорогіх крокаў. Система вярнення не павинна зноў выклікаць той самы LLM-званак, калі аператар прабуе зноў запрацаваць з пазнейшым вузлам. Калі працуеце над стадзіяй «A Score Does Not», спачатку запісайце контракт: неабяжлівыя даннэ, сигнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі список перакладзець пазнейшыя змены коду ў правільным напрамку. Зберагаце настройкі за межамі коду прыемленае. Файлы сераўнавання, хранільнікі секрэтных дадзеных і флагі функций павинны знаходзіцца ў аднам месцы, куда аператары можаць адбавляць без неабяжлівага чытання всей структуры.

Дзяўніе запускі не былі надзейныяй

Длігі запускі не ўсегда яшчэ кращае рашэнне, калі іх спрыяваць як меркаваныя процесы. Запісайце адны успешны прыклад, адну справу з неудачай і прыметку па вярнэнню да пачатковага стану, прычым расширваючы масштабы. Дакументавайце як успешны, так і вярнучыся шляхі разам. Перапрыбуткі, людзкія контралі і обработка некоректных паведамленняў ёсць часткай продукту, а не пасляднім дапрацоўкам. Храніце стан графа ў простым і типаванам формате. Вярнутыя структуры маскуюць, який вузел запісаў канкрэтны поле, і спакшваюць продовжэнне роботы пасля перарываў.

Найдорожэйшы агент не завжды быў кращы

Этап «Найдорожэйшы агент» працюе найкраща, калі яго розглядаць як вимерную плошчу. Зафіксавце адны «золаты» прымер, адны прыклад неудачы і запіс пра вярнэнне да пачатковага стану, перш чым расширваць масштабы. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшае, прычына неудачы павінна вказываць на адную адпаведальнасць, а не на заплутаны ланцюг задач. Рэзервавайце стан графа ў простам і типізаваным формате. Вярнутыя структуры маскуюць інфармацію пра тое, який вузел запісаў канкрэтны поле, і спакшуюць продовжэнне выканання пасля перерываў.

Два модэлі пад аднай крэплёй разлічыліся на сімнадцать пунктав

Два модэлі, які працуюць пад сцэной, даюць найкращыя рэзультаты, калі іх спрыяваць як меравальную паверхню. Зберагчыце адна ідеальная транскрыпцыя, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану, перш чым расширваць масштабы. Спрыяйце гэтай стадзіі як кантракту межа вхіднымі даннымі та паверынутымі выходамі. Дайце назвы артыфактам, задаце критэрыі успеху та адмовіцеся ад мовчанкавага частковага завершэння. Задаце бюджет токенав на кожны рунг та на кожную сесію. Агентныя інструменты агрэсывна расширваюць контекст; строгі ліміты не дазволяюць дэмам ператварыцца на неспакоўныя рахункі. Два модэлі, які працуюць пад сцэной, даюць найкращыя рэзультаты, калі іх спрыяваць як меравальную паверхню. Зберагчыце адна ідеальная транскрыпцыя, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану, перш чым расширваць масштабы. Зберагчыце настройкі за межамі коду прыемленае. Файлы сяродавішча, хранільнікі секрэтных данных та флагі функций должны знаходзіцца ў аднам месцы, якое аператары можаць пераглядаць без неабяжнага чытання всіх элементаў.

Запускайце тыя ж пяць метак у своем коде

Для адміністрування неабяжна тая ж п’яцьхэтапная процедура: спачатку неабяжна ваказваць інпуты, адміністратара кожнага этапу і крэтырыя выходу, прычаму зміні коду. Аператары должны магчымаць перзапуск этапу з вядомага пункту контролю, не прыпускаючы нявідомага стану. Неабяжна аддак документавацыя як успішнага, так і патэнтнага шляху. Перапрыбуткі, людзкія перакрыцці і обработка некоректных паведамленняў ёсць часткай продукту, а не пасляднім дапрацоўкам. Неабяжна людзкая аправара для тых крокоў, якія выкарыстоўваюць грошы або зміняюць даны праўдзівай роботы. Кампіляцыйныя налашчэнні не ўзроўнаўцяюцься з полнымі бізнес-функцыямі.

Рэсурсы і далейшая літаратура

У стадії Рэсурсаў і дальнейшага чытання неабходна практычна адзначыць вхідныя даны, адпаведальнага за крок і крэтыры завершэння пры перадзеіснавленні коду. Аператары должны магчымаць перзапуск крока з вядомай точкі контролю, не падозрываючы схованы стан. Лепш выбіраць маленькія, тэставаныя елементы замест большых скрыптаў. Калі крок не выйшоў, прычына неудачы павінна вказываць на адзін конкрэтны элемент, а не на заплутаны ланцужок задач. Неабходна людская апраўда для тых крокаў, якія выкалічваюць грошы або зменяюць даны ў працэсе. Компіляцыйныя налашчэння не є прамаравамым паказателем завершання роботы.

Чэк-ліст для эксплуатацыі

Стадія чэк-ліста для эксплуатацыі працюе найэфектывней, калі яе спрыямаць як мерыемую структуру. Перш чым расширваць масштаб, неабходна зафіксаваць адзін ідеальны прыклад роботы, адзін кейс неудачы і прыметкі па адвярненню змян.

Запісвайце часы выканання задач і кост токеноў або запытаў праза функцыйнае рэзультат. Відразлівае паказанне костаў з’являецца рана, чым утвараюцца неспадзянаныя рахункі, калі парадок пераходзіць з дэмовай среды ў спадзеланыя сераўы.

Зберагайце стан графа ў простам і типаваным формате. Вкладзеныя блобы маскуюць інфармацыю пра тое, який вузел запісаў якое поле, і спакоююць працэс пасля перарываў.

Дадзіце тэст на працэс, які пераглядае критычны парадок у системе CI з викорыстаннем фіксатываў, а не рэальных платных API, калі тое дазволяе бюджет.

Зберагайце настройкі парадзелена ад коду прыемліка. Файлы среды, хранільнікі секрэтных данных і флагі функцыйяў должны знаходзіцца ў аднам месцы, куды аператары можаць адбавіць аудыт без неабходнасці чытання всего графа.

Зберагайце стан графа ў простам і типаваным формате. Вкладзеныя блобы маскуюць інфармацыю пра тое, який вузел запісаў якое поле, і спакоююць працэс пасля перарываў.

Перш чым запускать даную систему, заморозьце версіі, зафіксавце ідеальны транскрыпт для критычнага шляху і паказвце спосабы анулювання змян. У спільных средах неабходны ліміты частоты запуска, пераконтроль стану абонентаў і чысткі власнік для змены секретных даных. Валідзіце надзейнасць, а не простыя дэманстрацыі.

Прыметкі для ffc4925b6f04: не кладзіце ключы прадаўцаў у репазітарый, задаце максімальную кантитатыву токенав на сесію і зберагачыце транскрыпты разам з фіксатрамі для адлічэння, каб пазнейшыя замены моделяў заставаліся порównаннімі.

Прыемкі па забезпечэнню надзейнасці на стадыі 0 работаюць лепш, калі іх спрыягчыце як меравальную плошчу. Зафіксавце адны ідеальны транскрыпт, адзін кейс абякання і прыметкі анулювання перш чым расширваце масштаб. Спрыягчыце гэтую стадію як кантракт межа вхіднымі дадзеннямі і пераверытымі выходнымі рэзультатамі. Даце назвы артыфактам, задаце критэрыя успеху і адмовіцеся ад тыхняга частковага завершэння без паведамлення.

Дзеянне паўжасткі 0/869: звярніце увагу на час выканання, класы памылак і колькасць выкорыстоўваных токенаў для гэтага запісу, а пасля, на аднойчынай сэтце запытаў, а не на індывідуальных прыкладах, выявіце, чы хацяце застаўіць змену.

Для першага этапу паўжасткі неабходна ўзначыць вхідныя даны, адпаведальнага за крок і критэрыя завершэння пры зміне коду. Аперацыйныя працавнікі должны магчымае перадзвануць крок з вядомай точкі контролю, не спрабоўваючы здагадвацца пра схованы стан. Конфігурацыю трэба зберагчы за межамі коду прыкладнення. Файлы сераўнавання, хранільнікі секрэтных дадзеных і флагі функций должны знаходзіцца ў аднам месцы, якое працавнікі можуць пераглядаць, не чытаючы весь структураны код.

Дзеянне паўжасткі 1/869: звярніце увагу на час выканання, класы памылак і колькасць выкорыстоўваных токенаў для гэтага запісу, а пасля, на аднойчынай сэтце запытаў, а не на індывідуальных прыкладах, выявіце, чы хацяце застаўіць змену.

Калі працуеце над 2-й стадзіяю практыкы заспеклення, спачатку запісайце умовы кантракта: неабяжныя вхідныя даны, сігнал успеху і тое, што выходзіць пад частковым неудачам. Такі список контроля дапамагае залічваць пазнейшыя змены ў кодзе чыста і прозрачна. Валіце маленькія, тэставаныя елементы замест вялікіх скрыптав. Калі якась ступеня не выйшла, неудача должна вказваць на адну конкрэтную адпаведальнасць, а не на заплутаны ланцюг задач.

Дзеянне заспеклення 2/869: звярніце увагу на час выканання, класы каштоўкаў і витрату токенаў для гэтай практыкі, а потым вырашыце, чы робіць змены на адной пазначанай базе дакументаў, а не на аснове індывідуальных спазырэнняў.

2-я стадзія практыкы заспеклення працюе лепей, калі яе спрыямаць як меравальную плошчу. Запісайце адны ідеальны прыклад роботы, адзін кейс неудачы і прыказку па абратанні пазначэнняў перад расшырэннем масштаба. Запісвайце часы выканання і вартасць токенаў або запытак пад функцыйнальнымі рэзултатамі. Відкрытая інформацыя пра вартасці запобегае неспакойным рашчыткам, калі процес пераходзіць з дэмаверсіі ў спяльныя среды.

Дзеянне паўжырання 3/869: зважыце час выканання, класію адказа і колькасць токенаў, выкорыстаных для гэтага запісу, а пасля вырашыце, чы рашыцца застаўіць змяну на аднойчы назначанай сэткі пытанняў, а не на адзінокых прыкладах.

Для стадіі 0 запісу паўжырання неабходна перад змянай коду адзначыць вхідныя даны, адпаведальнага за крок і критэрыя завершэння. Аперацыяныя працавнікі должны магчыма было перадзеяць крок з вядомай точкі контролю, не спрабоўваючы здагадвацца пра схованы стан. Неабходна задокументаваць як шлях успеху, так і шлях вярнення да нормальнага стану. Перапрыбуткі, людзкія контралі і обработка некоректных паведамленняў є часткай продукту, а не чымсь, што дадаецца пазней.

Дзеянне паўжырання 0/888: зважыце час выканання, класію адказа і колькасць токенаў, выкорыстаных для гэтага запісу, а пасля вырашыце, чы рашыцца застаўіць змяну на аднойчы назначанай сэткі пытанняў, а не на адзінокых прыкладах.

Калі працюеце над першым этапам змяркавання па крэпліванні, спачатку запісайце контракт: неабяжлівыя вхідныя даны, сигнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі список пераконвае ў тым, што пазнейшыя змены коду будуць чыстымі. Спрэчвайце гэты этап як контракт межа вхіднымі данымі і перакананымі выходнымі рэзультатамі. Дайце назвы артыфактам, задаце критэрыя успеху і не падзеўляйцеся частковым завершэнням без паведамлення.

Дзеянне крэплівання 1/888: змерьце час выконання, класыя ошибакі і витрату токенав для гэтага пункту, а потым выявіце, чы хочаце застаўляць змену на адной пазначанай базе пытанняў, а не на асоціяціях.