Галоўная / Артыкулы

Практычныя нататкі: чаму рахунак за агента для кода расце хутчэй за чат

Практычны разбор тэмы «чаму рахунак за агента для кода расце хутчэй за сам чат»: кантракты, праверкі і гатовыя фрагменты кода для каманд, якія ўкараняюць гэты падыход.

Выдавец: REACTAPP.TOP7 хв чытання1606 слоў

Крыніцы: Why your coding agent’s bill grows faster than the chat

Наступныя прытамлівкі паказваюць практычны падход да разбору прычын, чаму сума за работу вашага агента-кодавца расце быстрэй, чым чат. Акцэнт ставіцца на кантракты, пераконтрольванні і месца для вставкі коду, а не на мотывацыйныя аспекты. Калі працуеце на этапы адгляду, спачатку запісайце кантракт: неабяжлівыя даны, сігнал успеху і тое, што выканаецца у разы ўзельнага нявыполнення. Такі чарт дапамагае заліцваты змяны ў кодзе. Храніце настройкі параду ўнутры коду прыемлівача. Файлы сераўнавання, хранілішчы секрэтных даных і флагі функцыйяў должны знаходзіцца ў аднам месцы, куда аператары можу працаваць без неабяжлівага чытання всей структуры.

Што такое не ёсць кэшаваннем запытоў

Функцыя кэшавання запыткаў What prompt працюе наякша, калі яе розглядаць як параметр, які можна вымерыць. Запісаўце адны ідэальны прыклад работы, адну сітуацыю неудачы і прыметкі па адкату перш чым расшырваць сферу прыменнення. Дакументаваўце як шлях успеху, так і шлях вяснавання. Перапрыбуткі, людзкія контралі і обработка некорэктных паведамленняў ёсць часткай продукту, а не наступным этапам дапрацоўкі. Задаўце бюджэт токенав на кожны раунд і на кожную сесію. Інструменты-агенты агрэсывна расшырваюць кантэкст; строгі ліміты запобегаюць таму, каб дэманстрацыі ператварыліся на неспакоючыя рахункі.

Чаму агент перасылае весь дзялон размовы?

Справа ў тым, што праця агента выконваецца найэфектывней, калі яе розглядаць як вімерную структуру. Зафіксавайце адна ідэальная версія працы, адзін прыклад неудачы і запіс пра вярненне да поперадньго стану, перш чым расшырваць масштабы. Валідзіце невялікія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшоў, прычына неудачы павінна вказываць на адную конкрэтную адпаведальнасць, а не на заплутаны ланцюг задач. Рэзультаты працы графа павінны быць простымі і з адначыя структурамі дадзеных. Вкладненыя структуры маскуюць інфармацыю пра тое, які вузел запісаў канкрэтны поле, і спакоююць продовжэнне працы пасля перэрываў.

turn 1  →  system + tools + user₁                          →  assistant₁
turn 2  →  system + tools + user₁ + assistant₁ + user₂      →  assistant₂
turn 3  →  system + tools + user₁ + assistant₁ + user₂ + …  →  assistant₃

Арыметыка

Арыметычны ўраджак працюе наякша, калі яго спрыяваць як мерым аб’ектам. Зафіксавайце адны ідэальны прыклад, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану перш чым расшырваць сферу дзеяння. Спрыяйце этапу як кантракту межа вхіднымі данымі і перакананымі выходнымі рэзультатамі. Дайце назвы аб’ектам, задаць крытэрыя успеху і не падзеўляйцеся частым, непূরным выкананнем задачы. Рэзультаты арыметычных вычыслаў трэба зберагаць у простам, структураваным фармаце. Вярнутыя внутранія структуры маскуюць інфармацыю пра тое, які вузел запісаў кожны поле, і спаказваюць продовжэнне выканання пасля перэрываў. Арыметычны ўраджак працюе наякша, калі яго спрыяваць як мерым аб’ектам. Зафіксавайце адны ідэальны прыклад, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану перш чым расшырваць сферу дзеяння. Канфігурацыю трэба зберагаць паза кодам прыкладнай програмы. Файлы сяродовішча, хранільнікі секрэтных даных і флагі функцыйяў должны знаходзіцца ў аднам месцы, куда аператары можу аўдытаваць іх без неабходнасці чытаць весь структурны ляўер.

Наскількі на самай працэ пам’яткавання запытоў дапамагае заэканоміць час?

Для этапы «Які даны неабяжна запрашваць» паказваецца неабяжна задаць вхідныя даны, адміністратара крока і крытэрыя завершэння пры зміне коду. Аперацыйныя працавнікі павінны магчымае запускаць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Неабяжна задокументаваць як шлях успеху, так і шлях вярнення. Перапрыбуткі, людзкіе перакрыцця і апрацоўка некорэктных паведамленняў ёсць часткай продукту, а не чымсь, што дадаецца пазней. Калі наступны крок — гэта код або вызов інструмента, лепш выкарыстоўваць структураваныя выходныя даны з перакананнем схэмы, чым вольныя тэкстовыя апісанні.

Проблема, пра якую ніхто не гаворыць

Для этапы, калі якой ніхто не павяртае увагу, трыба з’явіць вхідныя даны, адпаведнага власніка крока і крэтыяры выходу пры перадзеіснаванні коду. Аператары павінны магчымаць перзапуск крока з вядомай точкі контролю, не падозрываючы схованы стан. Лепш выбіраць маленькія, тэставаныя елементы замест большых скрыптов. Калі крок не выканаецца, прычына нехаспекі павінна вказваць на адзін конкрэтны аспект, а не на заплутаны ланцуг задач. Неабходна людская апраўда для тых крокаў, якія выкарыстоўваюць грошы або зменяюць даны ў працэсе віробніцтва. Компіляцыйныя налашчэнні не ёсць адпаведнай гарантыяй полнага выканання задач.

Чы рэальна 1-гадовая TTL цяніць сабе 2 разы больш?

Для етапу з таймаўмом TTL у 1 гадзіну неабходна ўжо пачатку змены коду адзначыць вхідныя даны, адпаведальнага за выкананне крока і крытэрыя завершэння. Аператары должны магчымае перзапускаты крок з вядомай точкі контролю, не прабуючы спадарожваць схованы стан. Спрыяйце таму, каб гэты етап быў схожы на контракт межа вхіднымі данымі і перакананымі выходнымі рэзультатамі. Даўце назвы всім элементам, адзначыце крытэрыя успеху і не прабывайце прыймаць часткова завершаныя рэзультаты без падтверджэння. Заставьце людзкія падтверджэння для тых крокаў, якія выкарыстоваюць грошы або зміняюць даны, якія вікорыстоваюцца у працэсе. Компіляцыйныя налашчанні не ёсць адпаведнікамі пачатковай цэлесообразнасці працэсу. Для етапу з таймаўмом TTL у 1 гадзіну неабходна ўжо пачатку змены коду адзначыць вхідныя даны, адпаведальнага за выкананне крока і крытэрыя завершэння. Аператары должны магчымае перзапускаты крок з вядомай точкі контролю, не прабуючы спадарожваць схованы стан. Зберагаўце налашчанні праза код аплікацыі. Файлы сераўнавання сяродовышча, хранілішча секрэтных даных і флагі функцый должны знаходзіцца ў аднам месцы, якое аператары можаць пераглядаць, не чытаючы весь код.

Чы гэты прадаўцар за замовчаннем выконвае кэшаванне?

Калі працуеце над этапам «Чы гэты прадаўцар выконвае кэшаванне?», спачатку запісайце умовы даговору: неабходныя даны, сігнал успеху і тое, што выканаецца у разы частковага нявыпання. Такі спіс дапамагае заліцвачыць змяны ў кодзе. Запісайце адночасна шлях успеху і шлях вярнення да нормальнага стану. Перапрыбуткі, людзкія контралі і обработка некорэктных паведамленняў ёсць часткай продукту, а не дадатковымі правкамі пазней. Зробіце контрольны пункт пасля дорогіх крокаў. Сістэма вярнення не должна занова выклікаць той самы календар LLM, калі аператар перапрыбуе пазнейшы вузел.

То што ж вы на самай працэ выконваеце?

Калі працуеце над праектам, спачатку запісайце угоду: неабяцковыя даны, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі спіс пераконвае ў тым, што пазнейшыя змены коду будуць чыстымі. Валічыце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшае, прычына нявыпання павінна вказываць на адзін конкрэтны элемент, а не на заплутаны ланцюг задач. Робіце перапактаванні пасля дорогіх крокаў. Програма не павінна зноў ставіць плату за той самы вызов LLM, калі аператар праказвае спробу выканання наступнага элемента.

Короткая версія

Калі працюеце на стадыі TL DR, спачатку запісайце «контракт»: неабяжлівыя даныя, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі спіс пераконвае ў тым, што пазнейшыя змены коду будуць чыстымі. Спрыймайце гэтую стадыю як контракт межа данымі і перакананымі выходамі. Дайце назву кожнам элементам, задаце крытэрыя успеху і не падзволяйце частковаму завершэнню без паведамлення. Зробіце перапытку пасля дорогіх крокаў. Сістэма вярнення не павінна зноў ставіць плату за той самы вызов LLM, калі аператар прабуе зноў запрацаваць пазнейшы вузел. Калі працюеце на стадыі TL DR, спачатку запісайце «контракт»: неабяжлівыя даныя, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі спіс пераконвае ў тым, што пазнейшыя змены коду будуць чыстымі. Зберагаўце настройкі праза код аплікацыі. Файлы сераўнавання, хранільнікі секрэтных дадзеных і флагі функцый павінны знаходзіцца ў аднам месцы, якое аператары можаць пераглядаць без неабяжлівага чытання всей структуры.

Павторыце гэта

Этап відтворэння працюе найкрашча, калі яго розглядаць як вімерную паверхню. Запісаце адзін «золаты» транскрыпт, адзін прыклад неудачы і запіс працэй з вярненням да пачатковага стану пры розшырэнні масштаба. Дакументавайце як шлях успеху, так і шлях вярнення. Перапрыбуткі, людзкіе контралі і обработка некорэктных паведамленняў ёсць часткай продукту, а не пасляднім дапрацоўкам. Храніце стан графа як просты і з адначыяным тыпам дадзеных. Вкладаныя блокі маскуюць, які вузел запісаў канкрэтны поле, і спакоююць продовжэнне працы пасля перарываў.

python 3.13 · stdlib only
system prompt 10,000 tok · user +1,000/turn · assistant +3,000/turn
base input $4.00/M · write 1.25x (5-min) / 2.00x (1-hour) · read 0.10x

Апавясненні

Этап апелляцый работае наяўней, калі яго спрыяваць як мерыемую структуру. Зберагучы адна ідэальная версія, адзін прыклад неудачы і запіс парадоксу, перш чым расшырваць масштабы. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшае, прычына неудачы павінна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны ланцюг задач. Рэзультаты графа павінны быць простымі і з адначытаемым тыпам. Вярнутыя структуры маскуюць інфармацію пра тое, калькі вузел запісаў калькі поле, і спакоююць працу пасля перэрываў.

Чэк-ліст для эксплуатацыі

Для этапа чэк-ліста для эксплуатацыі неабходна з’явіць вхідныя даны, адпаведальнага за крок і крытэрыя завершэння пры перамены коду. Аперацыйныя працавнікі павінны магчымае перазапускаць крок з вядомай точкі контролю, не падозрэўчы пра схованы стан.

Запісвайце час выканання і вартасць токеноў або запытаванняя разам з функцыйнальнымі рэзультатамі. Відразувыя даны пра вартасці запобегаюць неспакойным рахункам, калі працэс пераходзіць з дэмовай асяроддзя ў спакульную.

Неабяжна людская згода на тыя элементы, які вітрачаюць грошы або зменяюць даны працэйнага сервісу. Падключэння ў час компіляцыі не адпавядае пачатковай цэласнасці бізнес-процэсаў.

Напісце кароткі практычны паведамленні: як зменяць кантрольныя клучы, як спрачыслаць чэргу заданняў, як анулюваць пярэдніе змены.

Зберагаюце настройкі праза код прыемніка. Файлы сяродавішняе суперактуальнасці, хранілішчы секрэтных дадзеных і пазнакі функцый должны знаходзіцца ў адном месцы, куды аператары можаць пераглядаць іх без неабяжнага чытання всіх элементаў сістэмы.

Неабяжна людская згода на тыя элементы, які вітрачаюць грошы або зменяюць даны працэйнага сервісу. Падключэння ў час компіляцыі не адпавядае пачатковай цэласнасці бізнес-процэсаў.

Перад адкрыцыем новай версіі сістэмы заморозьце існуючыя версіі, зафіксуйце крытычныя моменты працэў і паказваце, як анулюваць змены. У спільных сяродавішняе суперактуальнасці неабяжныя ліміты на частоту запытоў, перагляд стану аб’ектаў і чысткая відпаведальнасць за змены секрэтных дадзеных. Валіце простую надзейнасць працэў над красавім, але разовым дэманстрацыйным прыкладам.

Запіскі для пакета 2d9ecb37423d: не класты ключы прадаўцоў у рэпазітарыю, задаць максымальны тэрмін дзейнасці токена на кожную сесію, а таксама зберагчы транскрыпціі праза фіксатуры адлічэння, каб пазнейшыя замены мадэляў заставаліся порównаннымі.