Практычныя прытамулі: Чаго значыць права на власнасць, калі агенты пішу код

Існавайце гэта як перапрацоўку ідэй з артыкула «Што значыць власнасць, калі агенты пішу код» для працаваючых з системай: чыстыя этапы, аранжаваныя блакі для коду і прыметкі з восстанавлення, якія застаюцца пасля перадачы задання. Этап Аналізу работае найкраща, калі яго розглядаць як меркаваную плошчу. Запісаце адна ідеальная транскрыпцыя, адзін прыклад неудачы і прыметку з відкату перш чым расширваць масштаб задання. Храніце настройкі параду ад коду прыкладнай програмы. Файлы сераўіса, хранальнікі секрэтных данных і флагі функцыйяў должны знаходзіцца ў аднам месцы, якое працаваючыя можуць пераглядаць без неабходнасці чытання всей структуры.

Дэлегаванне реалізацыі, перагляду і архітектуры

Для адміністрування і перагляду реалізацыі з дэлегаваннем неабяжна пазначыць вхідныя даны, адпаведальнага за крок і крэтырыя для завершэння пры зміне коду. Аперацыйныя працавнікі должны магчымае запускаць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Неабяжна задокументаваць як шлях успеху, так і шлях вярнення. Перапрыбуткі, людзкіе перакрыцця і обробка некоректных паведамленняў ёсць часткай продукту, а не пасляднім дапрацоўкам. Неабяжна застаўляць людзкую затверджэнняе для тых крокоў, якія выкарыстоўваюць грошы або зміняюць даны ў працэсе. Працэс кампілявання не є гарантыяй полнай адпаведнасці продукту бізнес-трэбованням.

Што трэба для адпаведальнасці

Для стадіі «Што трэба для власнасці» неабяжна прадзефінаванне вхідных дадзеных, власніка крока і крэтарыяў завершэння перад зменым коду. Аперацыяныя працавнікі павінны магчымае перзапускаць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Лепш выбіраць маленькія, тэставаныя елементы замест большых скрыптов. Калі крок не выйшае, прычына неудачы павінна вказываць на адну адпаведальнасць, а не на заплутаны процес. Неабяжна людская апраўда ў тых моментах, калі выконваюцца выдаткі або зменяюцыся даныя для працы. Компіляцыйныя наладкі не ўзроўнаваліся з повнасцю бізнес-процэса.

Што робіць людскі нагляд значымым

Для стадіі «Што спрыяе людскаму нагляду» неабходна прадзеявленне вхідных дадзеных, адміністратара шагу і крэтэрыяў завершэння пры змены коду. Аперацыйныя працавнікі павінны магчымаецца перзапускаць шаг з вядомай точкі контролю, не падозрываючы прыхованы стан. Спрыяйце цій стадіі як кантракту межаў вхідных дадзеных і перакананых выходных рэзультатаў. Даць назвы артыфактам, прадзеявліць перакананні на успех і адмовіцца ад безгучнага частковага завершэння. Забезпечыце людскія апраўдкі для тых крокаў, якія выкарыстоўваюць грошы або зміняюць даны праўай працы. Кампіляцыйныя наладкі не ўзроўнаваліся з пачатковай цэласнасцю бізнес-процэсаў. Для стадіі «Што спрыяе людскаму нагляду» неабходна прадзеявленне вхідных дадзеных, адміністратара шагу і крэтэрыяў завершэння пры змены коду. Аперацыйныя працавнікі павінны магчымаецца перзапускаць шаг з вядомай точкі контролю, не падозрываючы прыхованы стан. Зберагачыце настройкі параду ад коду прыемлівання. Файлы сяродавішча, хранільнікі секрэтных дадзеных і флагі функцыйяў павінны знаходзіцца ў аднам месцы, якое працавнікі можуць аудытаваць, не чытаючы ўсё.

Граф.

Як змінююцься рызыкі з часам

Калі працюеце над этапам «Як змінююцься рызыкі», спачатку запісайце умовы контракту: неабяжлівыя даны, сигнал успеху і тое, што выходзіць у разе частковага невыпання. Такі список пераконвае ў тым, што пазнейшыя змены коду будуць чыстымі. Документавайце як шлях успеху, так і шлях вярнення. Перапрыбуткі, людзкі контроль і обработка некоректных паведамленняў є частью продукту, а не пазнейшым дапрацоўкам. Стварайце контрольныя пункты пасля дорогіх крокаў. Система вярнення не должна знову ставіць плату за той самы вызов LLM, калі аператар перапрыбуе пазнейшы вузел.

Тады, хто несе адпаведнасць, калі роботы выканаюць агенты?

Калі працуеце над стадзіяй «Хто несе адказнасць», спачатку запішыце угоду: неабяжлівыя даны, сігнал успеху і тое, што выходзіць у разе частковага неяксамоства. Такі список пераканальвае ў тым, каб пазнейшыя змены коду былі чыстымі. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок неяксамоства, гэта неяксамоство павінна вказваць на адзіну адказнасць, а не на заплутаны ланцужок задач. Зробіце пераконтроль пасля дорогіх крокаў. Програма не павінна зноў выклікаць той самы вызов LLM, калі аператар праканае пазнейшы вузел.

Забезпечэнне адказнасці

Калі працуеце над стадзіяй «Забэджанне адпаведнае заўважальнасці», спачатку запішыце кантракт: неабходныя данні, сигнал успеху і тое, што выходзіць у разе частковага невыпання. Такі список пераконтроўкаў дапамагае заставіць пазнейшыя змены коду чыстымі. Спрыймайце гэтую стадзію як кантракт межа даннімі і перакананымі выходамі. Дайце назву артыфактам, задаце перакананні успеху і адмовіцеся ад тыхоўскага частковага завершэння. Зробіце пераконтроўку пасля дорогіх крокаў. Система вярнення не павінна знову вырахоўваць каштыкі за той самы вызов LLM, калі аператар прабуе зноў запрацаваць пазнейшы вузел. Калі працуеце над стадзіяй «Забэджанне адпаведнае заўважальнасці», спачатку запішыце кантракт: неабходныя данні, сигнал успеху і тое, што выходзіць у разе частковага невыпання. Такі список пераконтроўкаў дапамагае заставіць пазнейшыя змены коду чыстымі. Зберагаце настройкі за межамі коду прыемлівання. Файлы сераўнавальнага сяродавішча, хранілішчы секрэтных дадзенняў і флагі функций павінны знаходзіцца ў аднам месцы, якое аператары можаць пераглядаць без неабходнасці чытання всей структуры.

Што вы хачаце, каб фрэймворкі захавалі

Этап «Што вы хачаце, каб фрэймворкі захавалі» працуе найкраща, калі яго розглядаць як вимерную плошчу. Запісаце адна ідеальная версія дадзеных, адзін прыклад неудачы і прыметку па поверненню да пачатковага стану пры розширэнні масштаба. Дакументавайце як шлях успеху, так і шлях вярнення да нормальнага стану. Перапрыбуткі, людзкія контралініі і обработка некоректных паведамленняў є частью продукту, а не чымсь, што дадаецца пазней. Храніце стан графа ў простам і типаваным формате. Вкладзеныя блокі дадзеных маскуюць інфармацыю пра тое, який вузел запісаў кожны поле, і спакоююць працу пасля перарываў.

Чэк-ліст для эксплуатацыі

Калі працуеце над чэк-лістам для эксплуатацыі, спачатку запісаце умовы викорыстання: неабходныя данні, сігнал успеху і тое, што выканаецца пад час частковай неудачы. Такі чэк-ліст дапамагае заставіць пазнейшыя змены коду чыстымі і працэсабельнымі.

Запісвайце часы выканання задач і кост токеноў або запытаў праза функцыйнае рэзультат. Відразлівая візуалізацыя костаў запобегае неспакойным рахункам, калі парадок пераходзіць з дэмавай версіі ў спяльныя среды.

Ствараце контрольныя пункты пасля дорогіх крокаў. Функцыя продакцыйнага запуску не павінна знову нараховваць косты за той самы вызыв LLM, калі аператар перапрыямляе роботу да наступнага вузла.

Закрепіце версіі залежнасцяў і запісвайце хэш адпаведнага зображэння, якое было выкарыстоўвана для дэмавай працы. Возможнасць перадзвічання рэзультатаў лепша, чым традыцыйныя методы роботы.

Зберагачыце настройкі парадульна ад коду прыемліка. Файлы среды, хранільнікі секрэтных данных і флагі функций павінны знаходзіцца ў аднам месцы, якое аператары можаць пераглядаць без неабяжнай чытанняў усіх элементаў структуры.

Ствараце контрольныя пункты пасля дорогіх крокаў. Функцыя продакцыйнага запуску не павінна знову нараховваць косты за той самы вызыв LLM, калі аператар перапрыямляе роботу да наступнага вузла.

Перш чым запускать даную систему, заморозьце версіі, зафіксавце ідеальны транскрыпт для критычнага шляху і паказвце спосабы анулювання змян. У спільных средах неабходны ліміты частоты запуска, пераконтрольванне прав на выкарыстоўвання ресурсаў і чысткі власнік для змены секрэтных даных. Лепш выбіраць простую надзею на надзейнасць, чым хітрыя експерыментальныя дэманстрацыі.

Прыметка для ae269f04ace5: не кладзіце ключы прадаўцоў у репазітарый, задаце ліміт токена на кожную сесію і зберагачыце транскрыпты разам з фіксатрамі для ацэнкі, каб пазнейшыя замены моделей заставаліся порównанымі.

Прыметка па забезпечэнню надзейнасці на стадыі 0 работае лепш, калі яе спрыяваць як мерыемую плошчу. Зафіксавце адны ідеальны транскрыпт, адзін прыклад неудачы і прыметку па анулюванні змян перад расшырэнням масштаба. Лепш выбіраць маленькія, тэставаныя елементы, чым велікія скрыпты. Калі якась зе ступеней не выйшла, прычына неудачы должна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны процес.

Дзеянне паўжасткі 0/911: звярніце увагу на час выканання, класыя ошибак і колькасць токенаў, якія былі выкарыстаны для гэтага зазначэння, а пасля, на аднойчыне з фіксаваным наборам пытанняў, а не на індывідуальных прыкладах, выявіце, чы хачаце застаўіць змяну.

Для першага этапа паўжасткі зазначэння неабходна ўзначыць вхідныя даны, адпаведальнага за крок і критэрыя завершэння пры перамены коду. Аперацыйныя працавнікі должны магчыма было перзапускаць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Запісвайце час выканання і колькасць токенаў або запытак палягліва да рэзультатаў функцыянальнай працы. Візуабельнасць костоў з самага пачатку запобегае неспакойным рахункам, калі процес пераходзіць з дэмаверсіі ў спяльныя среды.

Дзеянне паўжасткі 1/911: звярніце увагу на час выканання, класыя ошибак і колькасць токенаў, якія былі выкарыстаны для гэтага зазначэння, а пасля, на аднойчыне з фіксаваным наборам пытанняў, а не на індывідуальных прыкладах, выявіце, чы хачаце застаўіць змяну.

Калі працуеце над 2-м ўрадзам пункту праўілнявання, спачатку запісайце контракт: неабходныя даны, сігнал успеху і тое, што выходзіць пад частковым нявыпаннем. Такі список контроля дапамагае заліцвачваць пазнейшыя змены ў кодзе. Документавайце як шлях успеху, так і шлях вяснавання. Перапрыбуткі, людзкія контралі і обработка некоректных паведамленняў є часткай продукту, а не пазнейшым дапрацоўкам.

Дзеянні праўілнявання 2/911: змерайце час выконання, класію памылак і витрату токенав для гэтага пункту, а потым выявіце, чы хацеце застаўіць змену на адной пазначанай сэткі пытанняў, а не на адной лячбе.

2-й ўрадзам пункту праўілнявання работае лепей, калі яго спрыяглядаць як меравальную плошчу. Запісайце адну ідеальную транскрыпцыю, адзін прыклад памылки і запіс пра вярнэнне да пачатковага стану, перш чым расширваць сферу дзеяння. Спрыяглядайце гэты ўрадзам як контракт межаў уваходных даных і перакананых выходных рэзультатаў. Назвайце артыфакты, задаць критэрыя успеху і адмовіцеся ад мовчанкавага частковага завершэння.

Дзеянне паўжасткі 3/911: звярніце увагу на час выканання, класы памылак і витрату токенаў для гэтага запісу, а пасля, на аднойчынай базе фіксаванага набору пытанняў, а не на індывідуальных прыкладах, выявіце, чы рашыцца застаўіць змяну.

Для 4-го этапа паўжасткі неабходна перад змянай коду чытача апісацыю вхідных дадзенняў, адпаведальнага за крок і крэатарыяў завершэння. Аперацыйныя працавнікі павінны магчымае перадзвігнуць крок з вядомага пункта контролю, не спрабоўваючы здагадвацца пра схованы стан. Канфігурацыю трэба зберагчы за межамі коду прыемленае. Файлы сераўіса, хранільнікі секрэтных дадзенняў і флагі функцыйяй павінны знаходзіцца ў аднам месцы, якое працавнікі можуць пераглядаць, не чытаючы весь код.

Дзеянне паўжасткі 4/911: звярніце увагу на час выканання, класы памылак і витрату токенаў для гэтага запісу, а пасля, на аднойчынай базе фіксаванага набору пытанняў, а не на індывідуальных прыкладах, выявіце, чы рашыцца застаўіць змяну.

Калі працуеце над 5-м падземам прыемкі з ударожэння, спачатку запісайце контракт: неабяжлівыя даны, сігнал успеху і тое, што выходзіць пад частыя неудачы. Такі список пераканае ў тым, што пазнейшыя змены коду будуць чыстымі. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выходзіць, неудача должна паказваць на адну адпаведальнасць, а не на заплутаны ланцюг задач.

Дзялянка ударожэння 5/911: змерьце час выканання, класію памылак і колькасць токенаў, якія былі выкарыстоўваны для гэтай прыемкі, а потым выявіце, чы хацеце застаўці змену на адной фіксаванай сэтке пытанняў, а не на адзінственных прыкладах.

5-й падзем прыемкі з ударожэння работае лепей, калі яго спрыямаць як меравальную плошчу. Запісайце адны ідеальны прыклад работы, адзін кейс неудачы і прыемку для вярнення да пачатковага стану, прычым не расшырюючы сферу дзеяння. Запісвайце часы выканання і кост токенаў або запытаў разам з функцыйнальнымі рэзултатамі. Відразувая візуабельнасць костаў запобегае неспакойным рахункам, калі процес пераходзіць з дэмаверсіі ў спяльныя сераўы.

Дзеянне паўжчання 6/911: звярніце увагу на час выканання, клас памылакі і колькасць выкорыстоўваных токенаў для гэтага запісу, а пасля, на аднойчынай базе фіксаванага набору пытанняў, а не на асобістых спазыраннях, выявіце, чы хацяце застаўіць змены.

Для 7-го этапу паўжчання неабходна перад змянай коду чытко визначыць вхідныя даны, адпаведальнага за крок і критэрыя завершэння. Аперацыйныя працавнікі должны магчымае перадзвануць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Неабходна адначасна задокументаваць шлях успеху і шлях вярнення да нормальнага стану. Практыка павторных спроб, людзкія перакрыцця і обработка некоректных паведамленняў є частью продукту, а не етапамі далейшай дапрацоўкі.

Дзеянне паўжчання 7/911: звярніце увагу на час выканання, клас памылакі і колькасць выкорыстоўваных токенаў для гэтага запісу, а пасля, на аднойчынай базе фіксаванага набору пытанняў, а не на асобістых спазыраннях, выявіце, чы хацяце застаўіць змены.

Калі працюеце над 8-м падзёлам правіла забезпечэння безпекі, спачатку запісайце контракт: неабяжлівыя данні, сигнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі список контроля дапамагае залічыць пазнейшыя змены коду адкрыта і прозрачна. Спрэцьвуйце да гэтага падзёла як да контракту межу даннімі і перакананымі выходамі. Дайце назвы элементам, задаце критэрыі успеху і не прымайце часткова завершэння без паведамлення.

Дзеянні забезпечэння безпекі 8/911: вымерайце час выканання, класію памылак і колькасць выкорыстоўваных токенав для гэтага падзёла, а потым выберайце, чы рашыцца застаўляць змену на аднойчы заданых критэрыях, а не на асоціяцыях.