Практычныя прытамулкі: «Агентскі ІІ» — гэта пераважна дама, а не продукт.
Практычныя прыказкі: «Агентна ШІ» — гэта пераважна дама, а не продукт: контракты, перакантовкі та месцы для коду для команд, якія викорыстоўваюць гэты патэрн.
У гэтым керавані знову ствараецца парадокс ад сыр'ёў да рабочай системы для тэмы: «AI-агенты здарожаюць пераважна як дэманстрацыі, а не як продукты». Акцэнт ставяцца на практычныя крокі, чыстае перакананне і код, які можна проста дадзіць у репазітарый без неабяснення меты. У стадіўцы агульнага відзору неабходна з'явіць вхідныя даны, адпаведальнага за крок і критэрыя завершэння прычымоў перад зменай коду. Аператары должны магчымае перадзеісцаваць крок з вядомага пункта контролю без неабяснення схованага стану. Неабходна задокументаваць як успішны, так і варыянт вяснавання ситуацыі. Перапрыбуткі, людзкія перакананні і обробка некоректных паведамленняў є часткай продукту, а не чымсь, што дадаецца пазней.
1. Дэманстрацыі справды нейкласовыя
Калі працуеце над дэмамі, спачатку запісайце умовы кантракту: неабяжлівыя даны, сігнал успеху і тое, што выходзіць пад частыя неудачы. Такі список контроля дапамагае заліцвачыць змяны ў кодзе. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшае, неудача должна вказваць на адну конкрэтную адпаведальнасць, а не на заплутаны ланцюг задач. Зрабіце перапактаванне пасля дорогіх крокаў. Програма не должна зноў платіць за той самы вызов LLM, калі аператар прабуе зноў выконаць пазнейшы элемент.
2. Дэмы оптымацуюцца для можлівасцяў. Продукты — для павтаральнасці.
Калі працуеце над двумя дэманстрацыямі, оптымаўляйце ўсё для данага этапу, спачатку запішыце кантракт: неабходныя даны, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі список контроля дапамагае заліцвачыць пазнейшыя змены ў кодзе. Спрыймайце гэты этап як кантракт межа данымі і перакананымі выходамі. Дайце назвы артыфактам, задаць критэрыя успеху і не падзеўляйцеся частковым завершэнням без паведамлення. Зробіце перапытку пасля дорогіх крокаў. Програма не должна зноў выклікаць той самы калл LLM, калі аператар праканае пазнейшы вузел.
3. 90% ступень успеху можа быць чамусь нейкім у даследжэннях, але жаапошчадным для продукту
Калі працуеце над стадзіяй успеху 3 A 90, спачатку запісайце «кантракт»: неабяжлівыя даны, сигнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі список перакладоў заходзіць пазнейшыя змены коду ў правільным напрамку. Запісвайце часы выканання і кост токенаў або запытаў праза функцыйнае рэзультат. Відкрытыя даны пра косцы з’являюцца перашкодай неспакойным рахункам, калі процес пераходзіць з дэмаверсіі ў спяльныя среды. Зробіце перапаконтную пераглед пасля дорогіх крокаў. Система вярнення не павінна зноў нараховваць косты той самай вызову LLM, калі аператар прабуюць зноў запрацаваць пазнейшы вузел. Калі працуеце над стадзіяй успеху 3 A 90, спачатку запісайце «кантракт»: неабяжлівыя даны, сигнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі список перакладоў заходзіць пазнейшыя змены коду ў правільным напрамку. Дакументавайце як «шчаслівы» шлях, так і шлях вяснавання. Прабуры, людзкія контралі і обработка некоректных паведамленняў є часткай продукту, а не пазнейшым дапрацоўкам.
4. Автонамія і надзеяўнасць — натуральныя ворагі
Этап 4 «Аўтанамія і надзеямасць» працуе наўлучней, калі яго розглядаць як вимерную паверхню. Запісаўце адна «золатая» транскрыпцыя, адин прыклад неудачы і запіс пра вярнэнне да пакойных настроек перш чым расширваць масштаб. Валіце малыя, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшае, прычына неудачы павінна вказваць на адную адпаведальнасць, а не на заплутаны ланцужок задач. Рэгулюйце стан графа так, каб ён быў простым і з адначыяным типам дадзеных. Вкладаныя структуры дадзеных маскуюць інфармацыю пра тое, калькі вузел запісаў калькі поль, і спакойна перарываюць роботу пасля перерываў.
5. У рэжыме працы дварча перабудовваецца механізм абработкі задач
Процес 5 Production тыха адаптаваець роботу на сцэне, калі яго спрыявае падход, дзе ўсё лічыцца як вимерныя показнікі. Запісайце адна «золатая» версія, адин прыклад неудачы і прыметку пра вярнэнне да поперадней становішчы, прытаму як толькі пачнёте расширяць масштабы. Спрыяйце цім этапу як даговору межа вхіднымі даннымі і пераканальванымі выходамі. Дайце назвы всім элементам, задаце критэрыя успеху і не падзеўляйцеся на частковыя, непрыгледныя рэзультаты. Зберагаеце стан графа ў простам і типаваным формате. Вярнутыя структуры маскуюць інфармацію пра тое, який вузел запісаў канкрэтны поле, і спакойваюць працу пасля перарываў.
User
↓
Agent
↓
Tools
6. Выключваеце логіку толькі там, дзе існуе неяснасць
Этап «Толькі логіка» з 6 прыемаў работае наякша, калі яго спрыяваць як вимерную плошчу. Зафіксавайце адны ідеальны прыклад роботы, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану перш чым расширваць масштабы. Запісвайце час выканання і кост токеноў або запытаў разам з функцыйнальнымі рэзультатамі. Відразлівае паказанне костаў з’являецца перашкоду неспакойным рахункам, калі процес пераходзіць з дэмаверсіі ў спяльныя сераўы. Задаце бюджет токеноў на кожны раунд і на кожную сесію. Інструменты-агенты агрэсывна расширваюць контекст; строгі ліміты не дазволяюць дэмаверсіям ператварыцца на неспакойныя рахунки. Этап «Толькі логіка» з 6 прыемаў работае наякша, калі яго спрыяваць як вимерную плошчу. Зафіксавайце адны ідеальны прыклад роботы, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану перш чым расширваць масштабы. Дакументавайце як шлях успеху, так і шлях вярнэння да нормальнага стану. Перапрыбуткі, людзкія контрольны пункты і обработка некоректных запытаў є часткай продукту, а не чымсь, што дадаецца пазней.
7. Косты і затрымкі стаюць непрадбачальнымі
Для стадіі 7 «Косцы і латэнс» неабяжна прадзефінаваць вхідныя даны, адпраўніка крока і крэтыяры завершэння пры перадзеўці коду. Аперацыйныя працавнікі павінны магчымае перзапускаць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Лепш выбіраць маленькія, тэставаныя елементы замест большых скрыптов. Калі крок не выйшоў, прычына неудачы павінна вказываць на адзіну адпраўнічую функцыю, а не на заплутаны процес. Неабяжна ўключыць людзкую апраўдку для тых крокаў, якія выкарыстоўваюць грошы або зміняюць даны ў працэсе. Компіляцыйныя налашчэння не ўзроўнаўцуюцься з полным адпраўненням бізнес-процэсаў.
8. Асалодны сон — гэта пабочныя эфекты
Для 8-го этапа «Справжній кошмар» неабяцо пазначыць вхідныя даны, адпаведальнага за крок і критэрыі завершэння пры перадзеяванні коду. Аператары должны магчымаць перзапуск кроку з вядомай точкі контролю, не падозрываючы схованы стан. Спрыяць гэтам этапу як кантракту межа вхіднымі данымі і перакананымі выходнымі рэзультатамі. Даць назвы артыфактам, пазначыць перакананні успеху і адмовіцца ад тыхоўскага частковага завершэння. Заставіць людзкую апраўду на тых кроках, дзе витрачаюцца грошы або зміняюцыся даны для працы. Прыўязка ў часе компілявання не адпавядае пачатковай цэлесообразнасі працы.
9. Возможнасць спостерэння і памяць стаюць функцыямі продукту
Для 9-го этапу «З’явнасць і память» неабяжна ўзначыць вхідныя даны, адпаведальнага за крок і крэтыры завершэння пры змяне коду. Аператары должны магчымаць перзапуск кроку з вядомай точкі контролю без неабяжнага вычыслення схованага стану. Запісваць час выконання і вартасць токеноў або запытак праза функцыйнальныя рэзултаты. Відразка вартасцей з самага пачатку запобегае неспакою, калі процес пераходзіць з дэмовай среды ў спакульную. Апраўляць людзкія апраўды для тых крокоў, якія витрачаюць грошы або зменяюць даны у працэсе. Компіляцыйныя налаштаванні не є адпаведнымі для пачатковага стану бізнес-процэсу. Для 9-го этапу «З’явнасць і память» неабяжна ўзначыць вхідныя даны, адпаведальнага за крок і крэтыры завершэння пры змяне коду. Аператары должны магчымаць перзапуск кроку з вядомай точкі контролю без неабяжнага вычыслення схованага стану. Дакументаваць як шлях успеху, так і шлях вярнення да нормы. Перапрыбуткі, людзкія апраўды і обробка некоректных паведамленняў є часткай продукту, а не елементамі пазнейшага доўнерэшання.
/p>
10. Адзея чалавека — гэта не няўспэльна автанамія
Калі працуеце над 10-ю стадзіяй адзеі чалавека, спачатку запісайце контракт: неабходныя даны, сігнал успеху і тое, што выходзіць у разе частковага няўспэху. Такі список пераканальвае у тым, што пазнейшыя змены коду будуць чыстымі. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок няўспэшвае, няўспэх павінен адносіцца да адной відпаведальнасці, а не да заплутанага ланца задач. Зробіце перапаказ пасля дорогіх крокаў. Система не павинна зноў выклікаць той самы кантакт з LLM, калі аператар пракушае пазнейшы вузел.
v1: AI → Human → Action
v2: AI → Action
AI investigates
↓
AI proposes
↓
Software validates
↓
Human approves
↓
System executes
11. Мы мерзім не тое
Калі працуеце над 11-ю стадзіяй «Зьвычайна меркаванне», спачатку запісацеце кантракт: неабяжлівыя вхідныя даны, сигнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі список перакладзець пазнейшыя змены коду ў правільныя рамкі. Спрэцьвуйце да гэтай стадзіі як да кантракта межа вхіднымі данымі і перакананымі выходнымі рэзультатамі. Даце назвы артыфактам, задаце критэрыя успеху і не падзволяйце частковаму завершэнню без паведамлення. Зробіце перапактаванне пасля дорогіх крокаў. Система вярнення не павінна зноў выклікаць той самы календар LLM, калі аператар прабуе зноў запрацаваць з пазнейшым вузлам.
Product value =
task success
× reliability
× safety
× recoverability
× economics
× user trust
12. Перастаньце называць яго працавнікам AI
Калі працуеце над 12-ма этапамі, запісайце спачатку умовы викорыстоўвання: неабходныя данні, сигнал успеху і тое, што выходзіць на частым неудачам. Такі список дапамагае залічваць пазнейшыя змены ў кодзе чыста.
13. Інструментары можа быць важлівейшым за саму модель
13. Апаратуру можна выкарыстоўваць наякома эфектывнае, якшо спрыяць да ўваходжэння яе ў кантэкст меркаванай паверхні. Запісаўце адна «золатая» прымерка, адин случай неудачы і прыметкі па поверненню да пярвоначальнага стану пры расшырэнні масштаба. Валіце больш маленькія, тэставаныя елементы замест вялікіх скрыптав. Калі якісьця крока не задаюцца, прычына неудачы павінна вказваць на адную адпаведальнасць, а не на заплутаны ланцужок задач. Задаўце ліміты на колькасць токенав за раунд і за сесію. Інструменты-агенты агрэсывна расширваюць кантэкст; строгі ліміты не дазволяюць дэмам ператварыцца на неспакоўлівыя рахункі.
14. Успешныя продукты можуць быць надта агрэсывнымі з точкі зору іх функцыяналу
Этап 14 «Выканальныя продукты» працюе наўсёй краща, калі яго спрыяваць як мерыемую паверхню. Зафіксавайце адны «золаты» прыклад, адну справу аб неудачы і запіс пра вярнэнне да пачатковага стану, перш чым расширваць масштабы. Спрыявайце гэты этап як кантракт межа вхіднымі даннымі і паверыжанымі выхіднымі рэзультатамі. Дайце назвы артыфактам, задаце критэрыя успеху і не падзеўляйцеся частым, непূরным выкананнем задачы. Храніце стан графа ў простам і типаваным формате. Вкладзеныя блокі маскуюць інфармацыю пра тое, який вузел запісаў канкрэтны поле, і спакоююць продажчыку роботу пасля перарываў.
15. Агенты можуць быть прымітывам програмнага забезпечэння, а не прыкладом прыемлівання
15 Агентаў можна лепша выкорыстоваць у стадійнай роботе, калі іх спрыяваць як меркаваную паверхню. Зберагуце адны ідеальны прыклад роботы, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану перад расшырэнням масштаба. Запісвайце часы виконання і косты токеноў або запытак праза функцыйнае рэзультат. Відкрытая інформацыя пра косты запобегае неспакою, калі процес пераходзіць з дэмавайнага режыма ў спяльныя сераўы. Храніце стан графа простым і з усунутым вярсткаваннем. Вярсткованыя структуры маскуюць інфармацыю пра тое, який вузел запісаў канкрэтны поле, і спакшваюць продовжэнне роботы пасля перарываў. 15 Агентаў можна лепша выкорыстоваць у стадійнай роботе, калі іх спрыяваць як меркаваную паверхню. Зберагуце адны ідеальны прыклад роботы, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану перад расшырэнням масштаба. Дакументавайце як шлях успеху, так і шлях вяснавання проблем. Перапрыбуткі, людзкія контрольныя пункты і обработка некоректных паведамленняў є часткай продукту, а не чымсь, што дадаецца пазней.
16. Разлік межаў між дэмавайнам режымам і готовым продуктам — гэта можлівасць
У стадії 16 «Праспект адаптавання дэмы ў продакт» неабходна практычна адзначыць вхідныя даны, адпаведальнага за крок і критэрыя завершэння пры перадзеіснаванні коду. Аператары должны магчымаць перзапуск крока з вядомай точкі контролю, не падозрываючы схованы стан. Лепш выбіраць маленькія, тэставаныя елементы замест большых скрыптов. Калі крок не выйшоў, прычына нехацкага рэзультата должна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны процес. Неабходна людская апраўда для тых крокаў, якія выкарыстоўваюць грошы чы зміняюць даны ў працэсе виробніцтва. Компіляцыйныя налашчэння не є прамаравамым паказателем полнайсткі бізнес-процэса.
17. Гэта ўласна справжняя веха
Для 17-го падзеўкі, тое ўсё, што трэба зробіць — гэта падзначыць вхідныя даны, адпаведальнага за кожную падзею і крэтарыі выходу пры перамены коду. Аператары должны магчымае запускать падзею з вядомай точкі контролю, не спрабоўваючы здагадвацца пра схованы стан. Спрыяйце гэтай падзеўкі як даговору межа вхіднымі данымі і перакананымі выходнымі рэзультатамі. Дайце назвы всім элементам, падзначыце крэтарыі успеху і не прымайце часткова завершаныя рэзультаты без падтверджэння. Заставьце людзкія апраўленні для тых падзеяў, якія выкалічваюць грошы або зменяюць даны, якія викорыстоўваюцца у працэсе. Компіляцыйныя налашчэнні не є адпаведнікамі пачатковай цэлесапраўленасці проекту.
Некомфортны вывод
Для стадіі некамфортных заключэнняў неабходна перад змянай коду адзначыць вхідныя даны, адпаведальнага за крок і крэтырыя для завершэння. Аперацыёныя працавнікі должны магчымае перайсці на выкананне кроку з вядомага пункта контролю, не спрабоўваючы здагадвацца пра схованы стан. Запісвайце час выканання і кост токенаў або запытаў разам з функцыйнальнымі рэзультатамі. Відразлівае паказанне костаў запобегае неспадзяваным рахункам, калі процес пераходзіць з дэмовай среды ў спадзеленыя сераўеры. Заставіце людскую апрацоўку для тых крокаў, якія выкарыстоўваюць грошы або зміняюць даны ў працэсе. Компіляцыйныя налашчэння не ўзроўнаважваюцься з пачатковым станом бізнес-процэсаў. Для стадіі некамфортных заключэнняў неабходна перад змянай коду адзначыць вхідныя даны, адпаведальнага за крок і крэтырыя для завершэння. Аперацыёныя працавнікі должны магчымае перайсці на выкананне кроку з вядомага пункта контролю, не спрабоўваючы здагадвацца пра схованы стан. Дакументавайце як «шчаслівы» шлях, так і шлях вяснавання ситуацыі. Перапрыбуткі, людскія контрольныя пункты і обработка некоректных запытаў є часткай продукту, а не чымсь, што дадаецца пазней.
ш.
Адзін вопыт, на які нельга цалкам адказаць
Калі працуеце над адзінам вопытом, на які нельга цалкам адказаць, спачатку запісайте умовы контракту: неабяцковыя даны, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі список пераконвае ў тым, што пазнейшыя змены коду будуць чыстымі. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшае, прычына нявыпання должна вказваць на адзіну адпаведальнасць, а не на заплутаны ланцюг задач. Зробіце перапактаванне пасля дорогіх крокаў. Програма не должна зноў выклікаць той самы кантакт з LLM, калі аператар пракушае пазнейшы вузел.
Корисныя рэсурсы
Калі працюеце на стадыі «Корисныя рэсурсы», спачатку запішыце кантракт: неабяжлівыя даннэ, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі чэк-ліст дапамагае заставіць змяны коду быць чыстымі. Спрыятлівае ставленне да гэтай стадыі значыць спрыятлівае ставленне да кантракта межу даннэмі і перакананымі выходамі. Даць назву кожнам элементам, задаць критэрыя успеху і не падзеўляцца частковым завершэнням без паведамлення.
Чэк-ліст для эксплуатацыі
Стадыя «Чэк-ліст для эксплуатацыі» працюе наяўнейша, калі яе спрыймать як мерыемую плошчу. Зафіксавайце адну ідеальную транскрыпцыю, адзін прыклад нявыпання і запіс пра адкатаванне, перш чым расширваць масштаб.
Зберагаюце настройкі паза кодам прыемленае. Файлы сяродавішняе суперактуальнасці, хранілішчы секрэтных дадзеных і флагі функций должны знаходзіцца ў аднам месцы, якое аператары можаць пераглядаць без неабяжлівага чытання всей структуры.
Зберагаюце стан графа ў простам і типаваным формате. Вкладаныя блобы маскуюць інфармацію пра тое, який вузел запісаў якое поле, і спакошуюць працю пасля перерываў.
Калі дозволяе бюджет, дадзіце тэст на перакананне, які працюе над критычным шляхам у CI з викорыстаннем фіксатываў, а не рэальных платных API.
Документаваць трэба як шлях успеху, так і шлях вярнення да нормальнага стану. Перапрыбуткі, людзкія контралі і обработка некоректных паведамленняў є часткай продукту, а не етапамі далейшага доўнелення.
Зберагаюце стан графа ў простам і типаваным формате. Вкладаныя блобы маскуюць інфармацію пра тое, який вузел запісаў якое поле, і спакошуюць працю пасля перерываў.
Перш чым апранаваць стак, заморозьце версіі, зафіксаваце ідеальны транскрыпт для критычнага шляху і паказваце крокі для вярнення да пачатковага стану. У спільных средах неабходны ліміты швайнаў, перакананні пра належнасць і чысткі власнік для змены секрэтных даных. Лепш аддаўаць надзею на надзейную надзяйнасць, чым прадставляць крэатывныя, але едыноразовыя дэманстраціі.
Запіскі для пакета 881e6971cca7: не трэба класты ключі прадастоўцаў у репазітарыю, задаць максімальны ліміт токена на сесію, а таксама зберагчы транскрыпціі праза фіксатуры адлічэння, каб пазнейшыя замены моделяў заставаліся пораўнанымі.