Практычныя нататкі: «агентны AI» — пакуль часцей дэма, чым прадукт

У гэтым керавані знову ствараецца парадокс ад сыр'ёў да рабочай сістэмы для тэмы: «AI-агенты здарожаюць пераважна як дэманстрацыі, а не як продукты». Акцэнт ставяцца на практычныя крокі, чыстае перакананне і код, які можна проста дадзіць у рэпазітарый без неабяснення меты. У стадыўцы агульнага відзору неабходна з'явіць вхідныя даны, адпаведальнага за крок і крытэрыя завершэння прычымоў перад зменай коду. Аператары должны магчымае перадзеісцаваць крок з вядомага пункта контролю без неабяснення схованага стану. Неабходна задокументаваць як успішны, так і варыянт вяснавання сітуацыі. Перапрыбуткі, людзкія перакананні і апрацоўка некорэктных паведамленняў ёсць часткай продукту, а не чымсь, што дадаецца пазней.

1. Дэманстрацыі справды нейкласовыя

Калі працуеце над дэмамі, спачатку запісайце умовы кантракту: неабяжлівыя даны, сігнал успеху і тое, што выходзіць пад частыя неудачы. Такі спіс контроля дапамагае заліцвачыць змяны ў кодзе. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшае, неудача должна вказваць на адну конкрэтную адпаведальнасць, а не на заплутаны ланцюг задач. Зрабіце перапактаванне пасля дорогіх крокаў. Програма не должна зноў плаціць за той самы вызов LLM, калі аператар прабуе зноў выконаць пазнейшы элемент.

2. Дэмы оптымацуюцца для можлівасцяў. Продукты — для павтаральнасці.

Калі працуеце над двумя дэманстрацыямі, оптымаўляйце ўсё для данага этапу, спачатку запішыце кантракт: неабходныя даны, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі спіс контроля дапамагае заліцвачыць пазнейшыя змены ў кодзе. Спрыймайце гэты этап як кантракт межа данымі і перакананымі выходамі. Дайце назвы артыфактам, задаць крытэрыя успеху і не падзеўляйцеся частковым завершэнням без паведамлення. Зробіце перапытку пасля дорогіх крокаў. Програма не должна зноў выклікаць той самы калл LLM, калі аператар праканае пазнейшы вузел.

3. 90% ступень успеху можа быць чамусь нейкім у даследжэннях, але жаапошчадным для продукту

Калі працуеце над стадзіяй успеху 3 A 90, спачатку запісайце «кантракт»: неабяжлівыя даны, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі спіс перакладоў заходзіць пазнейшыя змены коду ў правільным напрамку. Запісвайце часы выканання і кост токенаў або запытаў праза функцыйнае рэзультат. Відкрытыя даны пра косцы з’являюцца перашкодай неспакойным рахункам, калі працэс пераходзіць з дэмаверсіі ў спяльныя асяроддзя. Зробіце перапаконтную пераглед пасля дорогіх крокаў. Сістэма вярнення не павінна зноў нараховваць косты той самай вызову LLM, калі аператар прабуюць зноў запрацаваць пазнейшы вузел. Калі працуеце над стадзіяй успеху 3 A 90, спачатку запісайце «кантракт»: неабяжлівыя даны, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі спіс перакладоў заходзіць пазнейшыя змены коду ў правільным напрамку. Дакументавайце як «шчаслівы» шлях, так і шлях вяснавання. Прабуры, людзкія контралі і обработка некорэктных паведамленняў ёсць часткай продукту, а не пазнейшым дапрацоўкам.

4. Автонамія і надзеяўнасць — натуральныя ворагі

Этап 4 «Аўтанамія і надзеямасць» працуе наўлучней, калі яго розглядаць як вімерную паверхню. Запісаўце адна «золатая» транскрыпцыя, адын прыклад неудачы і запіс пра вярнэнне да пакойных настроек перш чым расшырваць масштаб. Валіце малыя, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшае, прычына неудачы павінна вказваць на адную адпаведальнасць, а не на заплутаны ланцужок задач. Рэгулюйце стан графа так, каб ён быў простым і з адначыяным тыпам дадзеных. Вкладаныя структуры дадзеных маскуюць інфармацыю пра тое, калькі вузел запісаў калькі поль, і спакойна перарываюць працу пасля перэрываў.

5. У рэжыме працы дварча перабудовваецца механізм абработкі задач

Працэс 5 Production тыха адаптаваець працу на сцэне, калі яго спрыявае падход, дзе ўсё лічыцца як вімерныя показнікі. Запісайце адна «золатая» версія, адын прыклад неудачы і прыметку пра вярнэнне да поперадней становішчы, прытаму як толькі пачнёце расшыраць масштабы. Спрыяйце цім этапу як даговору межа вхіднымі данымі і пераканальванымі выходамі. Дайце назвы всім элементам, задаце крытэрыя успеху і не падзеўляйцеся на частковыя, непрыгледныя рэзультаты. Зберагаеце стан графа ў простам і тыпаваным фармаце. Вярнутыя структуры маскуюць інфармацію пра тое, які вузел запісаў канкрэтны поле, і спакойваюць працу пасля перарываў.

User
  ↓
Agent
  ↓
Tools

6. Выключваеце логіку толькі там, дзе існуе неяснасць

Этап «Толькі логіка» з 6 прыемаў работае наякша, калі яго спрыяваць як вімерную плошчу. Зафіксавайце адны ідэальны прыклад працы, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану перш чым расшырваць масштабы. Запісвайце час выканання і кост токеноў або запытаў разам з функцыйнальнымі рэзультатамі. Відразлівае паказанне костаў з’являецца перашкоду неспакойным рахункам, калі працэс пераходзіць з дэмаверсіі ў спяльныя сераўы. Задаце бюджэт токеноў на кожны раунд і на кожную сесію. Інструменты-агенты агрэсывна расшырваюць кантэкст; строгі ліміты не дазволяюць дэмаверсіям ператварыцца на неспакойныя рахункі. Этап «Толькі логіка» з 6 прыемаў работае наякша, калі яго спрыяваць як вімерную плошчу. Зафіксавайце адны ідэальны прыклад працы, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану перш чым расшырваць масштабы. Дакументавайце як шлях успеху, так і шлях вярнэння да нормальнага стану. Перапрыбуткі, людзкія контрольны пункты і обработка некорэктных запытаў ёсць часткай продукту, а не чымсь, што дадаецца пазней.

7. Косты і затрымкі стаюць непрадбачальнымі

Для этапы 7 «Косцы і латэнс» неабяжна прадзефінаваць вхідныя даны, адпраўніка крока і крэтыяры завершэння пры перадзеўці коду. Аперацыйныя працавнікі павінны магчымае перзапускаць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Лепш выбіраць маленькія, тэставаныя елементы замест большых скрыптов. Калі крок не выйшоў, прычына неудачы павінна вказываць на адзіну адпраўнічую функцыю, а не на заплутаны працэс. Неабяжна ўключыць людзкую апраўдку для тых крокаў, якія выкарыстоўваюць грошы або зміняюць даны ў працэсе. Компіляцыйныя налашчэння не ўзроўнаўцуюцься з полным адпраўненням бізнес-процэсаў.

8. Асалодны сон — гэта пабочныя эфекты

Для 8-го этапа «Справжній кошмар» неабяцо пазначыць вхідныя даны, адпаведальнага за крок і крытэрыі завершэння пры перадзеяванні коду. Аператары должны магчымаць перзапуск кроку з вядомай точкі контролю, не падозрываючы схованы стан. Спрыяць гэтам этапу як кантракту межа вхіднымі данымі і перакананымі выходнымі рэзультатамі. Даць назвы артыфактам, пазначыць перакананні успеху і адмовіцца ад тыхоўскага частковага завершэння. Заставіць людзкую апраўду на тых кроках, дзе вітрачаюцца грошы або зміняюцыся даны для працы. Прыўязка ў часе компілявання не адпавядае пачатковай цэлесообразнасі працы.

9. Возможнасць назірання і памяць стаюць функцыямі продукту

Для 9-го этапу «З’явнасць і памяць» неабяжна ўзначыць вхідныя даны, адпаведальнага за крок і крэтыры завершэння пры змяне коду. Аператары должны магчымаць перзапуск кроку з вядомай точкі контролю без неабяжнага вычыслення схованага стану. Запісваць час выканання і вартасць токеноў або запытак праза функцыйнальныя рэзултаты. Відразка вартасцей з самага пачатку запобегае неспакою, калі працэс пераходзіць з дэмовай асяроддзя ў спакульную. Апраўляць людзкія апраўды для тых крокоў, якія вітрачаюць грошы або зменяюць даны у працэсе. Компіляцыйныя налаштаванні не ёсць адпаведнымі для пачатковага стану бізнес-процэсу. Для 9-го этапу «З’явнасць і памяць» неабяжна ўзначыць вхідныя даны, адпаведальнага за крок і крэтыры завершэння пры змяне коду. Аператары должны магчымаць перзапуск кроку з вядомай точкі контролю без неабяжнага вычыслення схованага стану. Дакументаваць як шлях успеху, так і шлях вярнення да нормы. Перапрыбуткі, людзкія апраўды і апрацоўка некорэктных паведамленняў ёсць часткай продукту, а не елементамі пазнейшага доўнерэшання.

/p>

10. Адзея чалавека — гэта не няўспэльна автанамія

Калі працуеце над 10-ю стадзіяй адзеі чалавека, спачатку запісайце контракт: неабходныя даны, сігнал успеху і тое, што выходзіць у разе частковага няўспэху. Такі спіс пераканальвае у тым, што пазнейшыя змены коду будуць чыстымі. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок няўспэшвае, няўспэх павінен адносіцца да адной відпаведальнасці, а не да заплутанага ланца задач. Зробіце перапаказ пасля дорогіх крокаў. Сістэма не павінна зноў выклікаць той самы кантакт з LLM, калі аператар пракушае пазнейшы вузел.

v1: AI → Human → Action
v2: AI → Action

AI investigates
      ↓
AI proposes
      ↓
Software validates
      ↓
Human approves
      ↓
System executes

11. Мы мерзім не тое

Калі працуеце над 11-ю стадзіяй «Зьвычайна меркаванне», спачатку запісацеце кантракт: неабяжлівыя вхідныя даны, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі спіс перакладзець пазнейшыя змены коду ў правільныя рамкі. Спрэцьвуйце да гэтай стадзіі як да кантракта межа вхіднымі данымі і перакананымі выходнымі рэзультатамі. Даце назвы артыфактам, задаце крытэрыя успеху і не падзволяйце частковаму завершэнню без паведамлення. Зробіце перапактаванне пасля дорогіх крокаў. Сістэма вярнення не павінна зноў выклікаць той самы календар LLM, калі аператар прабуе зноў запрацаваць з пазнейшым вузлам.

Product value =
    task success
  × reliability
  × safety
  × recoverability
  × economics
  × user trust

12. Перастаньце называць яго працавнікам AI

Калі працуеце над 12-ма этапамі, запісайце спачатку умовы вікорыстоўвання: неабходныя даныя, сігнал успеху і тое, што выходзіць на частым неудачам. Такі спіс дапамагае залічваць пазнейшыя змены ў кодзе чыста.

13. Інструментары можа быць важлівейшым за саму мадэль

13. Апаратуру можна выкарыстоўваць наякома эфектывнае, якшо спрыяць да ўваходжэння яе ў кантэкст меркаванай паверхні. Запісаўце адна «золатая» прымерка, адын случай неудачы і прыметкі па поверненню да пярвоначальнага стану пры расшырэнні масштаба. Валіце больш маленькія, тэставаныя елементы замест вялікіх скрыптав. Калі якісьця крока не задаюцца, прычына неудачы павінна вказваць на адную адпаведальнасць, а не на заплутаны ланцужок задач. Задаўце ліміты на колькасць токенав за раунд і за сесію. Інструменты-агенты агрэсывна расшырваюць кантэкст; строгі ліміты не дазволяюць дэмам ператварыцца на неспакоўлівыя рахункі.

14. Успешныя продукты можуць быць надта агрэсывнымі з точкі зору іх функцыяналу

Этап 14 «Выканальныя продукты» працюе наўсёй лепшая, калі яго спрыяваць як мерыемую паверхню. Зафіксавайце адны «золаты» прыклад, адну справу аб неудачы і запіс пра вярнэнне да пачатковага стану, перш чым расшырваць масштабы. Спрыявайце гэты этап як кантракт межа вхіднымі данымі і паверыжанымі выхіднымі рэзультатамі. Дайце назвы артыфактам, задаце крытэрыя успеху і не падзеўляйцеся частым, непূরным выкананнем задачы. Храніце стан графа ў простам і тыпаваным фармаце. Вкладзеныя блокі маскуюць інфармацыю пра тое, які вузел запісаў канкрэтны поле, і спакоююць продажчыку працу пасля перарываў.

15. Агенты можуць быць прымітывам програмнага забезпечэння, а не прыкладом прыемлівання

15 Агентаў можна лепша выкорыстоваць у стадыйнай працы, калі іх спрыяваць як меркаваную паверхню. Зберагуце адны ідэальны прыклад працы, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану перад расшырэнням масштаба. Запісвайце часы выканання і косты токеноў або запытак праза функцыйнае рэзультат. Відкрытая інформацыя пра косты запобегае неспакою, калі працэс пераходзіць з дэмавайнага рэжыма ў спяльныя сераўы. Храніце стан графа простым і з усунутым вярсткаваннем. Вярсткованыя структуры маскуюць інфармацыю пра тое, які вузел запісаў канкрэтны поле, і спакшваюць продовжэнне працы пасля перарываў. 15 Агентаў можна лепша выкорыстоваць у стадыйнай працы, калі іх спрыяваць як меркаваную паверхню. Зберагуце адны ідэальны прыклад працы, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану перад расшырэнням масштаба. Дакументавайце як шлях успеху, так і шлях вяснавання проблем. Перапрыбуткі, людзкія контрольныя пункты і обработка некорэктных паведамленняў ёсць часткай продукту, а не чымсь, што дадаецца пазней.

16. Разлік межаў між дэмавайнам рэжымам і готовым продуктам — гэта можлівасць

У стадыі 16 «Праспект адаптавання дэмы ў продакт» неабходна практычна адзначыць вхідныя даны, адпаведальнага за крок і крытэрыя завершэння пры перадзеіснаванні коду. Аператары должны магчымаць перзапуск крока з вядомай точкі контролю, не падозрываючы схованы стан. Лепш выбіраць маленькія, тэставаныя елементы замест большых скрыптов. Калі крок не выйшоў, прычына нехацкага рэзультата должна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны працэс. Неабходна людская апраўда для тых крокаў, якія выкарыстоўваюць грошы чы зміняюць даны ў працэсе віробніцтва. Компіляцыйныя налашчэння не ёсць прамаравамым паказатэлем полнайсткі бізнес-процэса.

17. Гэта ўласна справжняя веха

Для 17-го падзеўкі, тое ўсё, што трэба зробіць — гэта падзначыць вхідныя даны, адпаведальнага за кожную падзею і крэтарыі выходу пры перамены коду. Аператары должны магчымае запускаць падзею з вядомай точкі контролю, не спрабоўваючы здагадвацца пра схованы стан. Спрыяйце гэтай падзеўкі як даговору межа вхіднымі данымі і перакананымі выходнымі рэзультатамі. Дайце назвы всім элементам, падзначыце крэтарыі успеху і не прымайце часткова завершаныя рэзультаты без падтверджэння. Заставьце людзкія апраўленні для тых падзеяў, якія выкалічваюць грошы або зменяюць даны, якія вікорыстоўваюцца у працэсе. Компіляцыйныя налашчэнні не ёсць адпаведнікамі пачатковай цэлесапраўленасці праекту.

Некомфортны вывод

Для этапы некамфортных заключэнняў неабходна перад змянай коду адзначыць вхідныя даны, адпаведальнага за крок і крэтырыя для завершэння. Аперацыёныя працавнікі должны магчымае перайсці на выкананне кроку з вядомага пункта контролю, не спрабоўваючы здагадвацца пра схованы стан. Запісвайце час выканання і кост токенаў або запытаў разам з функцыйнальнымі рэзультатамі. Відразлівае паказанне костаў запобегае неспадзяваным рахункам, калі працэс пераходзіць з дэмовай асяроддзя ў спадзеленыя сераўеры. Заставіце людскую апрацоўку для тых крокаў, якія выкарыстоўваюць грошы або зміняюць даны ў працэсе. Компіляцыйныя налашчэння не ўзроўнаважваюцься з пачатковым станом бізнес-процэсаў. Для этапы некамфортных заключэнняў неабходна перад змянай коду адзначыць вхідныя даны, адпаведальнага за крок і крэтырыя для завершэння. Аперацыёныя працавнікі должны магчымае перайсці на выкананне кроку з вядомага пункта контролю, не спрабоўваючы здагадвацца пра схованы стан. Дакументавайце як «шчаслівы» шлях, так і шлях вяснавання сітуацыі. Перапрыбуткі, людскія контрольныя пункты і обработка некорэктных запытаў ёсць часткай продукту, а не чымсь, што дадаецца пазней.

ш.

Адзін вопыт, на які нельга цалкам адказаць

Калі працуеце над адзінам вопытом, на які нельга цалкам адказаць, спачатку запісайце умовы контракту: неабяцковыя даны, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі спіс пераконвае ў тым, што пазнейшыя змены коду будуць чыстымі. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшае, прычына нявыпання должна вказваць на адзіну адпаведальнасць, а не на заплутаны ланцюг задач. Зробіце перапактаванне пасля дорогіх крокаў. Програма не должна зноў выклікаць той самы кантакт з LLM, калі аператар пракушае пазнейшы вузел.

Корысныя рэсурсы

Калі працюеце на стадыі «Корысныя рэсурсы», спачатку запішыце кантракт: неабяжлівыя даныя, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі чэк-ліст дапамагае заставіць змяны коду быць чыстымі. Спрыятлівае ставленне да гэтай стадыі значыць спрыятлівае ставленне да кантракта межу данымі і перакананымі выходамі. Даць назву кожнам элементам, задаць крытэрыя успеху і не падзеўляцца частковым завершэнням без паведамлення.

Чэк-ліст для эксплуатацыі

Стадыя «Чэк-ліст для эксплуатацыі» працюе наяўнейша, калі яе спрыймаць як мерыемую плошчу. Зафіксавайце адну ідэальную транскрыпцыю, адзін прыклад нявыпання і запіс пра адкатаванне, перш чым расшырваць масштаб.

Зберагаюце настройкі паза кодам прыемленае. Файлы сяродавішняе суперактуальнасці, хранілішчы секрэтных дадзеных і флагі функцый должны знаходзіцца ў аднам месцы, якое аператары можаць пераглядаць без неабяжлівага чытання всей структуры.

Зберагаюце стан графа ў простам і тыпаваным фармаце. Вкладаныя блобы маскуюць інфармацію пра тое, які вузел запісаў якое поле, і спакошуюць працю пасля перэрываў.

Калі дозволяе бюджэт, дадзіце тэст на перакананне, які працюе над крытычным шляхам у CI з вікорыстаннем фіксатываў, а не рэальных платных API.

Документаваць трэба як шлях успеху, так і шлях вярнення да нормальнага стану. Перапрыбуткі, людзкія контралі і обработка некорэктных паведамленняў ёсць часткай продукту, а не етапамі далейшага доўнелення.

Зберагаюце стан графа ў простам і тыпаваным фармаце. Вкладаныя блобы маскуюць інфармацію пра тое, які вузел запісаў якое поле, і спакошуюць працю пасля перэрываў.

Перш чым апранаваць стак, заморозьце версіі, зафіксаваце ідэальны транскрыпт для крытычнага шляху і паказваце крокі для вярнення да пачатковага стану. У спільных срэдах неабходны ліміты швайнаў, перакананні пра належнасць і чысткі власнік для змены секрэтных даных. Лепш аддаўаць надзею на надзейную надзяйнасць, чым прадставляць крэатывныя, але едыноразовыя дэманстраціі.

Запіскі для пакета 881e6971cca7: не трэба класты ключы прадастоўцаў у рэпазітарыю, задаць максімальны ліміт токена на сесію, а таксама зберагчы транскрыпціі праза фіксатуры адлічэння, каб пазнейшыя замены мадэляў заставаліся пораўнанымі.