Практычныя прытамулкі: АІ-агенты лёгкая да дэманстрацыі. Але ўпрацоўкі ў рэальных умовах — гэта складная частка.

Наступныя прытамлівкі паказваюць практычны шлях разбору тэкста «Агенты AI лёгкія да дамавання прыкладаў. Але ўпрацоўка ў рэальных умовах — гэта складная частка». Акцэнт ставіцца на контракты, перакананняя і месцы для коду, які можна легка заменіць, а не на мотывацыйныя аспекты. Калі працуеце на стадіі агляду, спачатку запісайце контракт: неабходныя даны, сігнал успеху і тое, што вядзецца ў разы частковай нявыполнення. Такі список дапамагае заліцваты змяны ў кодзе пасля таго. Храніце настройкі не ў кодзе самай аплікацыі. Файлы сераўіса, храненнія секрэтных данных і флагі функций павінны знаходзіцца ў аднам месцы, куда аператары можу працаваць без неабходнасці чытання всей структуры.

Агент AI — гэта не проста LLM з інструментамі

Агент АІ працюе наявнасць краща, калі яго спрыяваць як до меры ўсё, што відбываецца. Запісайце адны успешны прыклад, адну ситуацыю неудачы і прыметкі па поверненню да пачатковага стану пры розширэнні масштаба. Документавайце як успешны, так і варыянты відновлення працы. Перапрыбуткі, кантроль з боку людзя і обработка некоректных паведамленняў є часткай продукту, а не чымсь, што дадаецца пазней.

Архітектура, якая вам выдаецца найкорыстнейшая

Архітектура, яка выклікаецца на стадыі «The The Architecture you Find», працюе найэфектывней, калі яе розглядаць як вимерную паверхню. Запісацеце адна «золатая» транскрыпцыя, адзін прыклад неудачы і прыметку па адвярненні роботы, прытым як толькі расширюеце цяпь задач.

Інструменты — гэта там, дзе агенты становяцца корыстнымі

Інструменты ўтвараюць оптимальную супавесць для роботы агентаў, калі іх спрыяваць як вимерную паверхню. Зберагуйце адны ідеальны прыклад роботы, адзін кейс неудачы і прыметкі па адвярненню змян пры расшырэнні масштаба. Спрыяйце гэтым этапам як кантракту межа вхіднымі даннымі і перакананымі выходнымі рэзультатамі. Даўце назвы артыфактам, задаць критэрыя успеху і адмовіцеся ад тыхней частковай рэалізацыі без паведамлення. Актуальвайце інструменты з вузкімі схемамі та чысткімі пазначэннямі побачных эфектаў. Адпаведальныя за эксплуатацыю патрэбуюць ведаць, якія вызовы змінююць стан, перш чым автаматычна схваліць іх. Інструменты ўтвараюць оптимальную супавесць для роботы агентаў, калі іх спрыяваць як вимерную паверхню. Зберагуйце адны ідеальны прыклад роботы, адзін кейс неудачы і прыметкі па адвярненню змян пры расшырэнні масштаба. Зберагайце настройкі праза код аплікацыі. Файлы сераўіса, хранільнікі секрэтных данных і флагі функцыйяў павінны знаходзіцца ў аднам месцы, куда аператары можуць аудытаваць іх, не чытаючы весь структураны код.

Памяць — гэта не «зберагчык усёго»

Для стадіі «Памяць не ўтримвае» паказваюцца вхідныя даны, адпаведальная особа за крок і крэтыяры завершэння перад змінайом коду. Аперацыяныя працавнікі должны магчымае перадзеўсці крок з вядомага пункту контролю, не спрабоўваючы здогадвацца пра схованы стан. Неабходна задокументаваць як шлях успеху, так і шлях вярнення да нормальнага стану. Перапрыбуткі, людзкія пераказы і обработка некоректных паведамленняў є часткай продукту, а не яго пазнейшай дапрацоўкі. Патрэбна людзкая згода на тыя крокі, якіе ведуць да витрачання грошаў або змены дадзэнняў у прыемным режыме. Праця ў час компілявання не є гарантыяй полнай адпаведнасці продукту бізнес-трэбованням.

Короткатрымчасовая памяць

Для стадіі кашточнай памяці неабходна перад зменым коду адзначэнне вхідных данных, адпаведнага власніка крока і крэтарыяў выходу. Аператары должны магчымаць паўтарнае запусканне крока з вядомага пункта контролю, не прыпускаючы стану, які залишаецца незрозумелым. Лепей выбіраць маленькія, тэставаныя елементы замест большых скрыптов. Калі крок не выконваецца, прычына неудачы должна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны ланцужок задач. Неабходна людская апраўда для тых крокаў, якія выкарыстоўваюць грошы або зміняюць даны праўай працы. Компіляцыйныя наладкі не ўзроўнаваны з повнасцю бізнес-процэсаў.

Далгастраўная памяць

Для стадіі дзейнаеўскай памяці, перш чым зменіць код, неабходна адзначыць вхідныя даны, адпаведальнага за этап і крэтырыя завершэння. Аперацыёныя працавнікі должны магчымае запускаць этап з вядомай точкі контролю, не спрабоўваючы здагадвацца пра схованы стан. Спрацавляйце з гэтай стадіяй як з кантрактом межа вхіднымі данымі і перакананымі выходнымі рэзультатамі. Даўце назвы артыфактам, адзначыце крэтырыя успеху і не прымайце часткова завершаныя рэзультаты без падтверджэння. Заставьце людзкія апраўды на тых этапах, дзе відбываецца выдатак грошэй або зміняюцыся даны для працы. Компіляцыйныя налашчэння не ўзроўнаўваюцца з пачатковым станом бізнес-процэсаў. Для стадіі дзейнаеўскай памяці, перш чым зменіць код, неабходна адзначыць вхідныя даны, адпаведальнага за этап і крэтырыя завершэння. Аперацыёныя працавнікі должны магчымае запускаць этап з вядомай точкі контролю, не спрабоўваючы здагадвацца пра схованы стан. Зберагайце налашчэння парадульна да коду прыкладнення. Файлы сераўіса, хранільнікі секрэтных данных і флагі функцыйяў должны знаходзіцца ў аднам месцы, якое працавнікі можуць пераглядаць, не чытаючы весь структураны код.

Адзыяўка ведамасцей

Кал працуеце над стадзіяй адзыяўкі ведамасцей, спачатку запісайце умовы: неабходныя даны, сігнал успеху і тое, што выканаецца у разы ўзельнага неяўна. Такі чарткі спамагае заліцьваты змяны ў кодзе пазней. Документавайце як шлях успеху, так і шлях вярнення да стану нормы. Перапрыбуткі, людзкія перакрыцця і обработка некоректных паведамленняў ёсць часткай продукту, а не пазнейшым дапрацоўкам. Змяркуйце рэтард на фіксаванай сэтке запытаў прычым регулюванні прапанаў. Частыя змены прапанаў рэдка калі выправляюць слабую адзыяўку ведамасцей.

Аднаго вялікаг агента проты калькоў спецыялізаваных агентаў

Калі працуеце над этапам «One Giant Agent», спачатку запісайце умовы контракту: неабяжлівыя даны, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі список контроля дапамагае заліцвачваць пазнейшыя змены ў кодзе. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшоў, прычына нявыпання павінна вказываць на адную адпаведальнасць, а не на заплутаны ланцужок задач. Зробіце перапактаванне пасля дорогіх крокаў. Програма не павінна зноў стягваць плата за той самы вызов LLM, калі аператар праканае пазнейшы вузел.

Тое, пра што мы недастаткова говорым: Нявыпання

Калі працуеце над стадзіяй «The Part We Don», спачатку запісайце контракт: неабяжлівыя даннэ, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі список перакладоў захоўвае чыстасць пазнейшых змян у кодзе. Спрыймайце гэтую стадзію як контракт межа даннемі і перакананымі выходамі. Дайце назву артыфактам, задаце перакананні на успех і адмовіцеся ад тыхоўскага частковага завершэння. Зробіце перапытаку пасля дорогіх крокаў. Система вярнення не павінна зноў выклікаць той самы калл LLM, калі аператар прабуе зноў запрацаваць пазнейшы вузел. Калі працуеце над стадзіяй «The Part We Don», спачатку запісайце контракт: неабяжлівыя даннэ, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі список перакладоў захоўвае чыстасць пазнейшых змян у кодзе. Зберагачыце настройкі параду ўнутры коду прыемленае. Файлы сераў, хранільнікі секрэтных дадзеных і флагі функций павінны знаходзіцца ў аднам месцы, якое аператары можаць пераглядаць без неабяжлівага чытання всей структуры.

Возможнасць спазірвання ўсё змінюе

Этап «Возможная адміністрацыя зменшае всё» працюе найэфектывней, калі яго розглядаюць як вимерную паверхню. Зафіксавце адны ідеальны прыклад роботы, адну справу з бягам і прыметку па поверненню да пачатковага стану, перш чым расширваць сферу дзеяння. Документавайце як шлях успеху, так і шлях вярнення да нормальнага стану разам. Перапрыбуткі, людзкія контраліны і обработка некоректных паведамленняў є частью продукту, а не етапамі далейшай наладкі. Рэзерваваце стан графа ў простам і типізаваным формате. Вкладаныя структуры маскуюць інфармацыю пра тое, який вузел запісаў канкрэтны поле, і спакоююць продовжэнне роботы пасля перарываў.

Ацэнка не аднародзіта з традыцыйным тэставаннем

Адміністрацыя разлічна ад роботы на стадіях, і яна лепша, калі рассматрываецца як вимерная паверхня. Запісайце адна ідеальная версія, адзин случай неудачы і прыметкі па поверненню да попярэдньяго стану пры расширэнні масштаба. Валіце прыоритет невялікім, тэставаным елементам працы над вялікімі скрыптамі. Калі якісь крок не выходзіць, прычына неудачы павінна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны ланцюг задач. Рэзультаты графа павінны быць простымі та з адначыя типамі дадзеных. Вкладаныя структуры дадзеных маскуюць інфармацыю пра тое, який вузел запісаў канкрэтны поле, і спакоююць працу пасля перерываў.

Слой 1 — Традыцыйныя тэсты

Этап традыцыйных тэстаў Яруса 1 працуе наякша, калі яго спрыяваць як мерыемую паверхню. Зберажыце адны ідеальны прыклад роботы, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану перш чым расширваць сферу тэставання. Спрыявайце гэты этап як кантракт межа вхіднымі даннымі і перакананымі выходнымі рэзультатамі. Даўце назвы артыфактам, задаць критэрыя успеху і не падзеўляйцеся частым, непূরным выкананнем задач. Храніце стан графа ў простам і типаваным формате. Вярнутыя структуры данных маскуюць інфармацыю пра тое, який вузел запісаў кожны поле, і спакшваюць возобнавленне роботы пасля перарываў. Этап традыцыйных тэстаў Яруса 1 працуе наякша, калі яго спрыяваць як мерыемую паверхню. Зберажыце адны ідеальны прыклад роботы, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану перш чым расширваць сферу тэставання. Храніце настройкі парадульна ад коду прыемлівача. Файлы сяродавішча, хранальнікі секрэтных данных і флагі функцыйяў должны знаходзіцца ў аднам месцы, куда аператары можу аудытаваць іх без неабходнасці чытаць весь граф.

Ярус 2 — ацэнкі агентаў

Для стадіі адміністрацыі агента верхньага слоя 2 неабяжна пазначыць вхідныя данні, адпаведальнага за крок і критэрыя завершэння пры перадзеіснаванні коду. Аператары должны магчымаць перзапуск кроку з вядомай точкі контролю, не падозрываючы схованы стан. Неабяжна задокументаваць як шлях успеху, так і шлях вярнення. Перапрыбуткі, людзкія перакрыцці і обробка некоректных паведамленняў ёсць часткай продукту, а не пасляднім дапрацоўкам. Неабяжна застаўляць людзкую апраўдку для тых крокаў, якія выкарыстоўваюць грошы або зменяюць данні ў працэсе. Кампайляванне коду не абавязкова значыць повноту функцыйнальнасці продукту.

Верхні слой 3 — сцэнарыі «з канца ў канец»

Для стадіі сцэнарыяў «канец-канец» на роўні 3 неабходна прадзефінаваць вхідныя даны, адпаведальную особу за кожны крок і крэтыяры завершэння працы перад зменым коду. Аперацыйныя працавнікі должны магчымае перзапускаць крок з вядомай точкі контролю, не падозрываючы прыхованы стан системы. Лепш выбіраць маленькія, тэставаныя елементы замест большых скрыптаў. Калі крок не выконваецца, прычына неудачы должна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны ланцужок задач. Неабходна людская апраўда для тых крокаў, якія ведуць да выдаткаў грошаў або зменыння дадзэнняў у працоўным режыме. Компіляцыйныя налашчэння не ўзначаюць павнае адпрацоўвання всіх аспектаў бізнес-процэсу.

Роўень 4 — Манітарынг у працоўным режыме

Для стадіі разгледзення працы на рэверсе 4 неабяжна прадзефінаваць вхідныя даны, адпраўніка крока і крэтырыя завершэння працы перад змінайом коду. Аператары должны магчыма было перзапускаць крок з вядомай точкі контролю, не спрабоўваючы здагадвацца пра схованы стан. Спрацаваць з гэтай стадіяй як з кантрактом межаў вхідных дадзеных і перакананых выходных рэзультатаў. Даць назвы артыфактам, прадзефінаваць пераканання ў успеху і адмовіцца ад тыхнай частковай рэалізацыі без паведамлення. Забезпечыць людскую апраўдку для тых крокаў, якія выкарыстоўваюць грошы або зміняюць даны працы. Компіляцыйны падключэння не ўзроўнаўваецца з павнай рэалізацыяю бізнес-функцый. Для стадіі разгледзення працы на рэверсе 4 неабяжна прадзефінаваць вхідныя даны, адпраўніка крока і крэтырыя завершэння працы перад змінайом коду. Аператары должны магчыма было перзапускаць крок з вядомай точкі контролю, не спрабоўваючы здагадвацца пра схованы стан. Зберагчы канфігурацыю параду ад коду прыкладнення. Файлы сяродавішча, хранільнікі секрэтных дадзеных і флагі функций должны знаходзіцца ў аднам месцы, якое аператары можаць пераглядаць без неабяжнай чытання.

цэлага схема.

Участка чалавека не ўважаецца слабасю

Калі працуеце з концэпцыяй участка чалавека, спачатку запісайце умовы: неабяжлівыя данні, сігнал успеху і тое, што выканаецца у разе частковага нявыполнення. Такі список контроля дапамагае заліцвачыць змяны коду. Документавайце як шлях успеху, так і шлях вярнення да нормы. Перапрыбуткі, контроль чалавека і обработка непрацяючых паведамленняў є частью продукту, а не наступным этапам дапрацоўкі. Стварайце контрольныя пункты пасля дорогіх крокаў. Система вярнення не должна занова ставіць плату за той самы вызов LLM, калі аператар перапрыбуе пазнейшы вузел.

Архітектура становіцца значна ясней

Калі працуеце над стадзіяй «Архітектура становіцца значна», спачатку запісайце контракт: неабяжлівыя даны, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі список пераконвае ў тым, што пазнейшыя змены коду будуць чыстымі. Валіце маленькія, тэставаныя елементы замест вялікіх скрыптав. Калі якісь крок не выйшае, прычына нявыпання павінна вказваць на адну адповядальнасць, а не на заплутаны ланцужок задач. Зробіце перапактаванне пасля дорогіх крокаў. Програма не павінна зноў выклікаць той самы LLM-званак, калі аператар праказвае спробу ў выйшлым вузле.

Што вы зробіце інакш, пачынаючы проект агента сёньня

Калі працюеце над этапам «Што вы бы зрабілі», спачатку запісайце контракт: неабяжлівыя данні, сигнал успеху і тое, што вядзецца пад частковым нявыпаннем. Такі список пераконвае ў тым, што пазнейшыя змены коду буду чыстымі. Спрэцьвачайце гэты этап як контракт межа даннімі і перакананымі выходамі. Дайце назвы артыфактам, задацьте перакананні успеху і не падзеўляйцеся частковым завершэнням без паведамлення. Зробіце перапытку пасля дорогіх крокаў. Система вярнення не павінна зноў выклікаць той самы календар LLM, калі аператар прабуе зноў запрацаваць пазнейшы вузел. Калі працюеце над этапам «Што вы бы зрабілі», спачатку запісайце контракт: неабяжлівыя данні, сигнал успеху і тое, што вядзецца пад частковым нявыпаннем. Такі список пераконвае ў тым, што пазнейшыя змены коду буду чыстымі. Зберагачыце настройкі параду ад коду прыемлівача. Файлы сераўнавання, хранільнікі секрэтных дадзеных і флагі функций павінны знаходзіцца ў аднам месцы, куда аператары можаць адбавіць аудыт, не чытаючы весь граф.

Большая наука

Этап «Большыя урокі» працюе найэфектывней, калі яго розглядаць як меравальную паверхню. Запісаце адна «золатая» транскрыпцыя, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану перш чым расширваць масштабы. Дакументавайце як шлях успеху, так і шлях вярнэння. Перапрыбуткі, людзкія контрольны пункты і обработка некоректных звесцей ёсць частью продукту, а не пасляэтапным дорабкам. Храніце стан графа у простым і типаванам формате. Вярнутыя структуры данных маскуюць інфармацыю пра тое, який вузел запісаў кожны поле, і спакоююць працу пасля перарываў.

Чэк-ліст для эксплуатацыі

Для этапа чэк-ліста для эксплуатацыі неабходна з’явіць вхідныя даны, адпаведальнага за крок і критэрыя завершэння перш чым зменіць код. Аператары должны магчымае перазапускаць крок з вядомай точкі контролю, не падозрэўаючы пра схованы стан.

Запісвайце час выконання і вартасць токена або запыту разам з функцыйнальнымі рэзультатамі. Відразлівасць вартасці з самага пачатку запобегае неспакою, калі шлях пераходзіць з дэмаверсіі ў спяльныя сераўы.

Неабяжна людская згода на тыя элементы, які витрачаюць грошы або зменяюць даны працэйнага сервісу. Падключэння ў час компіляцыі не адпавядае пачатковай цэласнасці бізнес-процэсаў.

Напісце кароткі практычны паведамленні: як зменяць кантрольныя клучы, як спрачыслаць чергу заданняў, як анулюваць пярэдніе змены.

Зберагаюце настройкі праза код прыемніка. Файлы сяродавішняе суперактуальнасці, хранілішчы секрэтных дадзеных і пазнакі функцый должны знаходзіцца ў адном месцы, куды аператары можаць пераглядаць іх без неабяжнага чытання всіх элементаў системы.

Неабяжна людская згода на тыя элементы, які витрачаюць грошы або зменяюць даны працэйнага сервісу. Падключэння ў час компіляцыі не адпавядае пачатковай цэласнасці бізнес-процэсаў.

Перад адкрыцыем новай версіі системы заморозьце існуючыя версіі, зафіксуйце критычныя моменты працэў і паказваце, як анулюваць змены. У спільных сяродавішняе суперактуальнасці неабяжныя ліміты на частоту запытоў, перагляд стану аб’ектаў і чысткая відпаведальнасць за змены секрэтных дадзеных. Валіце простую надзейнасць працэў над красавім, але разовым дэманстрацыйным прыкладам.

Запіскі для пакета f51c87fc1641: не класты ключі прадаўцоў у репазітарыю, задаць максымальны тэрмін дзейнасці токена на кожную сесію, а таксама зберагчы транскрыпціі празаўседле з фікстурамі для ацэнкі, каб пазнейшыя замены моделяў заставаліся пораўнанымі.