Практычныя прытамулкі: Аплякацыі AI-агентаў, якія самастойна суперашчыляюцца — цыкл адзначэнняяў
Практычныя прыказкі: Аплікацыі AI-агентаў, якія самастойна суперашчыляюць — Цікл адзначэнняя: кантракты, пераконтроўванні і месцы для коду для команд, якія викорыстоўваюць гэты патэрн.
Існавайце гэта як перапрацоўаны варыянт ідэй з матеріалу «Аплікацыі AI, якія сама сабе пасьляўжваюць — інтеграцыя ціклу зворотнай связі», адпрацаваны для працовнікаў: чыстыя этапы, аранжаваныя блакі для коду і прыметкі з восстанавленням, якія застаюцца пасля перадачы. Этап «Аптэкст» найэфектывней працюе, калі яго розглядаць як вимерную плошчу. Запісайце адна ідеальная транскрыпцыю, адзін прыклад неудачы і прыметку з вярненням да пачатковага стану прычаму расшырэння масштаба. Запісвайце часы виконання і кост токенав або запытаў праза функцыйнае рэзультат. Відкрытыя даныя пра косцы з’являюцца раніше, чым утвараюцца неспакоўныя рахункі, калі процес пераходзіць з дэмаверсіі ў спакульнаныя сераўысы.
Agent produces answer
↓
LLM reflects on answer
↓
Agent learns
Агент не павінен быць системай навчання
Для стадіі «Агент не должен дзеяць» неабходна прадварычная наработка: трэба визначыць данні, якія будуць вводзіцца, адпаведнага адпаведальнага за крок, а таксама крэтыніяты для завершэння працы перад зменым коду. Аперацыйныя працавнікі должны магчымасць перапрацоўваць крок з вядомага пункту контролю, не прымушаныя здогадвацца пра схованы стан. Конфігурацыю трэба знаходзіць за межамі коду прыемленае. Файлы сераўіса, хранальнікі секрэтных дадзеных і флагі функцый належаць у аднам месца, якое працавнікі можуць пераглядаць, не чытаючы весь ланцуг задач. Пры выконанні дзеяння, якія купуюць грошы або зменяюць данні ў працэйным режыме, неабходна людская апраўда. Прыемленае пад час кампілявання не ўзначае повнайшага адпрацоўвання бізнес-процэса.
Agent made mistake
↓
Agent reflects
↓
"Always retrieve state policy"
↓
Write lesson to memory
↓
Future agents use lesson
Production failure
↓
Capture evidence
↓
Evaluate the run
↓
Identify recurring failure
↓
Generate lesson candidate
↓
Gather supporting and contradicting evidence
↓
Validate
↓
Canary test
↓
Activate
Тры разныя ціклы зворотнага зв’язку
Для стадіі «Тры разныя цыклы зворотнай связі» неабходна прадзеявання вводных дадзеных, адначальнік крока і крэтарыя выходу пры перадзеяванні коду. Аператары должны магчымаць перапрацавку крока з вядомай точкі контролю, не спрабоўваючы здагадвацца пра схованы стан. Неабходна задокументаваць як шлях успеху, так і шлях вярнення да нормальнага стану. Перапрацавкі, людзкія перакрытчыкі і обработка некоректных паведамленняў є часткай продукту, а не элементамі пазнейшага дапрацоўкі. Неабходна людзкая аправара для тых крокаў, які выкарыстоўваюць грошы або зменяюць даныя у працэсе виробніцтва. Працэс складання коду не ўзроўнаважваецца з повнасцю функцыоналу продукту.
+------------------------------------------------+
| RUNTIME PLANE |
| |
| plan -> act -> validate -> repair -> respond |
+-----------------------+------------------------+
|
v
+------------------------------------------------+
| LEARNING PLANE |
| |
| evaluate -> diagnose -> cluster -> learn |
+-----------------------+------------------------+
|
v
+------------------------------------------------+
| CONTROL PLANE |
| |
| test -> approve -> canary -> rollout -> rollback|
+------------------------------------------------+
1. Самовылечэнне пад час выканання
Для стадіі 1 «Автаналіз у часе експлуатацыі» неабяжна прадзефінаваць вхідныя даны, адміністратара крока і крэтыяры завершэння пры змены коду. Аперацыйныя працавнікі должны магчымаць перзапуск крока з вядомай точкі контролю, не падозрываючы прыхованы стан. Лепш выбіраць маленькія, тэставаныя елементы замест амаль неконтрольваных скрыптав. Калі крок не выконваецца, прычына неудачы должна вказываць на адзін конкрэтны элемент, а не на заплутаную схему выкарыстоўвання ресурсаў. Неабяжна ўключыць людзкія апраўленні для тых крокаў, якія выкарыстоўваюць грошы або зміняюць даны ў працэсе виробніцтва. Компіляцыйныя налашчэнні не є гарантыяй полнай адпаведнасці системы выкарыстоўванню ў рэальных умовах. Для стадіі 1 «Автаналіз у часе експлуатацыі» неабяжна прадзефінаваць вхідныя даны, адміністратара крока і крэтыяры завершэння пры змены коду. Аперацыйныя працавнікі должны магчымаць перзапуск крока з вядомай точкі контролю, не падозрываючы прыхованы стан. Неабяжна фіксаваць час выкарыстоўвання, а таксама косць токенаў чы запытав пры разам з функцыйнальнымі рэзультатамі. Відразлівасць косцаў з самага пачатку запобегае неспакойным рахункам, калі процес пераходзіць з дэмовай среды ў спяльныя сераўеры.
.Tool failed
↓
Retry
↓
Retry
↓
Retry
User Request
|
v
Clarification Gate
|
v
Retrieve Context
|
v
Plan
|
v
Proposed Action
|
v
Action Guard
|
v
Execute Tool
|
v
Sanitize Tool Result
|
v
Validate Tool Result
|
v
Reason
|
v
Validate Answer
|
+------ uncertain ------> Critic
| |
| v
| Policy Router
| / | | \
| PASS REPAIR HUMAN FAIL
| |
+---------------------------+
|
v
Response
Параболіцеюйце пры дзеянні, а не толькі пасля яго
Кал працуеце над этапам параболіцеювання пры дзеянні, спачатку запісайце умовы: неабяжлівыя данні, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі список контролю дапамагае заліцьваваць змяны ў кодзе. Зберагайце настройкі параду ў кодзе прыемлі. Файлы серавэра, хранілішча секретных дадзеных і флагі функцыйяў должны знаходзіцца ў аднам месцы, куды аператары можаюць адбавляць аудыт без неабяжлівага чытання всей структуры. Стварайце контрольныя пункты пасля дорогіх крокаў. Система вярнення не должна занова ставіць плату за той самы вызов LLM, калі аператар перапрыяўляе роботу да наступнага вузла.
Расходы з адпаведных інструментоў таксама ёсць ненадзеянымі даннемі
Калі працуеце над стадіяй «Выходныя даны інструмента», спачатку запісайце угоду: неабяжлівыя даны, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі список перакладоў заходзіць пазнейшыя змены коду ў правільным напрамку. Документавайце як шлях успеху, так і шлях вярнення. Перапрыбуткі, людзкіе контралі і обработка некоректных паведамленняў є часткай продукту, а не пазнейшым дапрацоўкам. Зявляйце логі з назвай інструмента, хэшам аргументаў, часам затрымкі і рэзультатам кожнага вызову. Без такога следу дэбаггінг агента губіць гадзіны.
External Tool
|
v
Tool Result
|
v
Sanitizer
|
v
Validator
|
v
LLM
Раздзеліце верыфікатора ад крітіка
Калі працуеце над практыкай «Раз’ядраўчы валідатор ад стадзіі», спачатку запісайце умовы кантракту: неабходныя даны, сігнал успеху і тое, што выходзіць пад частковым невяснам. Такі список контролю дапамагае заставіць пазнейшыя змены коду быць чыстымі. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшае, невяснаце павінныя быць адночы прызначаныя для аднаго канкрэтнага заваджы, а не для заплутанай лініи обробкі. Зрабіце перапытку пасля дорогіх крокаў. Система вярнення не павінна зноў ставіць плату за той самы вызов LLM, калі аператар праказвае пазнейшы вузел. Калі працуеце над практыкай «Раз’ядраўчы валідатор ад стадзіі», спачатку запісайце умовы кантракту: неабходныя даны, сігнал успеху і тое, што выходзіць пад частковым невяснам. Такі список контролю дапамагае заставіць пазнейшыя змены коду быць чыстымі. Запісвайце час выканання і кост токенаў або запытаў разам з функцыйнальнымі рэзултатамі. Відразувыя даны пра косцы запобегаюць неспакойным рахункам, калі процес пераходзіць з дэмавайнага режыма ў спакульнае сераўерное сэрאвы.
Schema correct?
Required fields present?
Allowed value?
Business invariant satisfied?
Evidence exists?
Policy satisfied?
Known contradiction detected?
{
"correctness": 0.61,
"groundedness": 0.92,
"uncertainty": 0.73,
"defects": [
"missing_authoritative_evidence"
]
}
PASS
REPAIR
HUMAN REVIEW
SAFE FAIL
Рэмонт должен змяніць стратэгію
Метод «Рэмонт должен змяніць стадію» працуе найэфектывней, калі яго рассматрываць як вимерную паверхню. Запісайце адна «золатая» транскрыпцыя, адзін прыклад неудачы і запіску пра вярнэнне да пачатковага стану перш чым расширваць масштабы. Зберагаюце настройкі пазначаныя за межамі коду прыемленае. Файлы са станом серавіса, храненні секрэтных данных і флагі функцыйяў должны знаходзіцца ў аднам месцы, куды аператары можаць адрабоўваць контроль без неабяжнага чытання всіх дадзеных. Зберагаюце стан графа ў простам і типаваным формате. Вярнутыя структуры дадзеных маскуюць інфармацыю пра тое, який вузел запісаў канкрэтны поле, і спакоююць продажчыку роботы пасля перерываў.
Search policy
↓
Generate recommendation
↓
Fail validation
Search policy
↓
Generate recommendation
failure signature
strategy fingerprint
attempt ID
repair strategy
remaining budget
quality delta
same failure
+
same strategy
+
same evidence
=
do not retry
З’ясавайце, чы рэмонт дасканальна дапамог
Мера таго, чы гэтап стадія рэманткі насправды працуе якнайкраща, — калі ёё спрыяваць як вимерную паверхню. Запісаўце адна «золатая» транскрыпцыя, адзін прыклад неудачы і прыметку па адвярненню роботы перш чым расширваце дыячоўку. Дакументаваце як шлях успеху, так і шлях вяснавання разам. Перапрыбуткі, людзкія контралі і обработка некоректных паведамленняў ёсць часткай продукту, а не пасляднім дапрацоўкам. Храніце стан графа простым і з адначытаемымі даннымі. Вкладзеныя блокі маскуюць, калькі вузел запісаў калькі поль, і спакоююць продовжэнне роботы пасля перарываў.
quality score = 0.54
quality score = 0.55
quality score = 0.56
delta = score_after_repair - score_before_repair
small delta
+
small delta
=
human review or safe failure
Участка чалавека ў процесе — гэта стратэгія маршрутызацыі, а не выключэнне
Этап «Чалавек у цікле» ў якосты рутавання працуе найэфектывней, калі яго спрыяваць як меркаваную паверхню. Зберагчыце адны ідеальны прыклад работы, адзін кейс неудачы і запіс пра вярнэнне да пачатковага стану, перш чым расширваць сферу дзеяння. Валіце малыя, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшае, прычына неудачы должна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны ланцюг дзеяння. Рэжым графа трэба падтрымваць у простам і типаваным формате. Вярнутыя структуры маскуюць інфармацыю пра тое, каней вузел запісаў канкрэтны поле, і спаказваюць работу пасля перарываў. Этап «Чалавек у цікле» ў якосты рутавання працуе найэфектывней, калі яго спрыяваць як меркаваную паверхню. Зберагчыце адны ідеальны прыклад работы, адзін кейс неудачы і запіс пра вярнэнне да пачатковага стану, перш чым расширваць сферу дзеяння. Запісвайце часы выконання і косты токеноў або запытак разам з функцыйнальнымі рэзултатамі. Відразы костаў з самага пачатку запобегаюць неспакойным рашчыткам, калі процес пераходзіць з дэмавайшага режыму ў спяльныя среды.
Human
|
+-----------+-----------+
| | |
Approve Edit Reject
| | |
Continue Validate Safe Fail
Request Repair
|
v
Repair
2. Апыт навучэння праз разныя запускі
Для стадіі 2 «Навчанне парадоксам» неабяжна ўзначыць вхідныя даны, адпаведальнага за кожны крок і крэтыяры завершэння пры зміне коду. Аперацыйныя працавнікі павінны магчымае перазапускаць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Конфігурацыю трэба залічыць пазначкай ад коду прыемліка. Файлы сераўнавання, храненні секрэтных данных і флагі функцыйяў павінны знаходзіцца ў адном месцы, якое працавнікі можуць пераглядаць, не чытаючы весь ланцуг задач. Прызначыць людскія апраўджэння для рэлейнаў, якія выкарыстоўваюць грошы або зміняюць даны у працэсе. Падключэння пад час компілявання не ўзначае повнасці бізнес-процэсу.
run_completed
|
v
Evaluation worker
|
v
Gather feedback
|
v
Reflection
|
v
Candidate lesson
Адзінакі не ўсега сказуць
У стадії «Адказы не ўсё правда» паказваецца, калі трэба задаць вхідныя даны, адпаведальнага за крок і критэрыя завершэння пры зміне коду. Аперацыйныя працавнікі должны магчыма ўвайсці знову у цей крок па вядомым контрольным пункту, не спрабоўваючы здагадвацца пра схованы стан. Неабходна задокументаваць як шлях успеху, так і шлях вярнення да нормы. Перапрыбуткі, людзкія пераказы і обробка некоректных паведамленняў є частью продукту, а не яго пазнейшай дапрацоўкі. Неабходна людзкая затверджэння для тых крокоў, якія выкарыстоўваюць грошы або зміняюць даны ў працэсе виробніцтва. Працэс складання коду не ўзроўнаважваецца з повнасцю бізнес-функцый.
thumbs up != correct
thumbs down != incorrectuser correction != authoritative rule
Authoritative business outcome
>
Expert human label
>
Deterministic rule
>
Calibrated evaluator
>
User feedback
>
Agent self-confidence
Частка найкращых адказоў прыходзіць пазней
Для стадіі «Some of the Best» неабяжна практыка — адынаваць вхідныя даны, абяронца шагу і крытэрыі завершэння пры змяне коду. Аперацыйныя працавнікі павінны магчымаць перзапуск шагу з вядомай точкі контролю, не падозрываючы прыхованы стан. Лепш выбіраць маленькія, тэставаныя елементы замест большых скрыптов. Калі шаг не выконваецца, прычына нехарактэрыстыкі павінна вказываць на адзін конкрэтны аспект, а не на заплутаны ланцоўкі задач. Заставляйце людзей апраўдваць рашэнняя ў тых моментах, калі выдваюцца грошы або змянююцца даны для працы. Компіляцыйныя налашчэння не ўзначаюць, што процес ўжо цэлысны з пазіцыі бізнесу. Для стадіі «Some of the Best» неабяжна практыка — адынаваць вхідныя даны, абяронца шагу і крытэрыі завершэння пры змяне коду. Аперацыйныя працавнікі павінны магчымаць перзапуск шагу з вядомай точкі контролю, не падозрываючы прыхованы стан. Запісвайце час выконання, а таксу токенаў аб запытоў разам з функцыйнальнымі рэзультатамі. Відразувыя даны пра витраты запобегаюць неспакойным рахункам, калі процес пераходзіць з дэмовай среды ў спакульнаваныя сераўеры.
Agent recommends payroll code
|
v
Payroll system accepts
|
v
Two weeks later
|
v
Audit rejects transaction
Управленьне патронамі памяці
Калі працуеце над стадзіяй управленьне патронамі памяці, спачатку запісацеце кантракт: неабяжлівыя даны, сігнал успеху і тое, што выходзіць у случае частковага нявыпання. Такі список пераконтроўвае чыстасць пазнейшых змян у кодзе. Зберагаце канфігурацыю праза код аплікацыі. Файлы сераўіснага сэрвісу, храненні секретных дадзенаў і флагі функцыйяй должны знаходзіцца ў аднам месцы, куды аператары можаюць адбавіць аудыт без неабяжлівага чытання всей структуры. Зробіце пераконтроль пасля дорогіх крокаў. Функцыя вярнення роботы не должна занова ставіць плату за той самы вызыв LLM, калі аператар перапрыяўляе роботу да наступнага вузла.
Памяць профілю
Калі працуеце з стадзіяй памяці профіля, спачатку запісайце угоду: неабяжлівыя даны, сігнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі список пераконвае ў тым, што пазнейшыя змены коду будуць чыстымі. Документавайце як шлях успеху, так і шлях вяснавання. Перапрыбуткі, людзкія контралі і обработка некоректных паведамленняў ёсць часткай продукту, а не пазнейшым дапрацоўкам. Зробіце контрольную пазнаку пасля дорогіх крокаў. Програма не должна зноў выклікаць той самы календар вызову LLM, калі аператар перапрыбывае пазнейшы вузел.
Эпізодычная памяць
Калі працуеце над стадзіяй Эпізодычнай памяці, спачатку запісаце кантракт: неабяжлівыя данні, сигнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі список пераконвае ў тым, што пазнейшыя змены коду будуць чыстымі. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшоў, прычына нявыпання должна вказваць на адну адпаведальнасць, а не на заплутаны ланцужок задач. Зробіце перапактаванне пасля дорогіх крокаў. Програма не должна зноў ставіць плату за той самы вызов LLM, калі аператар праканае пазнейшы вузел. Калі працуеце над стадзіяй Эпізодычнай памяці, спачатку запісаце кантракт: неабяжлівыя данні, сигнал успеху і тое, што выходзіць у разе частковага нявыпання. Такі список пераконвае ў тым, што пазнейшыя змены коду будуць чыстымі. Запісвайце час выканання і кост токеноў або запытаў праза функцыйнае рэзультат. Відкрытыя данні пра косцы з’являюцца рана, таму не будзе неспакою, калі процес пераходзіць з дэмаверсіі ў спяльныя сераўы.
Процедурная памяць
Этап процедурнай памяці працюе наўсёх краща, калі яго розглядаць як вимерную велічыну. Запісаце адна ідеальная версія, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану перш чым расширваць сферу дзеяння. Храніце настройкі параду ў кодзе прыемленае. Файлы сераўіса, базы секрэтных даных і пазнакі функцый должны знаходзіцца ў адном месцы, куда аператары можуць адбавляць контроль без неабяжнага чытання всіх дадзеных. Храніце стан графа ў простам і типаваным формате. Вкладныя структуры маскуюць інфармацыю пра тое, який вузел запісаў канкрэтны поле, і спакоююць продаж чытання пасля перерываў.
Observation
↓
Candidate lesson
↓
Supporting evidence
+
Counterexamples
↓
Validation
↓
Active lesson
Навучаная памяць ніколі не должна перакрываць автарытатныя знанні
Мэмарыя, якае выкорыстоўваецца для зберагачэння інформацыі, ніколі не должна працаваць наяўнейша, калі яе розглядаюць як параметр, які можна змерыць. Запісаўце адну успешную версію дадзеных, адны прыклад неудачы і прыметку па поверненню да попярэдня стану пры расшырэнні масштаба. Дакументавайце як успешны, так і варыянты вярнення да нормальнага стану. Практыкі павтарэння спроб, кантрольныя етапы з участю людзей і обработка некоректных паведамленняў є часткай самага продукту, а не дадатковыми етапамі ўдосконалення. Храніце стан графаў у простам і типаваным формате. Вярнутыя структуры дадзеных маскуюць інфармацыю пра тое, який вузел запісаў кожнае поле, і спакшуюць возможнасць продажывання роботы пасля перарываў.
Authoritative policy
>
Tenant configuration
>
Approved procedural lesson
>
Episodic example
>
User preference
>
Unverified claim
>
LLM reflection
Мэмарыя можа стаць застарелай
Этап «Памяц можа стац застарэлай» працуе наўзям лепш, калі яго спрыятаць як мерымабельную паверхню. Зафіксавайце адны ідеальны прыклад, адзін кейс неудачы і запіс пра вярнэнне да пачатковага стану перад расшырэнням масштаба. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшае, прычына неудачы павінна вказываць на адную адпаведальнасць, а не на заплутаны ланцюг задач. Рэзультаты роботы графа павінны быць простымі та з адначытаемымі датамі. Вярнутыя структуры дакладнаўкі маскуюць інфармацыю пра тое, який вузел запісаў канкрэтны поле, і спакшуюць продовжэнне роботы пасля перерываў. Этап «Памяц можа стац застарэлай» працуе наўзям лепш, калі яго спрыятаць як мерымабельную паверхню. Зафіксавайце адны ідеальны прыклад, адзін кейс неудачы і запіс пра вярнэнне да пачатковага стану перад расшырэнням масштаба. Запісвайце часы виконання та выкладкі на кожны токен чы апытку пад час фіксацыі функцыйнальных рэзультатаў. Відразувыя данні пра выкладкі запобегаюць неспакоўным рашчыткам, калі процес пераходзіць з дэмаверсіі ў спяльныя среды.
candidate
↓
validated
↓
active
↓
pending revalidation
↓
deprecated
↓
retired
3. Планформа для афлайн-навчання
Для стадіі «Навчанне без падзею» неабяжна ўскладніць вхідныя даны, адпаведальную особу за кожны крок і критэрыі завершэння пры перадзеўці коду. Аперацыйныя працавнікі павінны магчыма было перзапусціць крок з вядомага пункту контролю, не спрабоўваючы здагадвацца пра схованы стан. Конфігурацыю трэба залічыць параду ад коду прыкладнення. Файлы сераўіса, хранільнікі секрэтных дадзеных і флагі функцыйяў павінны знаходзіцца ў аднам месцы, якое працавнікі можуць пераглядаць, не чытаючы весь ланцуг задач. Пры выконанні операцый, якія коштуюць грошэй або зменяюць даны у працуючай сістэме, неабяжна ўключыць людзкую апраўду. Підключэння пад час компіляцыі не ўзначае повнасці бізнес-процэсу.
Runs
+
User Feedback
+
Human Reviews
+
Downstream Outcomes
+
Evaluation Scores
|
v
Failure Classification
|
v
Failure Clustering
missing state policy 178
wrong tool selected 63
bad tool argument 52
unsupported inference 41
output schema failure 11
Не кожная неудача — гэта проблема з падтрымкай
Для стадіі «Не кожна памылка» неабяжна ўзначыць вхідныя даны, адпаведальнага за крок і крэтыры завершэння пры змяне коду. Аперацыйныя працавнікі должны магчыма ўвайсці крок з вядомага пункта контролю, не спрабоўваючы здагадвацца пра схованы стан. Неабяжна задокументаваць як шлях успеху, так і шлях вярнення. Перапрыбуткі, людзкіе перакрыцця і обробка некоректных паведамленняў є часткай продукту, а не чымсь, што дадаецца пазней. Калі наступны крок — це код або вызов інструмента, лепш выкарыстоўваць структураваныя выходныя даны з перакрычэнням схемы, чым вольныя тэкстовыя апісанні.
Graph rule:
Policy retrieval must occur before this decision.
retrieval
tool schema
validator rule
routing
memory policy
clarification logic
action guard
model configuration
Ацэнка — галоўная частка цыклу адзываў
У стадії «Адзыянаванне — галоўная частка» перад змянай коду неабходна визначыць вхідныя даны, адпаведальнага за крок і крэтыры завершэння. Аперацыяныя працавнікі должны магчымае перайсці на выкананне кроку з вядомага пункта контролю, не спрабоўваючы здагадвацца пра схованы стан. Валічыце маленькія, тэставальныя елементы працоўнікаў над велікімі скрыптамі. Калі крок не выйшоў, прычына неудачы должна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны ланцюг задач. Заставляйце людзей затварыць падтверджэння для тых крокаў, якія выкарыстоўваюць грошы або зміняюць даны у працоўным сераверы. Компіляцыйныя налаштаванні не є прамаравамым паказатлем готовнасі продукту. У стадії «Адзыянаванне — галоўная частка» перад змянай коду неабходна визначыць вхідныя даны, адпаведальнага за крок і крэтыры завершэння. Аперацыяныя працавнікі должны магчымае перайсці на выкананне кроку з вядомага пункта контролю, не спрабоўваючы здагадвацца пра схованы стан. Запісвайце час выканання, а таксу токенаў аб запытаў разам з функцыйнальнымі рэзультатамі. Відразлівасць костаў з самага пачатку запобегае неспакойным рахункам, калі процес пераходзіць з дэмовай среды ў спяльную.
ts.
Correctness
Groundedness
Retrieval relevance
Completeness
Tool selection
Tool arguments
Trajectory efficiency
Repair effectiveness
Safety
Latency
Cost
Business outcome
Agent A
search -> answer
Agent B
search
-> wrong tool
-> retry
-> timeout
-> second search
-> repair
-> answer
Не давайце веры аднаму суддзе LLM
Калі працуеце над этапам «Не давайце веры аднаму», спачатку запісуйце угоду: неабяжлівыя данні, сигнал успеху і тое, што выканаецца у разе частковага невыпалення. Такі список пераканальвае захаваць чыстасцю пазнейшых змян у кодзе. Зберагаюце настройкі пазнаходзячыся за межамі коду прыемліка. Файлы сераўнавальнага сераўса, хранілішчы секрэтных дадзеных і флагі функцый крануцца на аднай пазе, якую аператары можаць пераглядзець без неабяжлівага чытання всей структуры. Кэшавайце стабільныя інструкцыі системы і схемы інструментаў. Перасылка ідэнтычных прамуслов ёсць частым выклікам затрат ресурсаў.
Deterministic checks
+
Business outcomes
+
Human labels
+
Multiple evaluator rubrics
+
LLM judges
Візуабельнасць — частка архітектуры навчання
Калі працюеце над стадзіяй «Зважальна спроможнасць ў складзе», спачатку запішыце умовы виканання: неабяжныя даны, сігнал успеху і тое, што выканаецца у разе частковага невыканання. Такі список пераконвае ў тым, што пазнейшыя змены коду будуць чыстымі. Дакументаваць трэба як шлях успеху, так і шлях вярнення да нормальнага стану. Перапрыбуткі, людзкія контралі і обработка некоректных паведамленняў є частью продукту, а не дадатковымі элементамі для палітуркавання. Зробіце контрольны пункт пасля дорогіх крокаў. Система вярнення не должна зноў выклікаць той самы календар аналізу мовы, калі аператар перапрыбывае пазнейшы вузел.
Agent Run
|
+-- Retrieve Context
|
+-- Planner
|
+-- Tool Call
|
+-- Tool Result Validator
|
+-- Repair
|
+-- Critic
|
+-- Final Answer
LangGraph execution
MongoDB events
Vertex AI calls
Evaluation results
Human feedback
Downstream outcomes
Чаму важлівыя ўсё толькі дадаючыяся запісы падзей агента
Калі працуеце над стадзіяй «Чаму толькі апдыючыя запісі агента», спачатку запішыце умовы вярбунка: неабяжлівыя данні, сигнал працэсу і тое, што выходзіць пад частковым нявыпаннем. Такі список дапамагае заліцвачыць пазнейшыя змены ў кодзе. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выйшоў, прычына нявыпанню павінна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны ланцужок крокаў. Зрабіце перапытку пасля дорогіх крокаў. Програма не павінна зноў выкарыстоўваць той самы вызов LLM, калі аператар прабуе зноў запрацаваць пазнейшы вузел. Калі працуеце над стадзіяй «Чаму толькі апдыючыя запісі агента», спачатку запішыце умовы вярбунка: неабяжлівыя данні, сигнал працэсу і тое, што выходзіць пад частковым нявыпаннем. Такі список дапамагае заліцвачыць пазнейшыя змены ў кодзе. Запісвайце час выканання і кост токеноў або запытаў разам з функцыйнальнымі рэзультатамі. Відразувыя данні пра косцы запобегаюць неспакойным рахункам, калі працэс пераходзіць з дэмаверсіі ў спяльныя сераўы.
run_id
agent
release
outcome
latency
tool count
repair count
cost
run.started
retrieval.completed
tool.called
validation.failed
repair.started
human_review.requested
run.completed
Для паводлівасці рэзультатаатакаў трэба больш, чым толькі версія запросу
Этап «Для паводлівасці рэзультатаатакаў трэба больш, чым толькі...» работае наяўней, калі яго спрыяваць як вимерную плошчу. Запісаўце аднаго ідеальнага рэзультата, аднаго прыклада неудачы і прыметку пра адвярненне змян перад расшырэнням масштаба. Храніце настройкі праза код аплікацыі. Файлы сяродавішча, хранільнікі секрэтных дадзеных і флагі функций должны знаходзіцца ў аднам месцы, куда аператары можуць адбавляць без неабходнасці чытання всей структуры. Установіце ліміты токенаў на кожны раунд і на кожную сесію. Інструменты-агенты агрэсывна расширваюць контекст; строгі ліміты не дазволяюць дэманстрацыям ператварацца на неспакоўныя рахункі.
model
generation settings
graph version
tool definitions
validator rules
critic rubric
retrieval configuration
memory rules
security rules
agent_release_43
|
+-- graph v12
+-- prompt v43
+-- Gemini configuration
+-- tools v17
+-- validator v11
+-- retrieval config v9
+-- memory policy v5
+-- evaluation suite v8
План кантролю: дзе павышэнняя здабліваюць доступ да працы ў рэальных умовах
План керування, дзе прыцэп работае наяўней, калі яго спрыяваць як вимерную паверхню. Зафіксавайце адна ідеальная транскрыпцыю, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану перш чым расширваць масштабы. Дакументавайце як шлях успеху, так і шлях вярнэння. Перапрыбуткі, людзкія контраліны і обработка некоректных паведамленняў є частью продукту, а не наступным этапам дорабкі. Храніце стан графа ў простам і типаваным формате. Вкладзеныя блокі маскуюць, який вузел запісаў канкрэтны поле, і спакоююць продовжэнне роботы пасля перарываў.
Candidate Improvement
|
v
Historical Replay
|
v
Regression Evaluation
|
v
Shadow Production
|
v
Canary
|
v
Progressive Rollout
|
v
Production
Урокі: канарыявые выпускі таксама неабходны
Этап «Урокі: патрэбны канарыйя выпускі» працюе найкраща, калі яго спрыяваць як меравальную плошчу. Зафіксавайце адны ідеальны прымер роботы, адзін кейс неудачы і прыметкі па адвярненню роботы пры расшырэнні масштаба. Валіце вароту за малымі, тэставанымі елементамі замест большых скрыптов. Калі якісь крок не выходзіць, прычына неудачы павінна вказываць на адную адпаведальнасць, а не на заплутаны ланцюг задач. Рэзультаты графа павінны быць простымі та з адначыя типамі дадзеных. Вкладзеныя блокі маскуюць інфармацыю пра тое, який вузел запісаў канкрэтны поле, і спакоююць працу пасля перерываў. Этап «Урокі: патрэбны канарыйя выпускі» працюе найкраща, калі яго спрыяваць як меравальную плошчу. Зафіксавайце адны ідеальны прымер роботы, адзін кейс неудачы і прыметкі па адвярненню роботы пры расшырэнні масштаба. Запісвайце часы виконання та вартасць токеноў чы супылакоў па боку ад функцыйнальных рэзультатаў. Візуабілізацыя вартасцей з самага пачатку запобегае неспакойным рашчыткам, калі процес пераходзіць з дэмаверсіі ў спяльныя сераўы.
Historical replay
↓
5% canary
↓
Measure outcome
↓
25%
↓
Measure
↓
100%
Завершаная архітектура
Для стадіі The Final Architecture неабяжна ўзначыць вхідныя даны, адпаведальнага за крок і крэтырыя завершэння пры змены коду. Аперацыйныя працавнікі павінны магчымае перазапускаць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Конфігурацыю трэба залічыць пазначкай ад коду прыемліка. Файлы сераўнавання, храненні секрэтных данных і флагі функций павінны знаходзіцца ў адном месцы, якое працавнікі можуць пераглядаць, не чытаючы весь ланцуг задач. Прызначыць людскія апраўдкі для рэлейнаў, якія витрачаюць грошы або зменяюць даны у працэсе. Падключэння пад час компілявання не ўзначае повнасці бізнес-функцый.
USER
|
v
+------------------------------------------------------+
| RUNTIME |
| |
| clarify -> retrieve -> plan -> action guard |
| | |
| v |
| tool |
| | |
| sanitize |
| | |
| validate |
| | |
| reason |
| | |
| answer validate |
| | |
| critic if needed |
| | |
| policy router |
| / | \ |
| repair human pass |
+--------------------------+---------------------------+
|
agent events
|
v
+------------------------------------------------------+
| LEARNING |
| |
| traces + feedback + outcomes |
| | |
| v |
| evaluate |
| | |
| classify failures |
| | |
| cluster |
| / \ |
| lessons improvement candidates |
+--------+----------------------+----------------------+
| |
v v
+------------------------------------------------------+
| CONTROL |
| |
| validate -> replay -> shadow -> canary -> rollout |
| | |
| monitor |
| | |
| rollback |
+------------------------------------------------------+
Што це змінюе ў концэпцыі “Самапраўжваючага ІІ”
Для этапа «Што змінюецца» неабяжна ўзначыць вхідныя даны, адпаведальнага за крок і критэрыя завершэння перад змінайом коду. Аперацыяныя працавнікі павінны магчымае перазапускаць крок з вядомай точкі контролю, не падозрываючы прыхованы стан. Неабяжна задокументаваць як шлях успеху, так і шлях вярнення да нормальнага стану. Перапрыбуткі, людзкія перакрыцці та обробка некоректных паведамленняў є частью продукту, а не елементамі пазнейшай дапрацоўкі. Неабяжна прыняць рашэнне чалавека ў тых випадках, калі гэта выклікае витраты грошаў або змяну дадзэнняў у працы. Підключэнне элементаў пад час компіляцыі не є гарантіяю повнай адпаведнасці продукту бізнес-трэбованням.
Observe
↓
Measure
↓
Diagnose
↓
Propose
↓
Test
↓
Promote
↓
Monitor
Практычная последовасць рэалізацыі
Для стадіі «Практычная рэалізацыя» неабходна пазначэнне вхідных дадзеных, адпаведальнага за крок і крэтарыяў завершэння працы перад зменым коду. Аперацыйныя працавнікі должны магчымае перайсці на выкананне кроку з вядомага пункта контролю, не спрабоўваючы здагадвацца пра схованы стан. Лепш выбіраць маленькія, тэставаныя елементы замест амаль неканчатых скрыптав. Калі крок не выконваецца, прычына неудачы должна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны процес. Неабходна людская апраўда для тых крокав, якія выкарыстоўваюць грошы чы зміняюць даны працывання. Компіляцыйныя налашчэнні не ўзроўнаўцяюцься з пачатковым станом бізнесу. Для стадіі «Практычная рэалізацыя» неабходна пазначэнне вхідных дадзеных, адпаведальнага за крок і крэтарыяў завершэння працы перад зменым коду. Аперацыйныя працавнікі должны магчымае перайсці на выкананне кроку з вядомага пункта контролю, не спрабоўваючы здагадвацца пра схованы стан. Запісвайце час выканання, а таксу токенаў чы запытаў разам з функцыйнальнымі рэзультатамі. Відразлівасць костаў з самага пачатку запобегае неспакойным рахункам, калі процес перайходзіць з однага стану ў іншы.
Эмо ў спяльныя сэрвісы.Reliability
↓
Observability
↓
Evaluation
↓
Learning
↓
Controlled adaptation
Заключныя меркі
Калі працуеце над стадзіяй заключных меркаў, спачатку запісайце угоду: неабходныя даны, сігнал успеху і тое, што выходзіць па частковай нявыполненасці. Такі список контролю дапамагае заставіць пазнейшыя змены коду быць чыстымі. Зберагаюце настройкі за межамі коду прыемліка. Файлы сэрвіса, храненні секретных данных і флагі функцыйяў должны знаходзіцца ў аднам месцы, куды аператары можаць адбавіць аудыт без неабяжнага чытання всіх элементаў. Стварайце контрольныя пункты пасля дорогіх крокаў. Система вярнення роботы не должна занова ставіць плату за той самы вызыв LLM, калі аператар перапрыяўляе роботу да наступнага элемента.
production behavior
↓
evidence
↓
evaluation
↓
learning
↓
experimentation
↓
controlled production change
Чек-ліст для эксплуатацыі
Калі працуеце над стадзіяй чек-ліста для эксплуатацыі, спачатку запісайце угоду: неабходныя даны, сігнал успеху і тое, што выходзіць па частковай нявыполненасці. Такі список контролю дапамагае заставіць пазнейшыя змены коду быць чыстымі.
Спрытваце гэты этап як кантракт между вхіднымі дадзеннямі і параболенымі выходнымі рэзультатамі. Дайце назвы артыфактам, задаце критэрыя успеху і не прымайце часткова завершэння без паведамлення.
Ствараце контрольныя пункты пасля дорогіх крокаў. Функцыя адновлення не должна занова нарахоўваць плата за той самы вызыв LLM, калі аператар прабуе зноў выконаць пазнейшы вузел.
Закрепіце версіі залежнасцяў і запісаце хэш адобразу, які выканаў дэманстрацыю. Возможнасць перадаравання рэзультатаў лепшая за традыцыйныя знання.
Запісвайце час выконання і кост токеноў або запытаў разам з функцыйнальнымі рэзультатамі. Відразлівасць костаў з самага пачатку запобегае неспакойным нарахоўкам, калі процес пераходзіць з дэманстрацыі ў спяльныя сераўры.
Ствараце контрольныя пункты пасля дорогіх крокаў. Функцыя адновлення не должна занова нарахоўваць плата за той самы вызыв LLM, калі аператар прабуе зноў выконаць пазнейшы вузел.
Перш чым запускать стак, заморозьце версіі, зафіксавце «золаты» транскрыпты для критичнага шляху і паказвце крокі пры атрыбутаванні. У спакульных средах неабходны ліміты частоты, пераконтрольванне прав на выкарыстоўвання ресурсаў і чысткі власнік для змены секрэтных даных. Валіце простую надзяйнасць працоўнікаў перад крэатыўнымі, адзінразовымі дамэ.
Прыметка для da99b44a5b86: не кладзіце ключы прадаўцоў у репазітарый, задаце верхнюю межу токенав для кожной сесіі і храніце транскрыпты празаўседы ў фікстурах eval, каб пазнейшыя замены модэляў заставаліся пораўнанымі.