Агенты, якія паляпшаюць сябе: самааднаўленне, навучанне і кантраляваныя змены

Агент у стыле ReAct добра плануе, выклікае інструменты, запошчае інфармацыю і завершае багатыя паэтапныя заданні. Проблемы пачынаюцца, калі ён пераходзіць у працэйны рэжым, і хтось спытаецца, што будзе, калі ён зрабіць ўпорчыню. Чы можа ён заўважыць гэта? Чы можа ён восстанавіцца без перэзапуску всего рабочага працэсу? Чы можа ён запамятаць, што працавало, научыцца на парадаксах корыстувачаў і з часам паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабава

Agent produces answer
        ↓
LLM reflects on answer
        ↓
Agent learns

Ён прываблівы таму, што ён просты, але ён таксама рызыкавы. Калі ШММ ацэнівае свой сабе выхід і негайна змінюе сваю будучую дзеяльнасць, памылка можа ператворыцца на урок, урок — у памяць, а гэтая памяць можа парадкаваць тыячы пасляэйшых рашэнняў.

Безпечнейшыя рашэнні базуюцца на іншым прынцыпе: агент відновляе потычную рэалізацію, платформа вучыцца на аснове багацых рэалізацый, а шар кантролю вяршыць, калі стане продакцыйнай дзеяльнасцю.

Конкрэтны прыклад: агент радзіць коды для нарахоўвання або выкарыстоўвання заробкай. У аднай з рэалізацый ён выбірае некарэктны код, таму што ніколі не запрашваў правілы нарахоўвання заробкай, прызначаныя для конкрэтнага стану. Наўмовіты пацёг вучэння выглядае так:

Agent made mistake
        ↓
Agent reflects
        ↓
"Always retrieve state policy"
        ↓
Write lesson to memory
        ↓
Future agents use lesson

Можа выйсці калькі пры выкарыстоўванні гэтага падходу. Дыягназыс можа быць некорэктным. Правілы можа застаўацца актуальнымі толькі для аднаго тыпу транзакцый зароблайной платы. Пазнейшыя змяны правілаў могу зробіць гэты падход застарэлым. Злонамерныя даныя, якія вводзі корыстувачы, могу спакусіць на неправыя выводы. Кроме таго, гэты падход можа дапамагаць у дзеяных случаях, але нашкодзіць іншым.

Таму лепшы дызайн расследжвае гэты падход як гіпотэзу, а не як істыну.

Production failure
        ↓
Capture evidence
        ↓
Evaluate the run
        ↓
Identify recurring failure
        ↓
Generate lesson candidate
        ↓
Gather supporting and contradicting evidence
        ↓
Validate
        ↓
Canary test
        ↓
Activate

Змена ўсьмохнутая. Агент не перазапісвае ся постаўляй. Платформа, якая яго абслужвае, постаўляй ацэнюе і развівае агента.

Тры паверхі з разнымі правамі

Дапамагае уявіць сабе тры з’еднаныя паверхі.

+------------------------------------------------+
|                RUNTIME PLANE                   |
|                                                |
| plan -> act -> validate -> repair -> respond   |
+-----------------------+------------------------+
                        |
                        v
+------------------------------------------------+
|                LEARNING PLANE                  |
|                                                |
| evaluate -> diagnose -> cluster -> learn       |
+-----------------------+------------------------+
                        |
                        v
+------------------------------------------------+
|                CONTROL PLANE                   |
|                                                |
| test -> approve -> canary -> rollout -> rollback|
+------------------------------------------------+

Кожны план працюе за сваім тэмпам і мае разны ступень автантыя. План выканання працюе за мілісекунды або секунды, і яго ўзелкавая задача — надзеяць наявны запіт надзеяць. План навчання аналізуе многа запускі, які відбываюцца працягом хвілін, гадоў або дзён, і выявляе, што паказваюць зібраныя дадзеныя. План кантролю вяршыць рашэнні, чы рэкамендаваная паліптакцыя ўсталяна дастаткова, каб стаць часткай фінальнага функцыонавання. У платформе адаптывальных агентаў мало якія выборы дызайну маюць большое значэнне, чым раздзелэнне гэтых трох планаў.

1. Самовылечэнне пад час выканання

Пачнім з негайнай проблемы: запуск інструмента збіваецца. Супэльнае рашэнне — проста прабавіць зноў.

Tool failed
   ↓
Retry
   ↓
Retry
   ↓
Retry

Адзін раз прабаваць знову не ўлічваецца як самастойна падтрымка. Для падтрымкі неабходна інформацыя пра тое, што не запрацавало, і выбор прыдатнай стратэгіі вяснавання. Болей эфектыўны працэс LangGraph бліжэй да гэтага:

User Request
     |
     v
Clarification Gate
     |
     v
Retrieve Context
     |
     v
Plan
     |
     v
Proposed Action
     |
     v
Action Guard
     |
     v
Execute Tool
     |
     v
Sanitize Tool Result
     |
     v
Validate Tool Result
     |
     v
Reason
     |
     v
Validate Answer
     |
     +------ uncertain ------> Critic
     |                           |
     |                           v
     |                      Policy Router
     |                     /    |    |    \
     |                  PASS REPAIR HUMAN FAIL
     |                           |
     +---------------------------+
     |
     v
Response

Калькюле ў тым графіку ёсць калькюле, якія заслуговаюць на адказ.

Параболіцавацыя пры выкананні дзеяння

Уявіце агента, які можа выканаць дзеяння, якія маюць параболічныя наследкі: апдэйтаваць даныя працавніка, стварыць выкарыстоўванне з заробкай, адправіць транзакцыю, зменіць аблікаванне чы ўпавядоміць. Перагляд рэзультата пасля таго, як дзеяння выканана, ўжо запаздзела. Архітэктура патрабуе захоўніка дзеяння пры любых значных змянэннях. Захоўнік ацэнюе правыя на выкананне дзеяння, бізнес-правіла, наявныя доказы, чы можна гэта дзеяння анулюваць, рызык і чы каму-небудзь трэба даў разрэшэння. Толькі пасля гэтага інструмент можа працаваць.

Гэта перакашталевае параболіцавацыю. Пытанне больш не ў тым, "чы дзеяння было правым?", а ў тым, што ўжо безпечней — "чы у нас ёсць достатнькі доказы і правыя, каб разрэшыць гэта?"

Рэзультаты работы інструмента таксама не ўзлежыць

Ішчырэ адзін рызык застаецца нез’важаным. Агенты чытаюць контэнт з веб-сайтаў, дакументаў, API, пошуковых сістэм, баз дадзенаў і іншых агентаў, і гэты матэрыял прабіваецца ў кантэкст LLM. Таму рэзультаты інструментаў являюцца ўсьмо што ўжо адной з дарог для введэння прамптаў, таму пасля выканання інструмента і перад выконаннем логічных расчынэнняў неабходна выкарыстоўваць дэтэрміністычны санітар пры рэзультатах інструментаў.

External Tool
     |
     v
Tool Result
     |
     v
Sanitizer
     |
     v
Validator
     |
     v
LLM

Тыповыя задачы санітайзера включаюць контроль тыпу і дужыны выходных даных, адхоўкі структураў з некорэктным фарматам, экрэптаванне тэксту, які можа выглядаць як інструкцыі, а таксама выявленне верагодных спроб втрымкі. Адна з строгіх адмежаванняў: не разрэшаецца выкарыстоўваць LLM для перагляду тэксту, які можа быць агрэсыўным.

Раздзеляйце верыфікатора ад крытыка

Паўзучы патэрн — запытваць LLM "Чы гэта правільнае адпаведзенне?" па кожнай запытцы. Гэта прыносіць затрымкі і додатковыя вітраты, а таксама надае модэлю занадта вялікія правыя. Спачатку павінна выконвацца дэтэрміністычная верыфікацыя, напрыклад:

Schema correct?
Required fields present?
Allowed value?
Business invariant satisfied?
Evidence exists?
Policy satisfied?
Known contradiction detected?

Калі програма можа падкрасавіцьці, што адказ праслухаецца некароткі, няма прычыны запытаць іншы модэль. Толькі сапраўдная сэмантычная неяснасць дасягае крытыка, і нават тады крытык не керуе процэсам работы. Яго ролю — дыягназ, у такім родзе:

{
  "correctness": 0.61,
  "groundedness": 0.92,
  "uncertainty": 0.73,
  "defects": [
    "missing_authoritative_evidence"
  ]
}

Пасэўнік з дэтэрміністычным правілам пасля таго выбірае аднаго з чатырох варыянтавых рэзультатаў:

PASS
REPAIR
HUMAN REVIEW
SAFE FAIL

Разлік чысты: LLM падаее доказы і адгук, тады як адпраўка программнага забезпечэння мае аўтарытэт.

Рэмонт павінен змяніць стратэгію

Перапрыбутак мае значэнне толькі тады, калі ўсё зменілася. Возьмімо агента, які гэта рабіць:

Search policy
    ↓
Generate recommendation
    ↓
Fail validation

Калі рэмонт павтараець наведзеную выкладку з тым самым запытам, тым самым доказам і тым самым падходам да аналізу, то гэта не ўскрыцце. Гэта проста павтарэнне.

Search policy
    ↓
Generate recommendation

Надзеяны агент стараецца старацца за калькамі падазора.

failure signature
strategy fingerprint
attempt ID
repair strategy
remaining budget
quality delta

Тады прыменяецца простая правіла.

same failure
+
same strategy
+
same evidence
=
do not retry

Калі тая ж проблема з’являецца з той жа стратэгіяй вдруго, агент павінен змяніць стратэгію, перадаць задачу чалавеку або безпечна прыняць невыкарыстоўванне. Просты retry_count не можа цэга зробіць, таму для самовылечэння ў працэйнай асяроддзі патрэбны бюджэты на рэмонт. Яны могу обмежыць колькасць вызоў LLM, вызоў інструментаў, прыметкаваны час, выдаткі і спробы семантычнага рэмонту. Мета не ў тым, каб продавацься да таго часу, пакуль ўсё не запрацюе; мета — выкарыстоўваць абмежаны калікатэт рэсурсаў на стратэгіі вяснавання, якія дзейсна разныя.

Пераканацца, што рэмонт дапамог

Разныя спробы можаць застацца безрэзультатнымі. Напрыклад, адмаценнік оцінюе пачатковы рэзультат:

quality score = 0.54

Пасля першага рэмантавання:

quality score = 0.55

Пасля другога:

quality score = 0.56

На паперы гэта ўлучшэнне, а на практыцы — стагнацыя. Рэмонтны дзвяр гэтага тыпу яе практычна усуне.

delta = score_after_repair - score_before_repair

Калі кожны з рэмонтаванняў даўа незначныя практычныя рынкі, падача рэсурсоў стоіць.

small delta
+
small delta
=
human review or safe failure

Гэта захоўвае ад аднаго з найпашыльнейшых бягаў агента — дорогага цыклу разумовых вырахункаў, які выглядае актыўным, але фактычна не дае жадных рэзультатаў.

Перагляд чалавекам ёсць выбор спосабу обработкі

Перагляд чалавекам не павінен лічыцца як бяг. Для дзеяных задач гэта проста правыя заканчыцкія рашэнні. А „перагляд чалавекам“ паводзіць да кількох разных рэзультатаў.

Human
                   |
       +-----------+-----------+
       |           |           |
    Approve       Edit       Reject
       |           |           |
     Continue    Validate    Safe Fail

              Request Repair
                    |
                    v
                  Repair

Кожны рэзультат развіваецца по-разнаму, таму кожны з ягоў павінен быць явна прадстаўлены ў графе. Модэль перарыву і продажвачэння работы LangGraph чырпаецься для гэтага, адколі рабочы працэс можа быць зупінены, а пасля — продажвачаны, калі рэвізор даа адказ.

2. Навчанне на адоўжэнні на аднойчынных запусках

Механізм відновлення пад час выканання адпавядае на пытанне, як вярнуць гэты запіт. Навчанне на адоўжэнні спрашвае, што гэты запіт можа сказаць нам пра будучыя запыты. Яго зазвычай выканання ў фоне. Калі агент даа адказ:

run_completed
      |
      v
Evaluation worker
      |
      v
Gather feedback
      |
      v
Reflection
      |
      v
Candidate lesson

Нікому не трэба чакаць, пакуль адзін LLM разважае над тым, што мог ўжо выучыць другі LLM. Затрымка застаецца нізкай, а адлінная ацэнка можа быць набагато багатшай.

Адзінакі не ўсега правдзівы

Сігналы прыходзяць з разных краноў. Пользоватэль натыкае кнопку «не падабаецца». Эксперт у паводзе рэшэння. API адхіляе транзакцыю. Аўдыт са адпаведнасцю выявляе адказ два тыдзены пазней. Гэтыя сітуацыі не ўсе роўназначныя. Разглянем першыя пары прыкладаў, калі роўназначнасць няма:

thumbs up != correct

thumbs down != incorrectuser correction != authoritative rule

Таму адказы трэба заставаць у вачыму варыянце як первасны доказ і класаваць па надзеям, прыблізна так:

Authoritative business outcome
          >
Expert human label
          >
Deterministic rule
          >
Calibrated evaluator
          >
User feedback
          >
Agent self-confidence

Гэта не дазволяе спрытківым адчуванням плутацца з абсалютной правдой.

Дзеяныя падтрымкі часта прыходзяць пазней

Агенты часта запускаюць працэсы, успех якіх немагчыма пазначыць ведаючы.

Agent recommends payroll code
        |
        v
Payroll system accepts
        |
        v
Two weeks later
        |
        v
Audit rejects transaction

Прыгучы сігнал прыходзіць значна пасля таго, як завершыўся запуск LangGraph, што значыць, кожна важлівая рашэнне патрабуе прычынна-наследнай лініі. Неабяжна перадаць run_id у сістэмы, якія працуюць пасля запуску, каб пазнейшыя рэзультаты было можна прыясніць да рашэння, якое іх спрычыніла. У працоўных умовах сістэма навчання можа з’ясавіць, што ў чым-то была памылка, але не можа вярнуцца, каторае рашэнне агента заслуговае на пакрыцця чы скарыданне. Гэта ўсё тая самая класычная проблема прызначэння заслуг.

Памяць патрабуе керавання

Калі агенты навчаюцца праз разныя запускі, памяць стае адночасна моцной і небяспечной. Варта выдзеліць тры класы памяці.

• Памяць профіля храніць прыямоўкі корыстніка чы ентытэта, напрыклад, прагатунек да стыслых адказоў.
• Эпізодычная памяць фіксуе тое, што адбылася, напрыклад, што запуск 182 зазнаў няудачы, таму што не была запрашана палітыка стану.

Працэюючая памяц сахоўвае стратэгію, якая можа быць выкарыстоўвана знову, напрыклад, вырашэнне стану задання пры выборэ коду ў класыфікацыі заробкай, чутлівай да стану.

Працэюючая памяц найбольш вплывае на поведэнне, таму яна заслуговае на найстрогейшы кантроль. Адна неудачная спроба ніколі не должна ствараць правіло працэюючай памяці для працы. Шлях павінен выглядаць прыбліжна так:

Observation
     ↓
Candidate lesson
     ↓
Supporting evidence
     +
Counterexamples
     ↓
Validation
     ↓
Active lesson

Урок лепшае адобразаваць як гіпатэза плюс доказы плюс меры, плюс доверлівасць плюс жыцёвы цыкл, а не як тэкст, які кладзецца ў вектарную памяць.

Засвоеныя даныя не можа пераканаць автарытатныя знанні

Агенты запрашваюць два відзэны інфармацыі. Автарытатныя знанні – гэта правілы, рэгламенты, настройкі, базы дадзэння і догаворныя правіла бізнесу. Засвоеныя знанні – гэта прыямкі, аджытакты, пакульшыя стратэгіі, спазыраннія і урокі. Ооні павінны застацца логічна аддзеленымі, з разумным порадкам прыорытэтавання:

Authoritative policy
        >
Tenant configuration
        >
Approved procedural lesson
        >
Episodic example
        >
User preference
        >
Unverified claim
        >
LLM reflection

У іншым случае урок, які запамятався надзеямо, можа тыха ўзяць верх над фактычной політыкай.

Урокі стаюць застарэлымі

Тое, што было корыстным шэсць месцаў тымчасов, можа стаць некорэктным зараз. Палітыкі, продукты, API, паведанне корыстнікаў і мадэлі постаўляюцься змянамі. Актыўныя урокі выклікаюць патрэбу у калектывнам управлінні ўсім жыцёвым цыклам.

candidate
   ↓
validated
   ↓
active
   ↓
pending revalidation
   ↓
deprecated
   ↓
retired

Даюць кожнам уроку часовую пазнаку параболізаціі, а калі гэта доцеліва — правіла заканчэння тэрміну чысткі чысткі. Змена правіла можа спрычыніць парадзёрную ацэнку всіх урокаў, створаных на адпаведных правілах, такім чынам памяць ператвараецца на кераваныя ведамасці, а не проста на скупку элементаў, якія толькі растуць.

3. Афлайн-рэжым навчання

Наступны слой агрэгуе доказы з многах запускаў у рэальных умовах.

Runs
+
User Feedback
+
Human Reviews
+
Downstream Outcomes
+
Evaluation Scores
        |
        v
Failure Classification
        |
        v
Failure Clustering

Як паказвае адзін тыдзень запускаў, структура выглядае так:

missing state policy        178
wrong tool selected          63
bad tool argument            52
unsupported inference        41
output schema failure        11

Цяпер платформа можа бачыць, якія проблемы ўзгалінневыя. Гэта не тое ж сама, калі прасіць адзіну неудачную агента прымусіць яе разважыць над адной неудачной працай. Сістэма навчання выяўляе патэрны.

Не кожная неудача — гэта проблема з запросам

Інжынерыя запросаў не завжды ёсць рашэннем. Калі агент постаўляе забывае запрашваць автантычную політыку перш чым ўзнікнуць рэкамендацыю, можа дапамогчыць дадаць рэчыцу ў сістэмны запрос, якая прабудзіць у яго памяць. Моцнейшым рашэннем можа быць структурны правіл:

Graph rule:
Policy retrieval must occur before this decision.

Іншыя частыя неудачы можа вымагаць змян у гэтых аспектах:

retrieval
tool schema
validator rule
routing
memory policy
clarification logic
action guard
model configuration

Зрэлы механізм пакрашчэння пропануе калькольныя варыянты парадоксу і не перапісвае яго автаматычна.

Ацэнка стоіць у цэнтры

Калі сістэма можа ствараць пакрашчэнні, але не можа ацэніць, чы рэальна яна крашчая, тады няма ціклу навучэння, толькі ціклу мутацый. Ацэнка ўтварае аднаковасць гэтай архітэктуры.

Correctness
Groundedness
Retrieval relevance
Completeness
Tool selection
Tool arguments
Trajectory efficiency
Repair effectiveness
Safety
Latency
Cost
Business outcome

Ацэнка павінна абараць як заканчоўны адпаведзень, так і шлях, які быў прыняты для яго падбору. Два агентаў могу даць аднаковы адпаведзень. Агент А робіць так:

Agent A
search -> answer

Калі Агент Б выканае гэта:

Agent B
search
-> wrong tool
-> retry
-> timeout
-> second search
-> repair
-> answer

Калі судзіцца толькі за заканчоўным адпаведзеннем, яны ўзаемна эквівалентны. Адлік траекторыі показвае, што яны явна такія не ўсё.

Однаго судды з LLM недастатнь

Калі Gemini пішае адпаведзенне, а іншы Gemini працэсуе йго, гэта корыстна, але ўсё ж існуе рызык корэляцыйных памылак, адколі суддзя можа мятліць тыя ж слабыя месцы, што і генератор. Болей сільны слой адліку ўключае калькі джэрэл.

Deterministic checks
+
Business outcomes
+
Human labels
+
Multiple evaluator rubrics
+
LLM judges

Адміністратары LLM-сістэм таксама час а час зьвяржаюць іх з прыкладамі, пазначанымі людзьмі. Гэта адпавядае на пытанне, насколькі можна даверыць таксатору, прычыму яго рэйтынгі вплываюць на тое, якія урокі будуць прадставлены.

Возможнае спостэрэнне ўскладнюе працэс навучэння

Традыцыяны монітарынг пераканваецца, чы праца сэрвісу ўстаўлена. Аднак адміністрацыя агента таксама павінна з’ясаваць, чаму агент прыняў певную рашынку. Хорашая сэтапавка для працы ў прымэтных умовах фіксуе весь ход выканання LangGraph.

Agent Run
 |
 +-- Retrieve Context
 |
 +-- Planner
 |
 +-- Tool Call
 |
 +-- Tool Result Validator
 |
 +-- Repair
 |
 +-- Critic
 |
 +-- Final Answer

Кожны рэйс таксама павінен маты стабільную ідэнтычнасць, якая з’еднае калькіляванні.

LangGraph execution
MongoDB events
Vertex AI calls
Evaluation results
Human feedback
Downstream outcomes

Гэтыя зв’язкі ўтвараюць базавы матэрыял для ціклу. Возможнасць спостэрэння больш не ёсць толькі аднам з аблігацый падчыслення бяга програмы, а стае часткай сістэмы навчання.

Чаму дапамагаюць толькі заўважэнні пасля выканання

Жадаецца запісаць усю траекторыю выканання ў адны документ MongoDB. Спачатку так і працюе, але пад большымі масштабамі стае проблематычна. Лепшая залішаць документ компактным.

run_id
agent
release
outcome
latency
tool count
repair count
cost

Потым запісваюце выкананне як запісі толькі дадзенняў.

run.started
retrieval.completed
tool.called
validation.failed
repair.started
human_review.requested
run.completed

Гэта парадоксальна прычынна архітэктуру, запобегае значным росту дакументаў, спростоўвае распраўленая трэйсінг і робіць аналіз неудач болей тачным.

Для відтворування рэзультатаў трэба больш, чым проста версія заповедзі

Паведанне агента залежыць не толькі ад яго сістэмнай заповедзі.

model
generation settings
graph version
tool definitions
validator rules
critic rubric
retrieval configuration
memory rules
security rules

Таму кожны выпуск продукцыі павінен выкарыстоўваць незменны выпуск агента. Канцэптуальна:

agent_release_43
    |
    +-- graph v12
    +-- prompt v43
    +-- Gemini configuration
    +-- tools v17
    +-- validator v11
    +-- retrieval config v9
    +-- memory policy v5
    +-- evaluation suite v8

Неудачны рэйс можна пазніей перадараваць. Без гэтага адлучэнне бягаў ператвараецца ў запыт пра тое, якая версія дала адпаведзь, пасля чаго настае мовчанне.

План кантролю: палегчэнні адкрываюць доступ да працы

У канцы канцоў сістэма навучэння выявляе паўтараючыся неудачу і практыкуе палегчэнне. Найгоршы варыянт — адразу яго запусціць. Замест таго прайдзіцеся яго працаваць праз рэгламентаваныя этапы:

Candidate Improvement
        |
        v
Historical Replay
        |
        v
Regression Evaluation
        |
        v
Shadow Production
        |
        v
Canary
        |
        v
Progressive Rollout
        |
        v
Production

На кожным этапе трэба парабялявац кандыдата з ныямі версіяй. Гэта можа падняць правільнасць і знізіць затрымкі, зменшыць галюцінаціі і падняць роль людзяў у рашэнні, або ж дапамагчы аднаму тыпу заданняў, шкодзячы іншам. Таму для прыняцця рашэння патрэбны розныя захоўнікі.

Для урокаў таксама патрэбны «канарэйскія птахі»

У дзейнасці давялога памяці ёсць цікавы наследак. Калі новы процедурны урок актываціруецца і вводзіцца ў кантэкст будучых агентаў, іхяя поведзенне змініцца, таму введэнне урока фактычна ўзначае зміну падказкі. Актывацыю трэба спрыявац як эксперымент, а не негайна яе застосавац у кожнай падходзячай сітуацыі.

Historical replay
     ↓
5% canary
     ↓
Measure outcome
     ↓
25%
     ↓
Measure
     ↓
100%

Калі урок пагародзіць выконанні, верніцеся да пярэдней версіі. Тады памяць перастае быць таёмным адаптываючым механізам і стае меравальным элементам программнага продукту.

Апошная архітэктура

У сукупнасці платформа адаптываючага агента выглядае прыблізна так:

USER
                          |
                          v
+------------------------------------------------------+
|                    RUNTIME                           |
|                                                      |
| clarify -> retrieve -> plan -> action guard          |
|                            |                         |
|                            v                         |
|                           tool                       |
|                            |                         |
|                       sanitize                       |
|                            |                         |
|                      validate                        |
|                            |                         |
|                         reason                       |
|                            |                         |
|                    answer validate                   |
|                            |                         |
|                   critic if needed                   |
|                            |                         |
|                    policy router                     |
|                 /       |       \                    |
|              repair   human     pass                 |
+--------------------------+---------------------------+
                           |
                      agent events
                           |
                           v
+------------------------------------------------------+
|                    LEARNING                          |
|                                                      |
| traces + feedback + outcomes                         |
|            |                                         |
|            v                                         |
|         evaluate                                     |
|            |                                         |
|     classify failures                                |
|            |                                         |
|         cluster                                      |
|        /       \                                     |
|    lessons    improvement candidates                 |
+--------+----------------------+----------------------+
         |                      |
         v                      v
+------------------------------------------------------+
|                    CONTROL                           |
|                                                      |
| validate -> replay -> shadow -> canary -> rollout    |
|                                |                     |
|                              monitor                 |
|                                |                     |
|                             rollback                 |
+------------------------------------------------------+

Грані адміністрацыі ўмышлена чыстыя. Агент часу выканання лагодзіць працэс выканання. Сістэма навчання стварае гіпотэзы. План кантролю выбірае, што будзе лічыцца надзеяным паведаннем.

Перэскарыстоўванне панямы „самапраўяльвання“

Калі чуець „агент, які самапраўяльваецца“, багато людзей уявляюць ШЫ, які перапісвае свой сабець сістэмы або апдэйтуецца пасля кожнага чату. Для прыменных сістэм гэта неправільная ментальная мадэль. Крашчая — гэта цыкл:

Observe
   ↓
Measure
   ↓
Diagnose
   ↓
Propose
   ↓
Test
   ↓
Promote
   ↓
Monitor

Інтэлігэнція тут не абмежваецца толькі LLM. Разныя часткі сістэмы яе несу:

• Граф LangGraph выбірае парадак выканання.
• Валідаторы звычайнага коду выкананні правіл, якія ужо вядомы.
• LLM распрацоўвае все, што ўскладненая.
• MongoDB зберагае стан і накопаны дазнаўчы досвід.
• Сістэма трэйсінгу скупляе доказы.
• Атласавальнікі оцінююць якасць.
• Людзі прыменяюць рашэнні, калі рызык вялікі, а адказ неясны.
• План кантролю керуе будзь-якімі змянамі ў працэсе.

Такое распадзелленне ператварае агента на адаптываецца сістэму агентаў.

Разумны парадак стварэння

Нікому не трэба ствараць весь цыкл за адну раз. Эфектыўная сэрыя крокаў пачынаецца з надзеянага выканання і фіксацыі падрыхтоў кожнага запуску. Да гэтага дадаюцца захаванні аперацый, перакананне рэзультатаў і адказаў, меры па выправленню проблем і людская пераглядка. Далей следуе меры якосці: фіксацыя падрыхтоў, ацэнка і класыфікацыя неудач, а таксама набор дадзеных для выявлення рэгрэсіі. Апыт навчання прыходзіць толькі тады, калі якосць можна з абавесцю змерыць, і тады прыходзяць кандыдаты на урокі, адмежаваная памяць, аграгацыя доказаў, кантроль за старэннем і затрыманыя адказы. Контролюемая палёгчэнне ўжо ў пасляпэльнай стадзіі, з кластэруванням неудач, генераваннем кандыдатаў, ацэнкай паўтарных запускаў, «ценавым» трафікам і постаўкай новых версій паэтапна.

Парадак мае значэнне:

Reliability
   ↓
Observability
   ↓
Evaluation
   ↓
Learning
   ↓
Controlled adaptation

Прыжак даўжынай да „саманавучэння“ пры ўсё ўсё няэфектывае ацэнка зазвычай прыносіць сістэму, якая зміняецца быстрэй, чым інжынеры можаць за гэтым стаць.

Цель

Ніхто не павінен ставіць сабе за мету стварэння агента, які сам сабе рэдагуе. Крашчай метай ёсць платформа, якая можа паказаць, калі агент павінен змяніцца. Толькі запам’ятовванне пакульніх размов недастатнья, каб цыкл заслужыў доверлівасць. Ёму патрэбна дысцыплінованая ланцоўка між гэтымі стадыямі:

production behavior
        ↓
evidence
        ↓
evaluation
        ↓
learning
        ↓
experimentation
        ↓
controlled production change

Гэты ланцуг — гэта тое, на чым стоіць сістэма адаптываючыхся агентаў, якія керуюцца доказамі, і гэта сама архітэктура, якая патрэбна агентным AI, калі яны хочу перайсці ад простых дэманстрацый да надзеянага прыёмнага програмнага забезпечэння.