Мадэль сталасці агентаў: чалавек у цыкле, інжынерыя абвязкі і аркестрацыя
Пяць узроўняў сталасці агентаў, правераных у прадакшне: нагляд з чалавекам у цыкле, інжынерыя абвязкі, шматагентная аркестрацыя і праблемы, якія яшчэ не вырашаны.
Крыніцы: Agentic Architectures — Article 15: The Maturity Model Revisited
Модэль развіцці агента лёгкая для стварэння, але складная для практычнага вікорыстоўвання. На паперы ён выглядае чыста: лесвіца, якая пачынаецца з простых інструментаў для вызова і заканчваецца самапраўляючыміся сістэмамі вырабніцтва. Фрэймворкі завжды выглядаюць апранутыя, пакуль хтось не практыкуе іх пад навантажэнням. Калі за ўсім гэтым стае рэальны код, той самы модэль выглядае інакш. Ён не быў некорэктным, але знанне чагось у тэорыі і знанне таго ж у практыцы — гэта розныя віды знанняў. Карта не можа сказаць вам, як выглядае дорога о трох гадзінах ночы, калі автавыключач не заўсёды выключаецца, а вы знаходзіцеся пад прымусовым чэргаваннем.
Эта частка — анаіз таго модэлю пасля таго, як былы створэны ўсі яго складовыя: як розныя рэвэлі збягаюцца з інжынернымі робатамі, якія перакананні не перазсталі пасля працы ў працэсе вырабоцтва, як выглядае архітэктура на адной структуры, і што застаецца нерашаным. Код у гэтым разе мінімален. Мета — адступіць на адступ і паглядзець на весь комплекс.
Пяць рэвэлів, кожны з якіх стоіць на празьнікі аднаго з іншых
Модэль зрэласці опісвае пяць рэвэліў спроможнасці агента. Кожны рэвэл ёсць не проста адоўжаная версія празьнікі аднаго з іншых, адтак я он таксама залежыць ад усьго, што знаходзіцца пад ёю. Нельга прыпускаць параграфы. Агент не можа быць надзеяным самастоятэльным без інфраструктуры для ацэнкі, а таксама не можа павышаць свою эфектыўнасць без памяці. Рэвэлі ўзаімна паўтараюцца.
Цікавае, як інжынерныя тэмы паспраўды падходзяць да гэтых рэвэліў:
+---------+---------------------+------------------------------------------+
| Level | Capability | Articles That Build It |
+---------+---------------------+------------------------------------------+
| Level 1 | Reactive | Article 4: Protocols (MCP, A2A) |
| | Responds to inputs, | Basic tool use, standard interfaces |
| | calls tools | |
+---------+---------------------+------------------------------------------+
| Level 2 | Assisted | Article 5: Harness Engineering |
| | Shaped behavior, | Article 13: Human-in-the-Loop |
| | human oversight | |
+---------+---------------------+------------------------------------------+
| Level 3 | Supervised | Article 6: Multi-Agent Orchestration |
| | Coordinated, | Article 8: Evaluation Pipelines |
| | evaluated, secured | Article 9: Security and Red-Teaming |
+---------+---------------------+------------------------------------------+
| Level 4 | Autonomous | Article 7: Memory Architectures |
| | Operates | Article 10: Cost Optimization |
| | independently at | Article 11: Deployment Patterns |
| | scale | Article 14: Goal-Directed Loops |
+---------+---------------------+------------------------------------------+
| Level 5 | Self-Improving | Articles 7 + 8 combined |
| | Learns from its own | Article 12: The frontier (not yet here) |
| | operation | |
+---------+---------------------+------------------------------------------+
Форма мае большэйшае значэнне, чым спосаб прысвячэння. 5-й рэвэль – самапрацоўка – не мае спецыяльнага складовага, таму што гэта не тое, што можна стварыць безпосерэдна. Ён выклікаецца, калі памяць і ацэнка працуюць разам, але нават тады гэта падзея ўсё ўсё не ўжо ў повнай меры рэалізавана. Верхня частка модэлю застаецца часткова амбіцыйнаю. Самапрацоўку сёньня можна толькі апрыксімацыйна рэалізаваць, але не ў повнай меры.
Гэта не было явным, калі модэль была спачатку накрэслена. 5-й рэвэль выглядаў як пункт прыбыцці, да якога можна дасягнуць, склеўшы правыя элементы. На практыцы ён більш садзіцца на адлёгласці, якая зменшваецца ў меру набліжэння да яго.
Упэўненні, якія былі скорэгаваны практыкай, ад удзеле чалавека да оркестрацыі
Гэта і частка, якую дакумент фрэймворку ніколі не можа зафіксаваць, таму што яна вынікае толькі праз практычную рэалізацыю. Некалькі пачатковых прыпускаванняя выявіліся некорэктнымі або прынеймна непূরнымі.
Памяц была сільна недаўаная значэння. У першым эскізе памяц была проста адзінам з элементаў, якія дапамагалі агентам чувацца болей цэлесообразна. Але ўсвядомленне таго, што памяц ёсць інфраструктурой, з усімі яе аспектамі — дыяграмамі структуры, якасцю выкарыстоўвання дадзеных, правіламі ўтраты інформацыі і ізоляцыяй элементаў — паказало ўсю ўжоўную значэння памяці. Пасля гэтага прыйшла ўсё бол непрыемная наўчанне: нават інфраструктура, якую мы ведаем, як ствараць, не ёсць абсалютна правым абстракцыям. Команды выкарыстоўваюць базы дадзеных, створаныя для іншых цэлей, таму што не існуе спецыяльна розробленых рашэнняў. Памяц была тым элементам, які быў найбольш недаўаная значэння ў первінным модэлі.
Мэтл — гэта прыгледнасць, а автанамія ўсё ж другарэгульна. Гэта самая значныя змяна. Спачатку прыглед назірвалі па тым, сколькі агент могаў выконваць без чалавека, таму кожны элемент незалежнасці выглядаў як прырост. Аднак агент, які дзеяе сам, але непрыгледна, проста раней заводзі шкоду. Адказнасць пад наглядам апынулася важлівейшай за чыстую незалежнасць у кожным серйозным застосоўванні. Адным з прыкладаў неудачы быў агент, які автанамічна ствараў дзесяткі дублікатных заявак. Сістэмам працы патрэбна правільная меры автанаміі: абмежаная, падлежачая аўдыту і прыгледная, пры чым людзі бяруць на сябе рашэнні, каштоце якія заслугвалі на ўвагу чалавека. Аднам з чытачаў калісьці было, што оркестрацыя павінна ставіць мэтл на прыгледнасць, а не на автанамію, і ўзняць гэты тварджэння пашло дужа дзяўга.
Безпека — гэта атрыбут кожнага слоя. Пачатковы план расслядзваў безпеку як тэму, якая стоіць пад канец, што-то, што дадаўця ўстановілі пасля таго, як сістэма запрацавала. Введэнне спрамнага коду выправляе гэта. Яго меты знаходзяцца іншыя: месца, дзе запускаюцца інструменты, маршрут, па якому запісваюцца даны, спосаб перасмотру целей і трафік между агентамі. Кожны компонент мае аспект безпекі. Автэнтыкацыя на межы інструментаў, ізоляцыя ў памяці і кантроль перасмотру целей — усё гэта ёсць часткай безпекі, якая распрастраняецца па всій сістэме, а не знаходзіцца ў аднай локальнасці.
Цікл мае вышэйшую прыорытэт над запросам. Шырокія нарады пра гэты тэму былі ў канцы, і яны былі б болей корыстныя ў пачатку. Большая частка зусілляў у гэтай галіні спрамованая на стварэнне эфектываў запросаў і пошук ідэальных фраз. Але агент — гэта не запрос. Гэта цікл, які дасягае меты праз многа крокі, і ідэальны запрос у некорэктным цікле дае вам краснавёскага агента, які ніколі не дасягне меты. Калі вы будзеце думаць у тэрмінах ціклаў, багатыя проблэмы, якія здаваліся лімітамі модэля, на самай працэ выклікаюцца неудачамі ў дызайне ціклаў.
Нявісна удзел чалавека не ўскладненне, якое можна адмахнуцца праз тэхнічныя рашэнні. Людзям хочацца думаць, што удзел чалавека — гэта тымчасовая альтэрнатыва, якую трэба адмахнуцца, калі тэхналогія будзе адкрытае. Найлепшыя сістэмы для віробніцтва — гэта не тыя, якія ўсё больш автонамныя. Яны выкорыстоўваюць чалавечыя рашэнні самэль там, дзе гэта неабходна, і нідзе іншае. Чалавечы нагляд — гэта не этап, які трэба перайсці; гэта свядомая, стойкая частка кожной сістэмы, чыяя памылкі маюць рэальныя наследкі.
Вся структура ў аднам зображэнні
Якш толькі з’едыніць усё вышэсказанае, то готовая автонамная сістэма выглядае так:
+==========================================================================+
| HUMAN OVERSIGHT LAYER |
| Approval gates, escalation, audit trail (Article 13) |
+==========================================================================+
| | |
+==========================================================================+
| GOAL & LOOP LAYER |
| ReAct / Plan-Execute / Reflexion, goal revision (Article 14) |
+==========================================================================+
| | |
+==========================================================================+
| ORCHESTRATION LAYER |
| Supervisor-worker, pipeline, fan-out, debate (Article 6) |
+==========================================================================+
| | |
+==========================================================================+
| HARNESS LAYER |
| Self-verification, loop detection, reasoning routing (Article 5) |
+==========================================================================+
| | |
+--------------------------------------------------------------------------+
| MODEL LAYER |
| AWS Bedrock: Claude 3.7 / 3.5 / Haiku |
+--------------------------------------------------------------------------+
CROSS-CUTTING CONCERNS (touch every layer above):
+----------------+ +----------------+ +----------------+ +----------------+
| MEMORY | | EVALUATION | | SECURITY | | COST |
| Article 7 | | Article 8 | | Article 9 | | Article 10 |
| episodic, | | offline+online | | injection def, | | model routing, |
| semantic, | | LLM judge, | | guardrails, | | caching, |
| procedural | | regression | | red-teaming | | batch, budget |
+----------------+ +----------------+ +----------------+ +----------------+
+--------------------------------------------------------------------------+
| DEPLOYMENT LAYER (Article 11) |
| Blue-green, canary, state migration, model pinning, IaC |
+--------------------------------------------------------------------------+
Вертыкальныя шары складаюцься ў шлях запыту. Задача прабіваецца праз чалавечы нагляд, формуецца пад вплывам целей і цыклаў, коордынуецца між рознымі агентамі, доўнеліваецца за дапамогою спецыяльных інструментаў і нарэшце выканана протыяўносна модэлю. Проблемы, якія стосуюцца всей структуры, паўтараюцца ў кожным шары. Памяць забезпечвае як цыклы, так і інструменты для ўдосконалення. Безпека заходзіць межы інструментаў і практыкі перазначэння целей. Косцты кантролююць выбір шляху для модэлю на кожным кроку. Развертванне аб’еднвае ўсе эты элементы.
Пагляд па шарах скрывае тое, насколькі ўжоўж з’еднаныя ўсі эты элементы. Змена ў однам шары вплывае на іншыя. Нельга оптымізаваць косцты, не разумеючы прыроду цыклаў, адтуды ўскладненыя запыты часта ёсць наследкам цыклаў, якія не завершаюцца. Для забезпечэння безпекі таксама неабходна розумець прыроду памяці, адтуды спалучаныя даны могу продаваць проблемы ўпроцэсе ўжоўж пасля таго, як былі запісаны. Спрыяйце шарам як аднаму цэлыму, а не як незалежным модулям.
Што ніхто ўсё ўтолькі не рашыў
Гэты раздзіл можа быць найболей корыстным, адколі ўсё, што напісана вышэй, опісвае тое, што можна стварыць, а гэты раздзіл — тое, што пакуль не можна. Чыстыя даныя пра межы ўжо цэнююцца вышэ, чым выглядзячыя дакладна.
Памяць, прыроднае для агента, не існуе. Сучасная памяць складаецца з баз дадзенаў і сховішчаў вектараў, створаных для іншых цэлей. Настоямы сістэмы, прыродныя для агента, якія ведаюць час, выкарыстоўваюць асоціяцыі для пошуку, навольна забываюць і дазваляюць агенту самаму выбіраць, што запісваць, за дзеякімі падрахункамі, яшчэ застаюцца на вялікія гады пахадамі. Тое, што існуе, працуе. Але гэта не тое, што трэба.
Агенты не можаць надзеязна ведаць, калі ўжываецца іхня інформацыя. Гэта ўжо глыбэйшая форма проблемы застарэлай памяці. Агент можа знайсці стосоўную процедуру і з аднойчыннем прыменіць яе да справы, дзе яна не падходзіць, таму што важка адзначыць, дзе інформацыя перастае быць актуальной, а ўсё цяжэй яе пераканаць, калі якаясь інформацыя была знайдзена. Процедура, якая працуе ў аднай сферы, можа быць неправяма прыменена ў іншай, і ні агент, ні, часта, корыстувальнік гэтага не зазначаюць. Гэта фундаментальная лімітацыя, а не проста тэхнічныя недагадкі.
Самаацэнка ўсё ж не надзеяна. Логіка эскаліяцыі і расчытка рэгулярнасці паверыння абоўсюды залежаць ад таго, чы робат можа правільна ацэніць свою сабеўпевенасць. Іноды ёму гэта вдаёцца, а іноды ён памыляецца, пры тым выглядаючы упэўненым, што ёсць найбольш шкодзячы варыянт, адтыму што гэта парадуўвае ўсе захаванні, якія залежаць ад таго, каб робат усвядомляў сваія меры. Яшчэ не існуе надзеянага спосабу для калібраванай самаацэнкі.
Інструменты не пераносяцца між мадэлямі. Кожны інструмент налаштаваны пад паведанне конкрэтнай модэлі. Як толькі змінюецца модэль, неабходна занова налаштаваць запросы, прагрызы дэтэкціі цыклаў і крэтырыя верыфікацыі. У прынцыпе гэта не павінна быць так, але ніхто не створыў абстракцыю інструментаў, якая бы застаўалася працэснаю пасля зміны модэлі без налаштавання. Апградацыя модэлі застаецца праектам, а не змінай конфігурацыі.
Не існуе справжняя непаўзліва навчанне. Процедурная памяць апрыксавае навчанне: успешныя падходы зберагаюцца і перывыканы. Аднак вагі не змінююцца, а агент не розвівае новых спроможнасцей за дапамою дазвічын. Ён стварае бібліятэку пакульшых рашэнняў і берае з яе. Агент, які справжнім чынам павышае своі навыкі ў певнай групе задач за дапамою дазвічын, — гэта тое, чаго сучасныя прыемныя сістэмы паразіць не можуць.
Косцты ў межовых сітуацыях ёсць непрагнозаванымі. Існуюць інструменты для калектавання косцтоў, і яны працуюць, але края распаду застаюцца складнымі для керавання. Невялікая частка запускаў, тыя, якія патрапляюць у паталагічныя цыклы або незвычныя крайнія кейсы, яшчэ і так спрацоўваюць неравнасородныя рэсурсы спосабамі, якія важка прагназаваць. Можна обмежыць гэтыя вітраты, хоць іх не завжды можна прагназаваць.
Нічыя з гэтых прычын не ўскладнюе працу. Гэтая — межы чыннага «карты», і самэўпытанне ў тым, дзе яны знаходзяцца, і ўскладнюе працу інжынераў чым простае маранне.
З чаго пачаць: ад інжынерыі да оркестрацыі агентаў
Калі вы ствараеце сістэму агентаў, не трэба спрыятаць гэтыя элементы як параду практык. Яны групаваны па концэпцыях, а не па парадку стварэння. Якшто будаваце ў такім парадку, вы стварыце «памяць» раней, чым у вас будзе спосаб ей выкарыстоўваць, і ацэнку раней, чым будзе чаго ацэніць.
Пачніце з таго, на якім ўзроўні зроўнасці знаходзіцца ваша сістэма.
- Агент, які выкананне базовых задач і ў якога няма надзеі на надзею, трэба спачатку адладзіць за дапамогою інжынерыі, бо самэ ў гэтым аспекце часта ляжыць прычына большасці проблем з надзеяй.
- Стабільны агент, які вяршыць сваі можлівасці, гатовы да оркестрацыі калькольніка агентаў.
Інструменты можна заменіць, а ідэі — ні.
Прыклады, якія былі выкорыстаны пад час гэтага адгаворкі, створаны на базе AWS Bedrock, LangGraph і LangChain. Гэта былі практычныя выборы, здзейснены таму, што гэтыя тэхналогіі вжываліся ў практыцы, і гэтыя не ўсе едынственныя правільныя варыянты. Большая частка таго, што мае значэнне, не зв’язана з імі. Автэнтыкацыя павінна выконваліцца на рубежы інструмента ў будзь-якій хмарнай сэрвісе. У будзь-яй парадыгме цікавейшым ёсць цыкл, чым сам прыказ. Разныя рэвэры меморыі, шаблоны коордынаціі калькі агентаў, катэгорыі атак і матрыцы можлівасцяў адваротнага перадзеявання ў залежнасці ад віткоў для людзкага нагляду можна перанесці ў іншыя тэхналогічныя комплексы.
Гэта таксама прычына, чаму вартаяе наявнасць локальной альтэрнатывы з Ollama і Docker. Яна дазволяе запускаць такія шаблоны без неабяжлівых расходаў на хмару, а таксама паказвае, што концэпцыі можна аддзельваць ад ўжытку. Калі архітэктура памяці працуе з локальным модэлем і локальным сховішчам вектараў, то такія рашэнні ўжо з самага пачатку нічога не завяжаныя з Bedrock. Яны фіксуюць асновную проблему, якая выглядае аднакова на будзь-якай платформе. Тое ж сама стосуецца шаблонаў оркестрацыі, адколі замена LangGraph на іншую парадку зменшыць сінтаксіс цыклу, але не способыяў неудач, з якімі яго трэба справляцца; тое ж сама стосуецца інструментаў ацэнкі, якія можна налаштаваць пад будзь-які модэль, які знаходзіцца за ўпорам.
Што было адкрывана, калі гэта запісалі
Чыстае, параднага адказванне тэмы чалавеку, які не быў пры тым, калі вы яе выучылі, апавядомляе пра прасоці ў вашым сабе разуменні. Большасць тэм здаюцца вам абыяковымі лявае тады, калі вы прабуеце іх запісаць.
Чыстая рэальнае становішча галузі — гэта ў адночас і захоплена, і незрэлая сфера. Сэргодні ёсць можлівасці, якіх не было два гады тыму, і лёгка заблукаць, таму што впевненыя выказванні здаюцца болей спроможнымі, чым ёсць на самай працэ. Разлік межа агентам, якія добра дэманструюць своія можлівасці, і тымі, якія надзеяна працуюць у рэальных умовах, ёсць вельмі вялікі, і большасць складных інжынерных задач знаходзіцца самэль у гэтым разліку.
Калі ўсё-такі ёсць адна паведамленне, якое варта перадаць занова, то гэта тое, што цікавая праца не робіць агентаў моцнейшымі. Мадэлі ужо ёсць моцнымі і продовжаюць прагрэсаваць за графікам, які вы не кантролюеце. Цікавая праца — гэта стварэнне надзеяных, прыемлівых, безпечных і достатнько доступных за цэнай моцных модэляў, якім можна даваць доверлівасць у рэальных рашэннях. Гэта інжынерыя, а не магія: канструкцыі, цыклы, памяць, ацэнка і вся тая непрываблівая інфраструктура, якая ператварае здатную модэль у тое, на што можна раслыявацца.
Інтэлект запозічваецца з модэля. Архітэктуру трэба ствараць самостоятэльна.
Спадневаная літэратура
- Практычныя прытамакі: Агентныя архітэктуры, Артыкул 12: Чы гатовы мы да гэтага: Дэталізаваныя інструкцыі па вікорыстоўванні Практычных прытамакоў: Агентныя архітэктуры, Артыкул 12: Чы гатовы мы да гэтага: контракты, перакананні і шаблоны коду для команд, якія впрыменяюць гэты патэрн.
- Участка чалавека ў працы AI-агентаў: Брамкі затверджэння, эскаліяцыя, логі аўдыту: Калі агенту патрэбна затверджэння чалавека, чатыры патэрны (брамкі, эскаліяцыя, саўместныя праверкі, выбіранне прыкладоў), можлівасць паўзы і продажы працы з адной Лангграф, тайма-ауты, логі аўдыту і распашчыцы.