Адзінктуванне паведамлення агента: рэзультаты, траекторыі і адказы пра вырабоцанне
Як ацэнаваць системы-агенты не толькі за канечным адказам: супарабяляйце LangChain, LangGraph і LangSmith з ролямі, оцэнюйце траекторыі і контекст, а таксама уключайце проблемы пад час вырабаткі ў процэс ацэнкі.
Крыніцы: Building Better Agentic AI Systems: What I Learned About Deep Agents, LangSmith Engine & Evals
Ёсць можлычна рэалізацыя агента AI для дамавання прыклада за адно пасляобедзе з ужываннем сучасных модэлей і фрэймворкаў. Але складнасці пачынаюцца, калі такі агент працуе ў рэальным продакцые: ён выбірае неправильны інструмент, отрымае меркаваты контэкст, выбірае шлях, якога ніхто не планаваў, або вяртае адпаведзь, якая здаецца правильной, але такой не ёсць. У этай статыцэ рассматрываецца цікл жыцця інжынерных рашэнняў, якія робяць такія системы надзеянымі, з акцэнам на ацэнку: што мерыць, на яком роўні і як ператварыць кожную неудачу ў працэсе на контрольны пункт, які не дазволяе ёй павторыцца. У прыкладах выкарыстоўваецца экасістэма LangChain (LangChain, LangGraph, LangSmith і Deep Agents), але этыя ідэі прыемлімы для будзь-каго стака.
Ад аднаго вызову LLM да агентскай системы
Базовую функцыю LLM лёгка ўявіць: прыходзіць запит, выкананае адна вызова модэлю, і прыходзіць адпаведзь.
User → Prompt → LLM → Response
Агент – это адзінаковая “жывёлка”. Калі ёму даецца мета, ён можа разбіць работу на задачы, запрашваць дакументы, вызываць API, запускаць інструменты, зберагаць стан, перадаваць частку работы іншаму агенту, аналізаваць промежуточныя рэзультаты, восстанавляцца пасля адзінакоў і пасля таго выбіраць свой наступны крок. Апроставаны відблік гэтага прабегу керавання:
USER GOAL
│
▼
AGENT
│
PLAN
│
┌──────────────┼──────────────┐
│ │ │
▼ ▼ ▼
TOOLS MEMORY SUBAGENT
│ │ │
└──────────────┼──────────────┘
│
▼
DECIDE / ACT
│
More work needed?
↙ ↘
YES NO
│ │
└── LOOP ▼
RESULT
Зверніце ўвагу на цикл у нижней часты: агент продовжае выявляць, чы не патрэбна ўсё большая кантэнцыя работы, і кожная ітерацыя можа вплываць на інструменты, память чы сабагентов. У такі момант вы вже не адправляеце адпаведзь модэлю; вы запускаеце систему. Гэта мае значэнне для якосці, таму што заканчоўны адпаведзь ёсць настолькі ж хорашы, насколькі ланцюг рашэнняў, якія яго стварылі. Правильны модэль з пасляднім некоректным запрашоўкам дакументаў, чы хорашы план, выконваны з некоректным інструментам, таксама даюць паслядні некоректны рэзультат.
Прызначэнне ролей: LangChain, LangGraph і LangSmith
Практычны спосаб прыткага разбірання трохце галоўных продуктав LangChain — цэе прыяўязваць кожны з іх да інжынерскага пытання, на якое ён дае адказ.
- LangChain забезпечвае можлівасці, якія стосуюцца самага модэлю: інтеграцыю модэляў, інструменты, адліквідацыю даных і з’ўязакі з зовнішнімі данымі. Яго пытанне: што саме павінна робіць аплікацыя?
- LangGraph керуе оркестрацыяй, калі рабочыя практыкі стаюць агентскімі, з утриманнем стану, умовнымі галузямі, цыкламі, вызывамі інструментаў, крокамі апраўдкі з боку чалавека і коордынацыяй калькі агентаў. Яго пытанне: як павінна выконвацца рабочая практыка?
- LangSmith аналізуе тое, што выходзіць пасля таго, як система запускаецца: якія інструменты былі вызваны, які контэкст бачыў модэль, дзе з’явілася затрымка, який крок не запрацаваў, чаму была прынятае рашэнне і чы рэальна новая версія краща за старую. Яго пытанне: што на самай працоўкі выйшло і чы гэта было добра?
Календарны ўзроўнаваны, гэты процес праходзіць ад бізнес-цялей через неабходныя можыкі та механізмы коордынацыі да рэзультата, які пасля таго адзірваны і ацэнаваны, каб команда могла выучыцца на яму.
BUSINESS GOAL
│
▼
LANGCHAIN
Models • Tools • Data
│
▼
LANGGRAPH
State • Flow • Decisions
│
▼
AGENT SYSTEM
│
▼
RESULT
│
▼
LANGSMITH
Observe • Trace • Eval
│
▼
LEARN
Пасляпэўныя стрэлкі ёсць найважнейшымі. Адзірванне не ёсць канечным станом; яно спрыяе навучэнню. Якщо разлік межа LangChain і LangGraph яшчэ неясны, наша параболіка ланцоў і стацыонарных графаў дакладна яе раскрывае.
Іспытанне агентаў для падборчага пасілкі агентаў: двыжак LangSmith
Аналіз следаў дазволяе точна выявіць, што самэй агент зрабіў, але сам след не можа нічага выправіць. Хтось усё раве должен яго прачытаць, з’ясавіць, што пашло не так, пераканаліцца, чы не спостарэлася тая ж проблема ў іншых месцах, знайсці коранавую прычыну, змяніць систему і паўтарна пераканаліцца, што змяны не пашкодзілі іншых элементаў. Гэта ўпорнае для некалькіх працоў, але безнадзейна для тыяў тысяч следаў з рэальнай працы.
LangSmith Engine — новейшая можлівасць LangSmith на момент напісання — прымае участь у такой аналізе. Ён скануе следы з рэальнай працы на наявнасць павтарюючыхся шаблонаў і проблем, групавае супакоеныя прыбліжнае проблемы, дапамагае ў ўстановленні прычын і пропануе способы паспрабоўкі. Яшчэ важней, проблемы, якія ён выявляе, можна перадаць на адзінаковую перацэю, так што проблема, знайдзена сёгодні, стане предметам явной перацэі завтра. Канцэптуальна цяпочка выглядае так:
PRODUCTION AGENT
│
▼
TRACES
│
▼
LANGSMITH ENGINE
│
▼
Detect Patterns
│
▼
Diagnose Issues
│
▼
Suggest Improvement
│
▼
Add Evals
│
▼
Regression Testing
│
▼
Review / Deploy
│
└────────► Observe Again
Кожны ўзлок практычна суцэльвае проблему: неапранутыя звісткі ператвараюцца на шаблоны, шаблоны — на діагназы, діагназы — на можлівыя способы выправлення, а гэтыя способы пераканальваюцца за дапамою новых аналізаў і тэстаў на регрэсію, прычаму людзі ўжо прадглядаюць і запускаюць іх. Потым цыкл пачынаецца знова з чыстых звістак.
Змена тут каштовае ў спосабе адносу да звістак. Уместо таго, каб іх адкрываць толькі пад час інцидэту, яны стаюць сыр'ём для пастойнага паліпшэння. Самэ так уже працуе розвітаная інжынерыя якасці ў традыцыйным програмнаму забезпечэнні: баг у працоўным режыме не павінен заканчывацца проста патчам, а тэстам, які не дазволяе той самы тип дыфекта зноў непазірна з’явіцца. Аднак аўтаматызаваная діагностика не пазбавляе нас патрэбы ў перагледзе. Пракладаныя способы выправлення параметраў аб дэфініцыях інструментаў можу матыць побачныя эфекты, таму ў цыкле застаюць етапы перагледу і тэстаў на регрэсію.
Глыбокіе агенты для задач далекага горызонту
Дэякі запиты скрываюць вельмі большую кантэнт працы. Вядзем у вярасць запит на разработку якосці такага роду. Калі ёсць новая вялічына продукту, агент должен пераглянуць супаўязаныя дакументы, пазначыць найбольш рызыкаваныя траекторіі работы корыстніка, падготавіць сцэнарыі тестаў для іх, дакладна аналізаваць код, які рэалізуе тыя траекторіі, і запісаць свае вынікі.
Ёжы ўсё гэта агент должен планаваць, чытаць файлы, запрашваць ведамасці, вызываць інструменты, можліва запускаваць код, зберагаць проміжныя вынікі, даваць заведамства спецыялістам і памятаць тое, што ён вучыўся раней. Форма гэтай працы:
Understand Goal
│
▼
Create Plan
│
┌─────────────┼─────────────┐
│ │ │
▼ ▼ ▼
Read Files Use Tools Search Knowledge
│ │ │
└─────────────┼─────────────┘
│
Delegate Work
│
▼
SUBAGENTS
│
▼
Combine Findings
│
▼
RESULT
Deep Agents — это інструмент агентоў з LangChain, прызначаны для такага роду задач далекага горызонту. Ён аб’еднвае планаванне, інструменты, карэткаванне файлаў, калектывнае кераванне контэкстам, навыкі, памяць і падагентоў, таму вам не трэба самім складваць кожны з гэтых элементаў.
Цікава частка не ў тым, што агент можа робіць больш, а ў тым, як структуруецца його автонамія. Даўжынка агенту 20 інструментоў не робіць яго кращым; часта гэта пагаршвае выбір інструментоў. Раздзелэнне кожнага заведамства між пяцьма падагентамі таксама не павышае автаматычна якасць архітектуры, таму што кожная перадача коштае токэнаў і можа прымусіць адказваць на запитанні без контексту. Чым болей спроможныя становяцца будавальні елементы, тым больш значэння маюць рашэнні па ўзгляду на яны. Корыстным стандартам є дадаць падагента толькі тады, калі падзаведамству трэба ізольаваны контекст або іншы набор інструментоў, і трэба заставляць спіс інструментоў кожнага агента якомога меньшым, насколькі дазволяе заведамство.
Кераванне агентамі — гэта аднае пытанне: кераваныя глыбокія агенты
Створэнне спроможнага агента і яго надзеяна робота ў прымэтнай среды — гэта два разныя інжынерныя заведамення. Агент, які працуе дзяўно, можа патрабаваць возможнасці перазжываць перарывы, зберагаць свой стан, працаваць з файламі, безбедна выконваць код, падаць інформацыю пра прагрэс на інтэрфейс корыстніка, зберагаць памяць і выдаваць достатню колькасць тэлеметрыяных даных, каб інжынеры моглі восстанавіць тое, што адбылося.
Managed Deep Agents — гэта паслуга з хоставання ў той жа экосістэме на момент напісання, якая нацелена на гэты оператыўны слой. Связь між цымі двума можна апісаць як поведзенне агента вышэй і інфраструктуру часу выконання пад ёю:
DEEP AGENT
Planning • Tools • Files • Subagents
│
▼
Agent Behavior
│
▼
MANAGED DEEP AGENTS Durable Execution
Persistence
Sandboxes
Memory
Streaming
Identity
Tracing / Evaluation
Агент выклікае сваю дзейнасць за дапамою планавання, інструментаў, файлаў та падагентаў. Слой керавання забезпечвае стойкую екзекуцыю, перазберагованне дадзеных, сэндбоксы, памяць, стрімінг, ідэнтыфікацыю та трэйсінг з можлівасцю адгукнення. Гэты загальны урок застосоўваецца як у разе викорыстання кераванага сервісу, так і ў разе роботы з власным рашэнням: інтелігенцыя модэля ёсць адной з складовых архітектуры AI для прыменення, а інфраструктура, якая яе падтрымлівае, заслуговае на такое ж значэнне. Наша параболіка runtime harnesses і composed frameworks розглядае прынцыпы выбору між самастоятельным стварэнням та викорыстаннем гатовых рашэнняў.
Чаму агенты наражаюць традыцыйныя методы тэставання
Традыцыйныя методы тэставання базуюцца на детермінізме. Да функцыі падае вядомы вхід, атрымліваецца выхід, які пасля таго пераканальваецца.
Input → Function → Output → Assertion
Калічыце API з фіксаваным запитам, і вы зможаце пераканаліцца ў коды статусу, схеме адпаведзі, пэйлоадзе, загалоўных рэквізітах і бізнес-правілах. Агенты не падходзяць пад гэты шаблон. Папросіце агента раследаваць інцыдэнт у працоўным серавере і знаходзіць верагодную прычыну. У адным разе ён спачатку чытае логі, а потым запытвае базу дадзеных; у іншым — пераканаліваецца ў дасягледах, калічыце API і толькі пасля чытае логі. Шляхі разныя, але оба могу дасягнуць правильнага вывару.
Можліва і працоўная ситуацыя, якая ёш болей небяпечная: фінальны вывар, які здаецца правым, хоця агент спалёўся на ненадзеяным джэрелы, выкорыстаў неналежны інструмент або дасягнуў правильнага вывару з неправільных прычын. Асэрцыя на абоўску зусімнадзенасць выходных дадзеных не можа розлічыць гэтыя случаў. Саме гэтую прасоўку заполняюць адлікаванні.
Што мерыць адлікаванне
Практычная адзынка: рэйтынг выканаець аналіз, насколькі хораша працавае система AI па стандартам, важным для конкрэтнай задачы. Крытыяя выходзяць з самай задачы, а не з фрэймворку.
Возьмімо агента, які стварае сцэнарыі тэстав на адповеднасць трэбаванням. Тое, што ён вярнуў дзесяць тэстовых кейсаў у формате JSON, практычна нічога не сказвае. Значымыя паказнікі стосуюцца якасці:
GENERATED TESTS
│
▼
EVALUATE
│
┌────────────────┼────────────────┐
│ │ │
Coverage Correctness Relevance
│ │ │
├──────── Hallucination ──────────┤
│ │
└──────────── Duplication ─────────┘
│
▼
QUALITY SIGNAL
У практыцы гэтыя аспекты ператвараюцца на конкрэтныя запытанні:
- Чы рэальна тэставы пакрываюць трэбавання?
- Чы кожны з іх ёсць для яго значымым?
- Чы агент стварыў такое паведанне, якога няма ў продукцыі?
- Чы ён праўіл важны сцэнарый негатыўнага рашэння або крайньего случая?
- Чы калькі з дзесяці ёсць фактычна дуплікатамі?
Кожныя запытанні можа стаць критэрам для ацэнкі: дзеяныя з іх є детерміністычныя (выкрыцьце дуплікатаў за дапамой нормалізаванага тэксту або эмбеддынгаў), іншыя патрабуюць базовага набора дадзеных (перакананне ў адпаведнасці да вядомых трэбаванняў), а ёшчы іншыя зазвычай патрабуюць викорыстання LLM як суддзі або людскіх атрыбутаў (функцыянал, створаны внаследке галюцинацый). Структурныя перакананні, такія як правамернасць схемы, все ж варта адбываць, але як базовы пункт, а не як вялічына успеху.
Тры аспекты ацэнкі: адпаведзь, крок і траекторыя
Калі працуеце з агентамі, не трэба ацэнкаваць толькі фінальны выхад. Існуе ўжо прынеймна трое корыстных критэраў:
- Фінальная адпаведзь: чы ўсё правільна, цяперова і рэлевантна?
- Адзін крок: напрыклад, чы агент выбраў правільны інструмент для гэтай падзялкі задачы, прыводячы логічныя аргументы?
Ёсць тыповая траекторыя для агента, які адпавядае на запытанні:
User Goal
│
▼
Agent
│
├── Search Documentation
│
├── Query Database
│
├── Call API
│
└── Generate Answer
Апошнай адказ — гэта простая шырокі. Для багатых застосоўкаў маршрут мае такое ж значэнне, як і пункт прызначэння: напрыклад, чы робот пераглядаў дакументацыю пры запытанні да продакшн-данных, чы выконваў API-запыт, калі не было для цього прычыны. Ацэнка траекторыі становіцца неабходной, калі роботы можаць змяніць даны, стварыць запиты, запускаць код, актывацыя робочых практык чы дзеяць унутрь корпаратыўных систем, таму што шкодзячая проміжная дзеянне ўважаецца абэрасіяй, нават якшо апошнее паведамленне выглядае правільна. Перакананні траекторыі можуць быць строгімі (точная запатрэбная последовасць), прагледнымі (неабходныя крокі можаць быць у будзь-якой парадку, забраныя крокі не павінны быць прысутнымі) чы адбывацца на адной з модэляў; прагледныя перакананні зазвычай являюцца правым пачатковым пунктом, вялікім чыннікам урахоўваючы вышэй описаную варіябельнасць маршруту.
Офлайн і онлайн ацэнкі як адна петля
Ацэнка сама сабою дзеліцца на два режымы, якія адпавядаюць вядомым практыкам працы з програмнай апаратурой.
Афлайн: адаптаванне пры вядомых кейсах
Пры афлайн-ацэнкаванні спачатку выкарыстоўваюцца падготавленыя наборы даных і сцэнарыі. Вы працоўвайце з репрезентатыўнымі кейсамі з выкананнем кандыдата-агента, ацэнюеце іх, парабягаете з нынешняй версіяю і прымачаеце рашэнне пра выпуск.
Known Dataset
│
▼
Agent Version
│
▼
Run Evals
│
▼
Compare Results
│
▼
Release Decision
Это адпаведнік сэту тэстаў на регрэсію ў системах CI для агентаў. Паколькі выходы модэля разніцяюцца праз розныя запускі, корыстна выкарыстоўваць кожны кейс больш чым адназначна і парабягаць распады балавання, а не толькі адзіныя рэзультаты.
Онлайн: навучанне на базе рэальнага трафіку
Пры онлайн-ацэнкаванні ацэнюецца тое, што вядзецься ў рэальных умовах, а саме там і з’яўляюцца неспадзянанні. Карыстувальнікі прасябляюць пра тое, чаго ніхто не спакушваўся, зовнішнія інструменты выключаюцца, контэкст прыходзіць непূরны, данні зменяюцца пад час роботы, а агенты выбіраюць траекторыі, якіх няма ў жадным наборе даных. Ацэнка прыкладаў рэальных траектарый выявляе такія кейсы.
Закрыць цыкл
Два режыму становяцца значнаяй ценнай, калі яны з’ўязаны: кожная значамая аберэнція у роботе, знайдзена ў інтэрнете, дадаўцца да навучальнага набора даных у офлайне-режыме, тады наступная версія працоўваецца з урахоўваннем яе.
OFFLINE EVALS
│
▼
BUILD
│
▼
DEPLOY
│
▼
PRODUCTION TRACES
│
▼
ONLINE EVALS
│
▼
DISCOVER FAILURE
│
▼
ADD FAILURE TO DATASET
│
└────────► OFFLINE EVALS
З часам навучальны набор даных у офлайне-режыме перестае відбіваць тое, калі, як падазроўвала команда, будуць дзеяння корыстувачаў, і начынае відбіваць тое, калі яны на самай працоўнае дзеяння. Пры копіюванні даных з рэальной працы ў навучальныя наборы неабходна старанна старавацца пра прыватнасць; скарыгаваць або синтэзаваць чутлівыя поля перш, чым яны стануць постаційнымі даннымі для тэставання.
Праця агента як новая характэрыстыка якосці
Нічга з гэтага не заменяе традыцыйных тэставанняў. Тэставанні UI, API, інтеграцыі, пераканання данных, выконвальных характэрыстыкаў і безпекі застаюцца неабходнымі для будь-якага надзеянага продукту. Сістэмы з агентамі дадаюць ўтварэнне яшчо адного слоя: якосці працы агента. Штосьць такое паднімае сваи сабе прыкладныя запитанні:
- Чы быў выбраны правильны інструмент?
У формате модэлі гэтыя запытанні выглядаюць даскладна інакш ад класычной піраміды тэстаў:
AGENT QUALITY
│
┌─────────────────┼─────────────────┐
│ │ │
OUTCOME TRAJECTORY CONTEXT
QUALITY QUALITY QUALITY
│ │ │
▼ ▼ ▼
Correctness Tool Usage Groundedness
Relevance Decisions Relevance
Completeness Efficiency Freshness
│
┌────────┴────────┐
│ │
MEMORY RECOVERY
│ │
▼ ▼
Accuracy Failure Handling
Relevance Retry Behavior
Якасць рэзультата включае правільнасць, актуальнасць і полнасць. Якасць траекторыі включае выкарыстоўванне інструментаў, прыняттыя рашэнні і эфективнасць, а таксама дзеяння, якія стосуюцца памяці (точнасць і актуальнасці выкарыстоўваных дадзенняў) і вярнэння до нормальнага стану (обраОаванне з бракоў і повторныя спробы). Якасць контэкста включае адпаведнасць рэальным умовам, актуальнасць і свежасць інфармацыі. Кожны элемент можа быть прысвоены аднаму чы розным элементам ацэнкі, і ў суме яны даюць наблыжэнне, значна болей дакладнае, чым проста пазначка «прынятна/непрынятна» для фінальнай адпаведзі. Для рэалізацыі гэтага трэбуюць новыя практыкі ў адносе да тэставання агентаў, стварэння можлівасцяў абзору дадзенняў, ацэнкі траекторыяў, комплексаў тэставання на регрэсію ІІ, оцэнкі працы систем у рэальных умовах і постаўлення ўмоў для сталаг праграсу, дзе якісныя і інжынеры ІІ все больш перакрываюць сваі функцыяны. Частка безпекі ў рашэнні таго ж задання адбіваецца ў нашай інструкцыі па LangChain guardrails і middleware.
Практычныя змены для вашых саеўных проектаў
Урок з усьго гэтага — не прыймаць кожную новую функцыю. Што больш правдападобна: трэба болей рашуча падходзіць да архітектуры.
- З’являйце критэрыі ацэнкі пад час проектавання агента, а не пасля таго, як ён будзе выпускацца.
- Вважайце можлівасць спостерэння частью пачатковай архітектуры, а не дадаткам пазнейшае часу.
- Перадавайце даны з рэжыму працы агента інжынерам як адзин узврат, а не толькі як доказы інцидэта.
- Ўбедзіцеся, што кожны значны бяг у рэжыме працы будзе абдуманы пад час будучых ацэнкаў.
- Падбірайце ступень складнасці па проблеме. Інодзе дастатнек адносна простага агента; інодзе правядзіцца викорыстанне LangGraph для керавання; інодзе задача справды выгадвае ад падагентаў, стойкага контэксту чы ўсебачнага інструментарыя агента.
Тэхналогія должна следаваць за проблемай, а не наадворс.
Цыкл пасляўджэння
Фрэймворкі прыходзяць і зникаюць; стойкая ідея — это цыкл.
LEARN
│
▼
BUILD
│
▼
OBSERVE
│
▼
EVALUATE
│
▼
IMPROVE
│
└──────────► LEARN AGAIN
Вы выучваеце паведамленне і ствараеце на його адварот. Процес стварэння паказвае тое, чаго вы не разумелі. Його запуск паказвае проблемы, яых вы не прагледзелі. Ацэнка заменяе заўважэння на доказы, доказы спрыяюць паліпроцэсу, а паліпроцес зазвычай выявляе наступнае, што трэба выучыць.
Ключовыя выводы
- Агент — это система рашэнняў; трэба ацэніваць самыя рашэння, а не толькі канечны текст.
- Даўжыце кожнам інструменту чыстую задачу: LangChain — для можлівасцей, LangGraph — для оркестрацыі, LangSmith — для абзяру і ацэнкі.
- Ацэнюйце на трох роўнях: адпаведзь, крок і траекторыя; прывязваюце пераканальнейшыя перагледы траекторыі, калі існуюць розныя правядзімыя шляхі.
- Спаяйце онлайн- і офлайн-ацэнкі, каб адказы працы сталі прыкладамі регрэсіі.
Моделі, фрэймворкі і продукты, якія працуюць у гэтай сферы, быстра зміняюцца, таму пераканайцеся ў актуальной даследчыцкай літэратуре ўжо зараз, каб дазнацца пра такія функцыі, як LangSmith Engine і Managed Deep Agents. Дисципліна спостерэння, памераў і врачывання урокав, якія зносіцца назад у систему, — гэта тое, што будзе робіць вашых агентоў надзеянымі, калі ўсё навакол іх развиваецца.