Калі AI-агент падводзіць, хто вінаваты? Разбор стэка збояў
Чаму «мадэль згалюцынавала» — недастатковае тлумачэнне: праходзім стэк збояў агента ад намеру і пошуку да інструментаў, паўтораў і трас і вызначаем, за чым назіраць.
Здзеўка, у якой прасіма Штучны Інтэлект аб броніраванні рэлігаціі до Сан-Паулу на завтрашнія ранкі, адносна 9 гадзін ранку. Чырэх-пяць секунд пазней ён адпавядае, што рэлігація ўжо заброніравана. Але на самай працы так не ўсё. Ні квітка, ні паведамленне пра падтверджэнне, ні якіх-небудзь платаў.
Прываблівы вывод — што Штучны Інтэлект створыў ілюзію. Можа, так і ўсё. Але можа, модэль працаваў абсолютна так, як было запланавана. API для броніравання могла вернуць адказ пра адказку, які агент неправаўдзява. Агент могаў шукаты рэлігаціі, не вызываючы інструмент для броніравання. API могла завершыць працу пасля завершэння транзакцыі. Інструмент могаў вернуць толькі прыблізны расчын, а не падтверджанае броніраванне. А можа, выраз „завтрашнія ранкі“ быў перакананы ў неправым часовым поясе.
Калі сістэмы AI пачнуць выканання задач узамест на простае адпаведзенне на запытанні, будзе значна сложнейша адказаць на пытанні пра неудачы. Гэта стварае новую інжынерную проблему: калі агент не выканае задачу, хто чы ў што несе адпаведнае адпаведзення?
Старыя програмы было лёгкае дыбагаваць
Традыцыйныя програмы можу быць складнымі, але ўсё ж іх шлях выканання зазвычай ёсць знакомым:
User
↓
Frontend
↓
Backend
↓
Database
Калі ўсё ламаецца, места, якія трэба пераканаць, ўжо вядомы: чыгулька дасягла бэкэнда, чы не зупінілася база дадзеных, чы не застаўся нерабочым API, чы не выйшла аблікацыя. Логі, метрыкі і трэйсы дапамагаюць склікці всю картыну.
Агент выглядае зусім інакш:
User Request
↓
Interpret Intent
↓
Retrieve Context
↓
Create a Plan
↓
Select a Tool
↓
Call the Tool
↓
Interpret the Result
↓
Reason Again
↓
Final Answer
У такім случае успешны ўтварэнне HTTP адпаведзення не гаворыць многа. Сістэма можа вернуць
200 OK
і пры тым рабіць што-небудзь абсалютна некалькана. Гэта яшчэ адна ключовая разліка між класычным манітарынгам і можлівасцю аналізу дзеяння AI: сістэма можа быць стабільной з пункту зору кантролю, але абярэнай у сваім паведамленні.
„Мадэль створыла галюцынацію“ — гэта новая версія „Камп’ютар зламаны“
Практычна кожны некальканы рэзультат работы AI атрымлеяць атрыбут галюцынаціі, і гэты атрыбут быстра выціскаецца. Спадзяймося, асістэнт стверджуе, што ваша компанія надае 30 дзён оплачванага вакацыяну, хоча насправе правіла дозволяюць толькі 22 дні. Галюцынація? Возможна. Але калі правільныя правіла знаходзяцца ў базе дакументаў, а сістэма запрашае застарэлую версію, мадэль могла дастаць бездоганны адказ, выкарыстоўваючы даныя, якія яе практычналі. Мадэль не парадзіла. Працэс апрацоўкі даных парадзіў, і замена мадэлі не вярнуе сістэму ў нормальны стан.
Стэк абярэнняе агента
Прыгодны мадэль мышлення спрыяе розгляду агентнага сістэмы як накупа мест, дзе можа выйсці проблема:
┌───────────────────────────┐
│ User Intent │
├───────────────────────────┤
│ Prompt / Instructions │
├───────────────────────────┤
│ Context / Retrieval │
├───────────────────────────┤
│ Memory │
├───────────────────────────┤
│ Planning / Reasoning │
├───────────────────────────┤
│ Tool Selection │
├───────────────────────────┤
│ Tool Parameters │
├───────────────────────────┤
│ Tool Execution │
├───────────────────────────┤
│ External Systems │
├───────────────────────────┤
│ Orchestration │
├───────────────────────────┤
│ Infrastructure │
└───────────────────────────┘
Можна назваць гэта апаратчыскім бягам неудач. Суць у тым, што фінальны адказ — цэла проста відны канець значна дэльнейшага шляху выканання.
1. Агент зрозумеў не тое
Папярдзіце асістэнта аб анулюванні зустрэчы з Джонам у пятніцу. Асістэнт знаходзіць павтараючыяся заходы пад назвай „Інтэграцыя з Джонам кожны тыдзень“ і выдалівае весь ўжо створаны серыя заходаў. API календара працаваў, аутантыкацыя працавала, выдаленне заходаў успела. Неудача з’явілася ўжо да таго, як была вызвана якая-лібо інструмент.
User Intent
↓
Wrong Interpretation
↓
Correct Tool Call
↓
Wrong Outcome
Гэта ўзбіець намеру, і гэта апасныя, таму што усё, што знаходзіцца пасля пачатковай памылкі, можа працаваць ідэальна.
2. Інфармацыя была, але агент яе ніколі не бачыў
Уявіце правовага асістэнта, які чытае контракт, у яком паведамляецца, што кожна з сторон можа завершыць угоду пасля 90 дзён. Сістэма надае модэлю суседню кляузу пра 30-дзённы тэрмін паведамлення, і штучны інтэлект выводзіць, што контракт можа завершыцца пасля 30 дзён. Знову ж такі, модэль можа правільна рассуджваць на аднойчы неякосных дадзеннях:
Documents
↓
Retrieval
↓
Wrong Chunk
↓
Model
↓
Wrong Answer
Проблема крыецца ў працэсе выкарыстоўвання інформацыі, а не неабязкова ў ўтварэнні самай інформацыі. Падбір на спалучэнні бага RAG часта нагадвае налаштаванне пошуковага апарата, а не вылечэнне чат-бота.
3. Памяць можа змусіць розумную сістэму стаць застарэлай
Агенты все чырэз больш носяць памяць, якая ўжоць корыстная, пакуль толькі не стане застарэлай. Спадзяймося, што агент памятае
Customer Plan = Basic
Але кліент апгрэдаваўся наўштады, і рэальны стан ёсць
Customer Plan = Enterprise
Агент адзінавае функцыю, на якую мае право корыстувальнік. Нічога не зламалася, а памяць выконвала тое, для чаго была створана. Яна проста зберагала інфармацыю, якая больш не ўсходзіла з дыянням рэальнасці. Інодзе забыванне мае такое ж значэнне, як і запамятованне.
Інструменты падвышаюць рызык
Модулі большых мов генеруюць тэкст. Агенты генеруюць дзеянні, і гэта змінюе рызык. Дайце агенту два інструменты:
search_customer()
update_customer()
Пользоватэль спытаець, якой адрэса знаходзіцца ў дасобах для Сары. Відразу стае зрозумела, які інструмент трэба вжыць.
search_customer()
Але модэль выбірае
update_customer()
Гэта адміністратыўная памылка у выборы інструмента. Але ён таксама можа выбраць правы інструмент і працаваць.
{
"currency": "USD"
}
дзе была правільная значэнь
{
"currency": "BRL"
}
Гэта адміністрацыйныя проблемы з параметрамі адзінкі. API можа працаваць без працяўных суперашчытак, а рэзультат заўсёды будзе некорэктным.
Іноды адзінкі не працуюць
Зовнішнія сістэмы ўскладненыя. API выкананыя па часу, базы дадзеных выключаюцца, дзеяць ліміты колькасці запытак, правы прызначэнні выгораюць. Адзірніце гэтую ланцюгавую залежнасць:
Agent
↓
Book Flight API
↓
TIMEOUT
Як павінен рэагаваць агент: спробавіць знову, запытаць корыстніка, чым спачатку пераканацца, што броніванне існуе? Цяпер заўважым, што броніванне адбылася, але падтверджэнне загубілася па вяртанні, тады агент пробуе ўдзеўжо:
First booking → SUCCESS
Response → LOST
Retry → SUCCESS
Цякмо, кліент мае два квіткі. Гэта ўжо не проста проблема ШЫ. Гэта класычная проблема распраўленых сістэм, і прабавы занова, ідэмпотэнцыя, кантроль стану і транзакцыі стаюць часткай інжынерыі ШЫ.
Установкі з калькамі робяць апрацоўку віны сложнейшай
Цяпер уявіце трох калькаў па спадчынству:
Research Agent
↓
Analysis Agent
↓
Writing Agent
Агент для даследжэння знаходзіць правільныя факты. Агент для аналізу чытае іх правільна. Агент для напісання прыхіляецца да важлівай кваліфікацыі, і гэта ведае да некальканосным адказу. Калькі агент зазнаў нявярнага? Сістэмы з агентамі все больш нагадваюць распрашчаны програмны апарат, чыяя складовыя прыменяюць верыятнасныя рашэнні, і гэта робіць стварэнне можлівасці спостэрэння абавязковым.
Следы маюць большое значэнне чым лог-файлы
Падазроўваючы, што агент даў жахлівы адказ, тады панель керування інфраструктурой паказвае:
HTTP Status: 200
Latency: 3.8s
CPU: Normal
Memory: Normal
Errors: 0
Усё выглядае цішча, але адказ некальканы. Класычны манітарынг паведамляе, што сістэма працавала. Інжынерам неабяжна ведаць, чаму яна прыняла такое рашэнне. Для гэтага патрэбны даныя, бліжэйшыя да трэйсу агента:
TRACE #84721
User Request
↓
Intent: "Book Flight"
↓
Retrieved user preferences
↓
Planner created 3 steps
↓
search_flights()
↓
Selected Flight #2
↓
book_flight()
↓
API response: timeout
↓
Agent assumed success
↓
Final response:
"Your flight has been booked."
Цяпер жа адказка за абяранне ўзможная. Агент не проста стварыў рэйс. Сістэма спрацавала так, нібы стан нявядомага інструмента быў завершаным транзакцыям, і гэта тое, што інжынеры можаць вылечыць.
Што павінен зафіксав лог
Корыстны лог агента можа міць:
trace_id
user_requestmodel_versionprompt_versionretrieved_contextmemory_usedtool_callstool_parameterstool_resultsretrieslatencytoken_usagecostfinal_answerevaluation_result
Не кожнам прыграмам неабяжна зберагачваць усі полья, адколькі прыватнае жыццё, безпека і косцы таксама маюць значэнне. Аднак прынцып просты: калі агенту трэба дзесяць крокаў, каб дася да адпаведзення, то фіксацыя толькі першага вводу і апошньага выходу падобнае да дэбагавання архітэктуры мікросервісаў, калі фіксуецца толькі першы запіт і апошня адпаведзь. Гэта мала дапамагае.
Манітарынг — гэта не абзірнасць
Гэта разліканне ўсё бол практычна для сістэм AI. Манітарынг спытаецца, чы не ўсё гаразд. Тракінг спытаецца, якім шляхам працавала задача. Абзірнасць спытаецца, чаму сістэма павелілася так. Ацэнка спытаецца, чы была такая працэздатнасць на самай працоўны.
Monitoring
"Is the system healthy?"
↓
Tracing
"What path did it follow?"
↓
Observability
"Why did it behave this way?"
↓
Evaluation
"Was the result correct?"
Інжынерыя AI патрабуе ўсе чатыро.
Паказнікі таксама павінны развівацца
Традыцыйныя сервісы ацэнююцца за дапамою такіх паказнікаў, як
Availability
Latency
Throughput
Error Rate
і гэтыя застаюцца значнымі. Агенты дадаюць новыя запытанні:
Task Success Rate
Tool Success RateRetrieval Success RateTrajectory Success RateHuman Escalation RateAverage Steps per TaskTokens per TaskCost per TaskCost per Successful Task
Пасёлкі з іх усіх ёсць насуперакце значны. Агент, які коштуе $0.01 за кожны запіт, але успехоўвае толькі паўвым часам, можа быць горшым варыянтам, чым той, які коштуе $0.03 і успехоўвае 98% часам. Найдэшавшыя AI-сістэмы не павінны быць тымі, якія работаюць на найдэшавшых мадэлях — гэта тые, якія даюць найдэшавшыя успешныя рэзультаты.
Тады каго вінаваць?
Вернімся да рэйсу. Карыстальнік праглаў броніванне на Сан-Паулу завтра раніцą, агент сказаў «Готава», а квітка не існуе. Мадэль? Можа. Запіт? Возможна. А можа проблема ў працэсе пошуку, інструменце бронівання, API авіакомпаніі, сістэме керування чы інфраструктурэ?
Некаментабельныя адказы заключаюцца у тым, што нельга знайсці адказ, пакуль не будзе можліва рэканструэйція выканання. Гэта паказвае сябе як значны перыядак у інжынерыі ШЫ. Калі мадэлі ператвараюцца ў агентаў, а агенты — у цэлыя сістэмы, надзеянасць перастае быць атрыбутам толькі мадэлі і стае атрыбутам усьго шляху выканання:
Model Quality
+
Context Quality
+
Tool Reliability
+
Orchestration
+
Infrastructure
+
Evaluation
+
Observability
↓
Reliable AI System
Болейшыя модэлі, без сумневу, дапаможу, ал сама толькі ўздатнасць не зробіць сістэмы ШЫ надзеянымі. Тыя прыемы, якіх інжынеры працоўнага праграмнага забезпечэння гады навучаліся дазваляць сабе, як і раней застаюцца актуальнымі: логі, трэйсы, тайма-аўты, павторныя спробы, правыя на доступ, стан, тэставанне, метрыкі і аналіз неудач. Калі агент не выканае своія заведамыя ў рэальных умовах, фраза «модэль створыла галюцынацыю» зрэшты будзе такой жа безпрадзейная, як і фраза «камп’ютар зрабіў што-небудзь дзівнае». Інжынерыя пачынаецца там, дзе такія адказы стаюць недастатнімі.
Спадневана літэратура
- Аўдытныя логі агентаў патрабуюць 12 поль: што на самай працэ запісваюць шэсць фрэймворкаў — статычны підрахунак шэсці фрэймворкаў агентаў у супараванні з праектам аўдытнага логу з 12 поль: сярэдняе пакрыцце становіць 5 з 12, і ніхто з іх не запісвае доказаў парадурання чы рэгламенту доверы.