Коли агент ШІ зазнає невдачі, кого звинувачувати? Вивчення причин невдачі
Чому твердження «модель створила галюцинацію» є недостатнім: огляд ланцюга збоїв агента від інтенту та пошуку інформації до інструментів, повторних спроб та трекінгу, а також того, що варто спостерігати.
Зображення, на якому представлений прохання до штучного інтелекту забронювати рейс до Сан-Паулу на завтра вранці, близько 9 години. Через кілька секунд він відповідає, що рейс заброньовано. Проте це не так. Немає квитка, немає електронного листа з підтвердженням, немає жодних оплат.
Привабливим висновком є те, що штучний інтелект створив ілюзію. Можливо, так і є. Але можливо, модель поводилась саме так, як було спроєктовано. API для бронювання міг повернути помилку, яку агент неправильно інтерпретував. Агент міг шукати рейси, не використовуючи інструмент для бронювання. API міг вийти з роботи після завершення транзакції. Інструмент міг надати лише орієнтовну ціну, а не підтверджену бронювання. Або ж „завтра вранці“ могло бути сприйняте з неправильного часового поясу.
Як тільки системи ШІ починають виконувати дії замість того, щоб просто відповідати на запитання, пояснити їхні збої стає набагато складніше. Це створює нову інженерну проблему: коли агент зазнає невдачі, хто чи що несе відповідальність?
Старий програмний код було легше дебагувати
Традиційний програмний код може бути складним, але його шлях виконання зазвичай є зрозумілим:
User
↓
Frontend
↓
Backend
↓
Database
Коли щось ламається, місця, які потрібно перевірити, є добре відомими: чи досягла запиту серверна частина, чи не вийшов з ладу база даних, чи не зупинився наступний API, чи виникла виняткова ситуація. Журнали, метрики та трейси допомагають зібрати всю інформацію разом.
Агент виглядає зовсім інакше:
User Request
↓
Interpret Intent
↓
Retrieve Context
↓
Create a Plan
↓
Select a Tool
↓
Call the Tool
↓
Interpret the Result
↓
Reason Again
↓
Final Answer
Тут успішна відповідь HTTP майже нічого не говорить. Система може повернути
200 OK
і все одно робить щось абсолютно неправильно. Це основна відмінність між класичним моніторингом та можливістю спостереження за роботою ШІ: система може бути справною з точки зору функціонування, але мати неправильну поведінку.
„Модель створила галюцинацію“ — це нова версія „Комп’ютер не працює“
Майже кожен поганий результат роботи ШІ позначають як галюцинацію, і цей термін швидко втрачає свою актуальність. Припустимо, асистент стверджує, що ваша компанія надає 30 днів оплачуваної відпустки, хоча насправді це 22 дні. Це галюцинація? Можливо. Але що, якщо правильна інформація зберігається у системі документів, а система пошуку завантажила застарілу версію? Модель могла дати бездоганну відповідь, враховуючи надані їй дані. Модель не зламалася. Зламався процес обробки контексту, і заміна моделі не виправить ситуацію в системі.
Ланцюжок збоїв агента
Корисна ментальна модель розглядає агентний систему як низку етапів, на кожному з яких можуть виникнути проблеми:
┌───────────────────────────┐
│ User Intent │
├───────────────────────────┤
│ Prompt / Instructions │
├───────────────────────────┤
│ Context / Retrieval │
├───────────────────────────┤
│ Memory │
├───────────────────────────┤
│ Planning / Reasoning │
├───────────────────────────┤
│ Tool Selection │
├───────────────────────────┤
│ Tool Parameters │
├───────────────────────────┤
│ Tool Execution │
├───────────────────────────┤
│ External Systems │
├───────────────────────────┤
│ Orchestration │
├───────────────────────────┤
│ Infrastructure │
└───────────────────────────┘
Назвімо це стеком помилок агента. Суть у тому, що кінцева відповідь — це лише видима частина набагато довшого шляху виконання.
1. Агент зрозумів щось не так
Попросіть асистента скасувати зустріч з Джоном у п’ятницю. Він знаходить періодичну подію під назвою „Щотижнева нарада з Джоном“ та видаляє всю серію подій. API календаря працювало, процес автентифікації пройшов успішно, видалення відбулося. Помилка виникла ще до того, як було викликано будь-який інструмент:
User Intent
↓
Wrong Interpretation
↓
Correct Tool Call
↓
Wrong Outcome
Це помилка у розумінні наміру, і вона небезпечна, тому що все, що йде далі після початкової помилки, може працювати ідеально.
2. Інформація була присутня, але агент її ніколи не бачив
Уявіть асистента з правових питань, який читає контракт, у якому зазначено, що кожна зі сторін може його розірвати через 90 днів. Система пошуку надсилає моделі сусідню клозу про термін попередження у 30 днів, і ШІ робить висновок, що контракт може бути розірваний через 30 днів. Знову ж таки, модель може логічно міркувати на основі некоректних даних:
Documents
↓
Retrieval
↓
Wrong Chunk
↓
Model
↓
Wrong Answer
Проблема полягає у процесі отримання інформації, а не обов’язково у її генерації. Усунення помилок у RAG часто нагадує налаштування пошукової системи, а не виправлення проблем у чат-боті.
3. Пам’ять може зробити розумну систему безпідставно застарілою
Агенти все частіше мають пам’ять, яка є корисною аж до моменту, коли вона стає застарілою. Припустимо, агент пам’ятає
Customer Plan = Basic
але клієнт оновив пакет минулого тижня, і справжній стан є таким
Customer Plan = Enterprise
Агент відмовляє у функції, на яку має право користувач. Нічого не зламалося, а пам’ять виконувала саме ту роль, для якої була створена. Вона просто зберігала інформацію, яка більше не була актуальною. Іноді забування має таке ж значення, як і запам’ятовування.
Інструменти підвищують ризик
Моделі ШІ генерують текст. Агенти генерують дії, і це змінює рівень ризику. Дайте агенту два інструменти:
search_customer()
update_customer()
Користувач запитує, яка адреса зберігається для Сари. Очевидним інструментом є
search_customer()
Проте модель обирає
update_customer()
Це помилка у виборі інструменту. Або він обирає правильний інструмент та проходить далі.
{
"currency": "USD"
}
де було правильне значення
{
"currency": "BRL"
}
Це проблема з параметрами інструменту. API може працювати без проблем, але результат все одно буде неправильним.
Іноді інструмент не працює
Зовнішні системи є складними для керування. API досягають тайм-ауту, бази даних виходять з ладу, діють обмеження на кількість запитів, терміни дії дозволів закінчуються. Розгляньте цю ланцюгову реакцію:
Agent
↓
Book Flight API
↓
TIMEOUT
Як повинен відреагувати агент: спробувати ще раз, запитати користувача чи спочатку перевірити наявність бронювання? Тепер уявімо, що бронювання справді відбулося, але підтвердження загубилося по дорозі назад, тож агент пробує ще раз:
First booking → SUCCESS
Response → LOST
Retry → SUCCESS
Тепер у клієнта є два квитки. Це вже не просто проблема ШІ — це класична проблема розподілених систем, і повторні спроби, ідемпотентність, керування станом та транзакції стають частиною інженерії ШІ.
Конфігурації з кількома агентами ускладнюють визначення винних
Тепер уявіть трьох агентів у послідовності:
Research Agent
↓
Analysis Agent
↓
Writing Agent
Агент дослідження знаходить правильні факти. Агент аналізу читає їх правильно. Агент, який формулює відповідь, пропускає важливу умову, і кінцева відповідь вводить в оману. Який агент зазнав невдачі? Системи з агентами все більше нагадують розподілене програмне забезпечення, компоненти якого приймають ймовірнісні рішення, і це робить спостережуваність абсолютно необхідною.
Сліди важливіші за журнали
Припустимо, агент дає жахливу відповідь, тоді як панель керування інфраструктурою відображає:
HTTP Status: 200
Latency: 3.8s
CPU: Normal
Memory: Normal
Errors: 0
Усе виглядає нормально, проте відповідь неправильна. Класичний моніторинг повідомляє про те, що система працювала. Інженерам потрібно знати, чому вона прийняла саме таке рішення. Для цього потрібен щось більш схоже на трекування агента:
TRACE #84721
User Request
↓
Intent: "Book Flight"
↓
Retrieved user preferences
↓
Planner created 3 steps
↓
search_flights()
↓
Selected Flight #2
↓
book_flight()
↓
API response: timeout
↓
Agent assumed success
↓
Final response:
"Your flight has been booked."
Тепер цю проблему можна вирішити. Агент не просто вигадав рейс. Система сприйняла невідомий стан інструменту як завершену транзакцію, і це те, що інженери можуть виправити.
Що має фіксувати трекування
Корисний запис діяльності агента може містити:
trace_id
user_requestmodel_versionprompt_versionretrieved_contextmemory_usedtool_callstool_parameterstool_resultsretrieslatencytoken_usagecostfinal_answerevaluation_result
Не кожному додатку потрібно зберігати кожне поле, адже приватність, безпека та витрати все ще мають значення. Принцип простий: якщо агенту потрібно десять кроків, щоб отримати відповідь, запис лише першого вхідного даних та останнього результату схожий на виправлення помилок у архітектурі мікросервісів, коли фіксуються лише перше запитання та остаточна відповідь. Це майже не допомагає.
Моніторинг — це не спостережуваність
Це розрізнення особливо корисне для систем ШІ. Моніторинг перевіряє, чи щось не так. Відстеження визначає шлях, яким пройшло завдання. Спостережуваність пояснює, чому система поводилась саме так. Оцінка визначає, чи була така поведінка справді хорошою.
Monitoring
"Is the system healthy?"
↓
Tracing
"What path did it follow?"
↓
Observability
"Why did it behave this way?"
↓
Evaluation
"Was the result correct?"
Інженерія ШІ потребує всіх чотирьох.
Показники також мають розвиватися
Традиційні послуги оцінюються за допомогою таких показників, як
Availability
Latency
Throughput
Error Rate
і вони все ще мають значення. Агенти додають нові запитання:
Task Success Rate
Tool Success RateRetrieval Success RateTrajectory Success RateHuman Escalation RateAverage Steps per TaskTokens per TaskCost per TaskCost per Successful Task
Останній з цих прикладів є особливо показовим. Агент, який коштує 0,01 долара за запит, але успішно виконує завдання лише наполовину випадків, може виявитися гіршим варіантом, ніж той, який коштує 0,03 долара та успішно виконує завдання у 98% випадків. Найдешевша система ШІ не обов’язково є тією, що базується на найдешевшій моделі – це та, яка забезпечує найдешевший успішний результат.
То хто несе відповідальність?
Повернімося до рейсу. Користувач попросив бронювання на завтра вранці до Сан-Паулу, агент сказав „Готово“, але квитка немає. Модель? Можливо. Запит? Ймовірно. Або процес пошуку, інструмент бронювання, API авіакомпанії, система координації, інфраструктура?
Незручна відповідь полягає у тому, що ви не зможете цього дізнатися, доки не зможете відтворити процес виконання. Це ознаменовує собою важливий поворот у інженерії ШІ. Як тільки моделі перетворюються на агентів, а агенти — на цілісні системи, надійність більше не є властивістю лише моделі, а стає властивістю всього шляху виконання:
Model Quality
+
Context Quality
+
Tool Reliability
+
Orchestration
+
Infrastructure
+
Evaluation
+
Observability
↓
Reliable AI System
Сильніші моделі, безумовно, допоможуть, але сама лише їхня потужність не зробить системи ШІ надійними. Ті принципи, яких інженери програмного забезпечення десятиліттями навчалися дотримуватися, залишаються актуальними: журнали подій, трекування, таймаути, повторні спроби, дозволи, стан, тестування, метрики та аналіз несправностей. Коли агент зазнає невдачі в умовах роботи, фраза „модель створила халюцинацію“ зрештою буде такою ж корисною, як і фраза „комп’ютер зробив щось дивне“. Інженерія починається там, де такі пояснення вже не є достатньо гідними.
Пов’язана література
- Журнали аудиту агентів потребують 12 полів: що насправді записують шість фреймворків — статичний підрахунок шести фреймворків агентів у порівнянні з проектом журналу аудиту з 12 полями: середній рівень покриття становить 5 з 12, причому жоден з фреймворків не записує доказів пошкоджень чи рівень довіри.