Когда ИИ-агент терпит неудачу, кого винить? Анализ причин неудачи
Почему формулировка «модель сгенерировала халлюцинацию» недостаточна: пошаговый анализ цепочки сбоев агента от определения намерения и поиска информации до использования инструментов, повторных попыток и отслеживания, а также что следует отслеживать.
Источники: When an AI Agent Fails, Who Do You Blame?
Изображение, на котором показано, как агент ИИ просит забронировать рейс в Сан-Паулу на завтра утром, примерно в 9 часов. Через несколько секунд он отвечает, что рейс забронирован. Но на самом деле этого не произошло: нет билета, нет письма с подтверждением, нет списания средств.
Логичным выводом кажется, что ИИ выдумал эту информацию. Возможно, так и есть. Но, возможно, модель вела себя ровно так, как было запрограммировано. API для бронирования мог вернуть ошибку, которую агент неправильно интерпретировал. Агент мог искать рейсы, так и не используя инструмент бронирования. API мог завершить работу из-за истечения времени после выполнения операции. Инструмент мог вернуть предварительную стоимость, а не подтвержденную бронь. Или же выражение «завтра утром» могло быть интерпретировано по неверному часовому поясу.
Как только системы ИИ начинают выполнять действия вместо того, чтобы просто отвечать на вопросы, объяснить их сбои становится гораздо сложнее. Это создаёт новую инженерную проблему: когда агент терпит неудачу, кто или что несёт ответственность?
Старое программное обеспечение было проще отлаживать
Традиционное программное обеспечение может быть сложным, но его путь выполнения обычно знаком:
User
↓
Frontend
↓
Backend
↓
Database
Когда что-то ломается, места, которые нужно проверить, хорошо известны: добрался ли запрос до бэкенда, не вышла ли из строя база данных, не застопорилась ли API на последующих этапах, возникла ли исключение. Логи, метрики и трейсы помогают собрать всю картину.
Агент выглядит совершенно иначе:
User Request
↓
Interpret Intent
↓
Retrieve Context
↓
Create a Plan
↓
Select a Tool
↓
Call the Tool
↓
Interpret the Result
↓
Reason Again
↓
Final Answer
Здесь успешный HTTP-ответ почти ничего не говорит. Система может вернуть
200 OK
и всё равно делает что-то совершенно неправильно. В этом и заключается основное отличие между традиционным мониторингом и возможностями наблюдаемости, предоставляемыми ИИ: система может быть в порядке с точки зрения эксплуатации, но при этом вести себя неправильно.
«Модель выдумала» — новая версия «Компьютер сломан»
Почти каждый плохой результат работы ИИ называют галлюцинацией, и это определение быстро теряет свою актуальность. Предположим, ассистент утверждает, что в вашей компании предусмотрено 30 дней оплачиваемого отпуска, хотя по факту политика предусматривает 22 дня. Это галлюцинация? Возможно. Но что, если правильная версия политики хранится в хранилище документов, а система загружает устаревшую версию? Модель могла дать безошибочный ответ, исходя из предоставленного ей контекста. Модель не сбойла — сбой произошел в процессе обработки контекста, и замена модели не восстановит работу системы.
Цепочка сбоев агента
Полезная когнитивная модель рассматривает агентный систему как набор уровней, на которых могут возникнуть сбои:
┌───────────────────────────┐
│ User Intent │
├───────────────────────────┤
│ Prompt / Instructions │
├───────────────────────────┤
│ Context / Retrieval │
├───────────────────────────┤
│ Memory │
├───────────────────────────┤
│ Planning / Reasoning │
├───────────────────────────┤
│ Tool Selection │
├───────────────────────────┤
│ Tool Parameters │
├───────────────────────────┤
│ Tool Execution │
├───────────────────────────┤
│ External Systems │
├───────────────────────────┤
│ Orchestration │
├───────────────────────────┤
│ Infrastructure │
└───────────────────────────┘
Можно назвать это стеком сбоев агента. Суть в том, что окончательный ответ — это лишь видимая часть гораздо более длинного пути выполнения.
1. Агент неправильно понял задачу
Попросите помощника отменить встречу с Джоном в пятницу. Он находит повторяющееся событие под названием «Еженедельная встреча с Джоном» и удаляет всю серию событий. API календаря работало, процедура аутентификации прошла успешно, удаление также состоялось. Сбой произошел еще до того, как был вызван любой инструмент:
User Intent
↓
Wrong Interpretation
↓
Correct Tool Call
↓
Wrong Outcome
Это сбой в понимании намерения, и он опасен, потому что всё, что находится дальше по цепочке после первой ошибки, может работать без проблем.
2. Информация была доступна, но агент её не увидел
Возьмём юридического ассистента, который читает контракт, в котором указано, что любая из сторон может расторгнуть его через 90 дней. Система поиска передаёт модели соседний пункт о сроке уведомления в 30 дней, и ИИ делает вывод, что контракт может быть расторгнут через 30 дней. Опять же, модель может делать логичные выводы на основе некорректных данных:
Documents
↓
Retrieval
↓
Wrong Chunk
↓
Model
↓
Wrong Answer
Проблема заключается в процессе поиска информации, а не обязательно в её генерации. Устранение ошибок в системах типа RAG часто больше похоже на настройку поисковой системы, чем на исправление ошибок в чат-ботах.
3. Память может привести к тому, что умная система станет устаревшей
Агенты всё чаще используют память, что полезно до тех пор, пока эта информация не устареет. Предположим, агент что-то запоминает
Customer Plan = Basic
но клиент обновил пакет на прошлой неделе, и текущее состояние таково:
Customer Plan = Enterprise
Агент отказывает в функции, на которую имеет право пользователь. Ничего не сломалось, и память выполняла именно ту функцию, для которой была создана. Она просто сохраняла информацию, которая уже не соответствовала действительности. Иногда забывание важно не меньше, чем запоминание.
Инструменты увеличивают риски
Нейросети генерируют текст. Агенты генерируют действия, и это меняет уровень риска. Дайте агенту два инструмента:
search_customer()
update_customer()
Пользователь спрашивает, какой адрес указан в документах у Сары. Очевидным инструментом для этого является
search_customer()
однако модель выбирает
update_customer()
Это ошибка при выборе инструмента. Или инструмент выбирается правильно, и всё проходит успешно.
{
"currency": "USD"
}
где находилось правильное значение
{
"currency": "BRL"
}
Это сбой параметра инструмента. API может работать без проблем, но результат всё равно будет неверным.
Иногда инструмент ломается
Внешние системы сложны в управлении. API теряют связь, базы данных выходят из строя, вступают в силу ограничения на частоту запросов, истекают права доступа. Рассмотрим следующую цепочку событий:
Agent
↓
Book Flight API
↓
TIMEOUT
Как должен поступить агент: попробовать снова, спросить у пользователя или сначала проверить наличие брони? Теперь предположим, что бронирование состоялось, но подтверждение было потеряно по дороге обратно, поэтому агент пробует во второй раз:
First booking → SUCCESS
Response → LOST
Retry → SUCCESS
Теперь у клиента есть два билета. Это уже не просто проблема искусственного интеллекта — это классическая проблема распределённых систем, при которой повторные попытки, идемпотентность, управление состоянием и транзакции становятся частью инженерии искусственного интеллекта.
Многопроцессорные конфигурации усложняют определение виновных
Теперь представьте три агента, действующих последовательно:
Research Agent
↓
Analysis Agent
↓
Writing Agent
Агент по исследованию находит правильные факты. Агент по анализу правильно их интерпретирует. Агент по составлению текста упускает важное уточнение, в результате чего окончательный ответ вводит в заблуждение. Кто из агентов допустил ошибку? Системы с агентами всё больше напоминают распределённое программное обеспечение, компоненты которого принимают вероятностные решения, и это делает наблюдаемость крайне важной.
Трейсы важнее логов
Предположим, агент даёт ужасный ответ, в то время как панель управления инфраструктурой показывает:
HTTP Status: 200
Latency: 3.8s
CPU: Normal
Memory: Normal
Errors: 0
Всё выглядит нормально, однако ответ неверен. Классический мониторинг показывает лишь то, что система работала. Инженерам необходимо понимать, почему она приняла именно такое решение. Для этого требуется что-то более похожее на трассировку агента:
TRACE #84721
User Request
↓
Intent: "Book Flight"
↓
Retrieved user preferences
↓
Planner created 3 steps
↓
search_flights()
↓
Selected Flight #2
↓
book_flight()
↓
API response: timeout
↓
Agent assumed success
↓
Final response:
"Your flight has been booked."
Теперь эту ошибку можно устранить. Агент не просто выдумал рейс — система считала неизвестное состояние инструмента завершённой транзакцией, и это то, что инженеры могут исправить.
Что должен зафиксировать трейс
Полезный трейс агента может включать:
trace_id
user_requestmodel_versionprompt_versionretrieved_contextmemory_usedtool_callstool_parameterstool_resultsretrieslatencytoken_usagecostfinal_answerevaluation_result
Не каждому приложению необходимо хранить все поля, поскольку приватность, безопасность и затраты по-прежнему имеют значение. Однако принцип прост: если для получения ответа агенту нужно совершить десять шагов, запись только первого ввода и последнего вывода подобна отладке архитектуры микросервисов при фиксации лишь первого запроса и окончательного ответа. Это мало помогает.
Мониторинг — это не наблюдаемость
Это различие особенно полезно для ИИ-систем. Мониторинг позволяет выяснить, есть ли проблемы. Трейсинг показывает, каким путем прошла задача. Наблюдаемость помогает понять, почему система вела себя именно так. Оценка определяет, было ли такое поведение действительно хорошим.
Monitoring
"Is the system healthy?"
↓
Tracing
"What path did it follow?"
↓
Observability
"Why did it behave this way?"
↓
Evaluation
"Was the result correct?"
Инженерия ИИ требует наличия всех четырех компонентов.
Показатели также должны развиваться
Традиционные сервисы оцениваются с помощью таких показателей, как
Availability
Latency
Throughput
Error Rate
И они по-прежнему имеют значение. Агенты добавляют новые вопросы:
Task Success Rate
Tool Success RateRetrieval Success RateTrajectory Success RateHuman Escalation RateAverage Steps per TaskTokens per TaskCost per TaskCost per Successful Task
Последний пример особенно показателен. Агент, стоимость которого составляет 0,01 доллара за запрос, но срабатывает лишь в половине случаев, может оказаться худшим вариантом по сравнению с тем, кто стоит 0,03 доллара и срабатывает в 98% случаев. Самая дешевая ИИ-система — это не обязательно та, что работает на самой дешевой модели; это та, которая обеспечивает самый дешевый успешный результат.
Так кто виноват?
Вернемся к рейсу. Пользователь попросил бронирование на завтра утром в Сан-Паулу, агент сказал «Готово», но билета нет. Модель? Возможно. Запрос? Возможно. Или процесс поиска, инструмент бронирования, API авиакомпании, оркестратор, инфраструктура?
Неприятный ответ заключается в том, что вы не сможете этого узнать, пока не сможете воссоздать процесс выполнения. Это ознаменовывает собой значительный поворот в инженерии ИИ. Как только модели превращаются в агентов, а агенты — в целые системы, надежность перестает быть свойством только модели и становится свойством всего пути выполнения:
Model Quality
+
Context Quality
+
Tool Reliability
+
Orchestration
+
Infrastructure
+
Evaluation
+
Observability
↓
Reliable AI System
Более мощные модели, безусловно, помогут, но одних только возможностей недостаточно, чтобы сделать системы ИИ надежными. Те принципы, которые инженеры по программному обеспечению десятилетиями изучали, чтобы уважать их, по-прежнему актуальны: логи, трекинг, таймауты, повторные попытки, разрешения, состояние, тестирование, метрики и анализ сбоев. Когда агент терпит неудачу в производственной среде, фраза «модель выдала галлюцинацию» в конечном итоге окажется столь же бесполезной, как и фраза «компьютер сделал что-то странное». Инженерия начинается там, где такие объяснения перестают быть достаточно хорошими.
Связанные статьи
- Логи аудита агентов требуют 12 полей: что на самом деле записывают шесть фреймворков — статистический анализ шести фреймворков агентов по сравнению с проектом журнала аудита из 12 полей: средний уровень покрытия составляет 5 из 12, причем ни один из фреймворков не записывает доказательства вмешательства или уровень доверия.