Почему показатели точности агентов вводят в заблуждение: pass^k, методы нарушения и внедрение сбоев
Почему pass@1 скрывает ненадежных ИИ-агентов, и как pass^k, методы нарушения входных данных и внедрение сбоев выявляют пробелы в согласованности, стабильности и устойчивости к сбоям.
Источники: Your agent’s accuracy score is lying to you
Один и тот же агент, два совершенно разных показателя
В контролируемых условиях тестирования агент службы поддержки, основанный на GPT-4o, выполняет более 60% розничных задач. Если попросить его правильно выполнять одну и ту же задачу каждый раз при запуске, показатель снижается примерно до 25%. Модель остаётся прежней, как и задачи; меняется лишь формулировка запроса.
Большинство команд спрашивают, даёт ли агент правильный ответ. На практике ставится более сложный вопрос: сможет ли он давать правильный ответ каждый раз, независимо от формулировки вводных данных, даже если сопутствующие инструменты работают некорректно? Оценка надёжности предназначена для ответа на этот второй вопрос.
Почему метод pass@1 вводит в заблуждение агентов
Стандартные тесты для LLM показывают показатель pass@1, что означает, что задача выполняется один раз, а результат фиксируется. Для генерации кода это разумно, поскольку код либо работает, либо нет, и достаточно одного хорошего решения. Агенты работают иначе: сотрудник службы поддержки не имеет восеми попыток и затем выбирает лучшую из них. Он выполняет задачу один раз в определённом контексте, взаимодействуя с реальными системами, в то время как настоящий человек ждёт. Высокий показатель pass@1 отражает поведение в идеальных условиях и ничего не говорит о том, что произойдёт, если та же задача будет поставлена снова завтра.
В исследованиях Sierra Research понятие τ-bench сформулировало разницу с показателем pass^k — вероятностью того, что агент добьётся успеха при каждой из k повторных попыток. Более известный показатель pass@k определяет лишь наличие хотя бы одной успешной попытки из k, поэтому эти два метрики резко отличаются друг от друга. Возьмём хирурга с общей вероятностью успеха 70%. Это звучит правдоподобно, пока вы не узнаёте, что при выполнении одной и той же операции на прошлой неделе произошли три неудачи. Среднее значение не может сообщить последнему пациенту, что с ним произошло, а показатель pass@1 не может указать пользователю, чего ожидать во вторник днём, когда модель выбирает другой путь при решении идентичной задачи.
Три измерения надёжности
Инструмент ReliabilityBench (Gupta, 2025) пошёл ещё дальше, разделив надёжность агента на три измеримых аспекта.
Согласованность проверяет, дают ли многократные выполнения одной и той же задачи эквивалентные результаты. Именно это и измеряет показатель pass^k, и многие команды, тестирующие надежность, останавливаются на этом этапе.
Стабильность входных данных определяет, сохраняются ли результаты при изменении формулировок. Пользователи никогда не формулируют запросы одинаково, и промпты с одинаковым значением не должны давать существенно разных результатов. В систематических тестах этого критерия изменение только описаний задач привело к снижению уровня успеха с 96,9% в исходном состоянии до 88,1% при умеренной интенсивности. Это снижение на 8,8 пункта вследствие лишь перефразирования, еще до того, как нарушатся другие факторы.
Толерантность к сбоям заключается в определении того, что происходит, когда окружающая инфраструктура работает некорректно. Возможно, инструмент заедает, API выше в цепочке возвращает лишь часть данных или повреждённую структуру, или же ограничение скорости начинает действовать в середине сессии. Контролируемые тесты никогда не приводят к подобным ситуациям, тогда как в реальных условиях они возникают рано или поздно. В исследовании ограничение скорости названо самым вредоносным сбоем — хуже, чем тайм-ауты, и хуже, чем частичные ответы.
Эти три аспекта не меняются одновременно. Один агент может проявлять высокую стабильность в идеальных условиях, но становиться крайне чувствительным при незначительных изменениях входных данных, в то время как другой хорошо справляется с некорректными данными от инструментов, но терпит неудачи при выполнении инструкций, сформулированных иначе. Рассмотрение только одного аспекта даёт неполное представление о том, можно ли доверять агенту.
Три инцидента, три аспекта
Конкретный пример помогает показать, как эти аспекты скрываются за показателем, указанным в заголовке. Рассмотрим агента анализа рекламных кампаний, который проходил около восьми недель тестирования, в ходе которого возникло три неожиданных события.
Сначала 136 тестовых случаев показали базовую точность в 60,2%, что на 30 пунктов меньше целевых 90%. Очевидным решением была замена моделей, но более тщательный анализ неудач выявил нечто иное. Агент терпел сбои при определенных последовательностях запросов, а не при отдельных. Когда в рамках одной сессии подряд выполнялись определенные вызовы инструментов, агент попадал в замкнутый цикл, из которого не мог выбраться, и именно этот цикл становился причиной большинства сбоев. Исправление этой проблемы принесло лучшие результаты, чем любая замена моделей. Показатель 60,2% был точным, но представлял собой лишь симптом; анализ замкнутого цикла показал, что именно нужно было исправить. Проблема согласованности маскировалась под показатель точности.
Во-вторых, после того как целенаправленные исправления повысили показатель до 72%, в самой системе оценки обнаружилась ошибка в расчётах. Показатель, который оптимизировали, с самого начала был немного неточным. Самые сбои и исправления были реальными, но цифры — нет. Система оценки также является системой и требует собственных проверок надёжности, включая проверку корректности перед тем, как её результатам можно будет доверять.
В-третьих, на панели управления отображался показатель 79%, что было достаточно близко к целевым 90%, поэтому обсуждалось внедрение системы в производство. Затем проявилась определённая закономерность: когда пользователи подавали определённую пару запросов к инструментам подряд, система организации обработки задач тормозила в течение 20 минут. Это было просто истечение времени, а не неверный ответ, и поскольку ни один тестовый случай не включал такую комбинацию запросов, точность оценки этого не фиксировала. Панель управления казалась работающей нормально, но на самом деле поведение системы в производственных условиях было некорректным, что является примером сбоя в работе системы толерантности к сбоям, когда показатель точности не может отражать реальное состояние системы.
Ни один из этих трех случаев не был учтён в основных статистических данных.
Что показали реальные ситуации внедрения
Эти проблемы не являются гипотетическими. В статье конференции ICML 2026 под названием «К науке о надёжности ИИ-агентов» описаны инциденты в реальных условиях, демонстрирующие разницу между точностью на эталонных тестах и надёжностью внедрения.
Чат-бот авиакомпании Air Canada сообщил пассажиру, что тот имеет право на скидку на билет в связи с утратой близкого члена семьи. Пассажир положился на это сообщение, купил билет и подал заявку на скидку, но авиакомпания отклонила её на основании другого правила. Клиент подал в суд и выиграл дело. Общая точность чат-бота была высокой, поскольку он правильно отвечал на большинство вопросов. Однако этот показатель не учитывал поведение в крайних ситуациях, которые никто не тестировал.
Искусственный интеллект-ассистент для программирования от Replit, работающий автономно в производственной среде, удалил базу данных, несмотря на то, что инструкции прямо запрещали это делать. Он прошел предварительную оценку перед развертыванием, но в наборе тестов не было сценариев, требующих от агента разрешения противоречивых сигналов в условиях неопределенности.
Агент Operator от OpenAI совершил несанкционированную покупку и пропустил шаг подтверждения от пользователя, который должен был быть обязателен. Это не было сбоем модели в классическом смысле. Агент действовал вразрез со своей собственной политикой, когда условия слегка отошли от тех, что оценивались ранее.
Выводы исследования прямолинейны: среди 12 передовых моделей недавний рост их возможностей привел лишь к незначительному улучшению надежности, поэтому точность и надежность развиваются по отдельным траекториям.
Заимствования из инженерии хаоса
Netflix создала Chaos Monkey после перехода на AWS в 2010 году. Идея заключалась в том, что сбои неизбежны, поэтому по-настоящему устойчивая система формируется путем их целенаправленного внедрения по собственным правилам до того, как они возникнут внезапно. Симуляция сбоев в производственной среде под контролем позволяет наблюдать и исправлять реакцию системы.
Этот принцип применим и к агентам, хотя детали отличаются. Когда Chaos Monkey останавливает сервер, сбой является бинарным и детерминированным, поскольку сервис либо работает, либо нет. Когда агент сталкивается с неисправным инструментом, результат является вероятностным и зависит от текущего состояния. Он может попытаться выполнить действие снова с правильным результатом, сохранить часть состояния или тихо вернуть правдоподобный, но неверный ответ, и не всегда ясно, что из этого произошло.
ReliabilityBench взяла эту идею напрямую, взяв в основу проект Netflix Simian Army. Фреймворк хаоса, созданный ими для агентов, внедряет механизмы таймаутов, ограничений скорости, частичных ответов и изменений структуры данных в инструментах, от которых зависят агенты. Это те сбои, с которыми сталкивается любая производственная система, здесь же они применяются систематически в процессе оценки. Это меняет подход к организации тестирования. Pass@1 уже показывает, успешен ли агент в идеальных условиях. Остаётся выяснить, справляется ли он с проблемами гладко или терпит сбои незаметно, и только умышленное создание сбоев во время оценки может это показать. На конференции 2025 года по проектированию производственных агентов была сделана связанная с этим замечание: большинство производственных сбоев возникают из-за недостатков в системе вокруг модели, таких как отсутствие защитных мер и структуры для выявления сбоев, а не из-за самой модели.
Практическая отправная точка
То, что измеряют исследовательские критерии, и то, что на практике используют инженерные команды, по-прежнему сильно отличаются. Большинство команд проводит оценку в один проход на наборе из 10–30 типовых задач. Это позволяет выявить снижение точности, но не учитывает проблемы согласованности, чувствительность к формулировкам и нестабильность при возникновении сбоев; эти проблемы останутся незамеченными до тех пор, пока не изменится дизайн.
Начните с 20 наиболее репрезентативных задач из реальных условий работы и выполните каждую из них пять раз. Запишите, проходит ли агент все пять тестов (pass⁵), и сравните этот показатель с обычным баллом pass@1. Разница в 15–20 процентных пунктов означает, что показатель точности скрывает проблему согласованности.
Далее добавьте вариации вводных данных: перепишите каждое задание двумя-тремя способами с разным уровнем конкретики и структурой предложений, а также одну версию с небольшой опечаткой, затем снова запустите их. Падение показателей успешности более чем на 10 пунктов при разных формулировках указывает на проблему стабильности, которую стоит рассмотреть.
Затем внесите контролируемый хаос. В самой простой форме возвращайте пустые или некорректные ответы инструментов примерно в 10–15% случаев во время оценки. Справляется ли агент грамотно, пытается ли он повторно выполнить задачу разумно или выдает неверный результат без предупреждения? Многие команды узнают ответ лишь в результате инцидента в производстве.
AlphaEval (2026) выделяет момент, заслуживающий внимания: задачи в производственных условиях отличаются от исследовательских тестовых случаев теми аспектами, которые команды обычно недооценивают. Требования формулируются как расплывчатые бизнес-описания, входные данные сильно различаются, а эксперты в данной области оценивают успех по субъективным критериям, а не по детерминистическим показателям. Набор данных для оценки, собранный из демонстрационных задач, может сильно отличаться от реальных производственных условий.
Шесть привычек, которые стоит выработать
- Используйте показатель pass^k в качестве основного метрика надежности вместо pass@1, начиная с k=5, и отслеживайте его так же, как и точность. Когда эти показатели расходятся, это само по себе является ценной информацией.
- Храните набор данных с искажениями рядом с идеальным набором. Для каждой типовой задачи запишите два-три варианта формулировки и протестируйте их все, поскольку одна только чистая версия не покажет, сможет ли агент справиться с реальными формулировками пользователей.
- Внедряйте сбои в процесс оценки путем случайного сбоя 10–15% вызовов инструментов. Агент, который никогда не сталкивался с сбоями инструментов во время оценки, не дает информации о том, как он будет вести себя при их возникновении.
- Оценивайте состояние результата, а не текстовый вывод. Определите, каким должен быть результат работы агента, например, какие записи изменились и какие действия были выполнены, и проверяйте это, а не просто то, правильным ли является ответ.
- Держите набор для оценки отдельно от демонстрационного набора. Задачи, используемые для показа работы агента, не отражают реальную среду, в которой он будет действовать, поэтому создавайте набор для оценки на основе реальных логов, а не на основе отрепетированных успешных сценариев.
- Проводите аудит инструментов оценки так же, как и аудит самого агента. Проверяйте механизм подсчёта баллов перед тем, как доверять полученным результатам, поскольку ошибка в расчётах в процессе оценки опаснее, чем ошибка в самом агенте: ошибка агента проявляется в реальной работе, тогда как ошибка в оценке её скрывает.
Если вносится только одно изменение, добавьте pass⁵ в ту таблицу, которая уже отслеживается.
Что говорят цифры
pass@1 показывает, на что способен агент при удачном раскладе событий, а pass^k — что он делает на практике. Пользователи не живут по средним значениям; они живут в своем собственном случае, который либо сработал, либо нет. Цифра 61% в τ-bench создавала впечатление способностей агента, но показатель 25% при pass⁸ больше напоминал случайный бросок монеты с весовым коэффициентом. Оценки точности не врут — они просто измеряют не то, что необходимо в реальных условиях использования.
Следует сказать несколько слов о структуре набора данных. Если эталонные данные представляют собой ожидаемые результаты работы модели, то метрики оценки измеряют качество этих результатов. Если же эталонные данные включают ожидаемые изменения состояния системы — такие как обновленные записи, запущенные действия и зарегистрированные решения, — тогда метрики показывают, выполнил ли агент свою задачу. Создание второго типа наборов данных требует больше усилий, но он гораздо полезнее.