Почему агенты проходят все оффлайн-тесты, но всё равно терпят неудачу в реальных условиях работы
Шесть режимов дрифта постепенно влияют на набор данных для оценки. Оценка по четырем осям и еженедельный цикл группировки и повышения уровня помогают получать точные показатели CI, соответствующие реальному поведению трафика.
Источники: Why Your Agent Passes Every Eval and Still Fails in Production
Представьте себе сотрудника службы поддержки, который проходит проверку своего набора инструментов CI: 47 сценариев, четыре критерия оценки — все показатели в зеленой зоне, поэтому система одобряет его к использованию. Через несколько недель после внедрения она начинает указывать суммы возврата, отличающиеся в десять раз от реальных. Система противоречит сама себе при каждом новом обращении пользователя. В одном из отчетов она показывает пользователю заказ другого клиента. Однако при анализе неудачных разговоров каждый из них по-прежнему получает высокий балл по критерию точности ответов на каждый вопрос. Тем не менее все разговоры в итоге провалились с точки зрения удовлетворенности пользователя. Система рекомендовала их использовать, но к тому моменту доверие к ней уже исчезло.
Вина не в критериях оценки
Первый инстинкт — винить рубрику. Лучше считать, что в марте всё было в порядке, а к апрелю данные устарели, поскольку процесс производства никогда не прекращался. Набор для оценки — это моментальная фотография, тогда как производство — это река. Результаты оценки не поступают в продакшн, в отличие от трейсов. Каждая версия начинает «стареть» с момента своего выпуска, и если новые моди фейлов не попадают обратно в набор для оффлайн-тестирования, разница между успешным тестированием в оффлайне и неудачей в реальном времени — это не случайность. Это следует из самой логики.
Достаточное количество подобных инцидентов приводит к одному выводу: следует оценивать трейсы из продакшна, а не тщательно подобранные тест-кейсы. Оффлайн-тесты по-прежнему являются полезным инструментом для проверки на регрессию, но они никогда не могут быть единственным барьером между изменениями и их выпуском, поскольку то, что они измеряют, исчезает в момент фиксации версии. Шесть видов дрейфа постепенно разрушают любой набор для оценки, причем каждый из них действует со своей скоростью:
- Смещение набора данных: все тестовые примеры проходят проверку, тогда как в реальных условиях поступают запросы от пользователей, которых ранее не было в наборе.
- Смещение между инструментом и API: моки возвращают данные в том же формате, однако поставщик изменил схемы или коды ошибок.
- Смещение в формулировках запросов: критерии оценки были зафиксированы для версии запросов v3, тогда как в реальных условиях используется версия v17, но критерии по-прежнему применяются к v3.
- Смещение корпуса данных: индекс был зафиксирован на этапе создания, тогда как в реальных условиях объем индекса удвоился, и тот же запрос теперь обрабатывается в новых фрагментах данных.
- Смещение в распределении пользователей: тестовые данные вводились вручную, тогда как реальные запросы сильно от них отличаются.
- Накопление ошибок на этапах выполнения агента: каждый этап с успехом выполняется в 95 процентах случаев, однако восемь последовательных этапов дают всего около 66 процентов успехов.
Замораживание набора данных для оценки означает замораживание гипотез о том, что будут делать пользователи, как отреагируют инструменты, какой запрос будет активен и что покажет система поиска. Через несколько месяцев каждая из этих предположений сместилась на разное расстояние, и критерии оценки, ранее считавшие результат успешным, теперь применяются к миру, в котором уже не существует агента.
На самом деле с критериями оценки всё в порядке. Они просто устарели, подобно тесту единицы, целевая функция которого была переписана под ним: результат «зелёный», но без какой-либо реальной пользы. Для программного обеспечения решением является новый тест новой функции. Для агентов — оценка реальных данных в режиме работы. Таким образом, одно определение критериев оценки выполняет две функции: оно служит основой для проверки в рамках CI на основе версионированного набора данных и одновременно используется для оценки реальных данных в качестве атрибута на уровне отдельных операций. CI устанавливает минимальные стандарты, а показатели в режиме работы отслеживают реальную ситуацию; каждую неделю набор данных пополняется данными, только что отмеченными критериями оценки.
Как проявляется каждый вид смещения и как его устранить
Смещение набора данных. При запуске набор данных был составлен специалистами, а с тех пор пользователи начали использовать интенты, которые ранее никто не предвидел. Оценки не меняются, поскольку данные также не меняются. Следите за результатами работы в офлайн-режиме, которые остаются неизменными в течение месяцев, в то время как жалобы от пользователей становятся всё более разнообразными, а инженерам не удаётся воспроизвести большинство отчётов на основе тестового набора. Каждую неделю берите примеры неудачных трейсов, группируйте их по сегментам, интентам и оценкам, отметьте самые сложные 5–10 процентов специальным меткой версии перед тем, как добавить их в набор. Каждый такой отобранный трейс будет защищать систему от одного конкретного регресса.
Отклонения в API инструментов. Система CI использует имитацию инструмента, но в один вторник реальный конечный пункт изменяет свою схему, формат ошибок или правила ограничения скорости. Агент пытается выполнить запрос снова, цикл истекает, и агент генерирует убедительный ответ, однако статус CI остается «зеленым», поскольку имитация продолжает возвращать данные вчерашнего запроса. Признаками проблемы являются рост задержек и количества попыток, ответ, который всё равно считается успешным, и постоянное увеличение затрат на каждый успешный результат. Необходимо ввести отдельные критерии оценки успеха вызовов инструментов для реальных запросов, чтобы сбойный вызов отображался в трейсе рядом с соответствующим ответом. Имитации помогают выявлять регрессии, вызванные вами, а реальная оценка — те, что возникли из-за действий поставщика.
Смещение параметров запроса. Версия запроса v17 была введена в эксплуатацию в пятницу, тогда как критерии оценки по-прежнему отражают то, что имело значение в версии v3 ещё в феврале. Агент оценивается по устаревшим критериям. Хорошим признаком является старший инженер, который изучает десять примеров, не соглашается с решением эксперта в шести случаях и не может объяснить почему. Необходимо отправить обновление критериев оценки вместе с обновлением самого запроса, рассматривать его как тест на соответствие критериям, а также отслеживать степень согласия эксперта и человека на небольшом наборе примеров для калибровки, чтобы можно было заметить, когда критерии отстают от реальности.
Смещение корпуса поиска. В оценке системы поиска в марте рассматривалось 12 000 документов при одинаковом размере фрагментов. К маю количество документов в индексе выросло до 38 000, изменение способа включения данных повлияло на порядок ранжирования фрагментов, в результате чего одинаковый запрос начал возвращать другие результаты. Генератор верно работает на основе поступающих данных, поэтому показатель соответствия источнику по-прежнему составляет 0,94, несмотря на ошибки в исходном материале. Признаком проблемы является то, что пользователи считают бота менее полезным, чем в прошлом квартале, при том что критерии оценки генерации остались прежними. Оценку следует проводить по отдельным уровням. Критерии поиска, такие как релевантность контекста и присвоение фрагментам, выявляют изменения в индексе, однако оценки на этапе генерации маскируют их. Снижение релевантности при стабильном уровне соответствия указывает на проблемы с системой поиска, а противоположная ситуация — на проблемы с генератором. Один тест заменяет три дня угадываний.
Отклонение в распределении пользователей. Тот, кто создавал этот набор, либо писал примеры вручную, либо брал их из данных первого месяца работы сервиса. Позже реальные пользователи добавляют сленг, смешанные языки, длинные запросы, скриншоты и серии последующих сообщений, которых никогда не было в исходном наборе, поэтому алгоритм, обученный на отобранных данных, оценивает прямые разговоры гораздо более благосклонно, чем человек. Если результаты случайной проверки производственных данных отличаются от оценки алгоритма на 15 пунктов или более, инженеры перестают доверять этой шкале оценки и переходят на анализ сырых данных. Необходимо калибровать алгоритм на образцах из реальной работы сервиса, а не на наборе данных, и измерять разницу между оценками алгоритма и человека как отдельный показатель.
Композиция шагов. Предположим, что каждый шаг оценивается на 95 процентов, а сессия включает восемь вызовов инструментов. Если возведём 0,95 в восьмую степень, получим 0,66, то есть примерно две из трёх сессий заканчиваются ошибками, хотя каждый шаг казался корректным. Критерии оценки никогда не учитывали это умножение. Высокие показатели за отдельные шаги на фоне низких значений по завершённости, результату и удовлетворённости являются признаком проблем, как и жалобы на то, что бот постоянно задаёт одни и те же вопросы или сначала соглашается, а затем отказывает. Необходимо оценивать всю цепочку действий: завершённость, соблюдение ролей и удержание знаний на уровне разговора, а также оценку того, как план выполнялся в рамках дерева операций. Показатели, охватывающие несколько шагов, содержат больше шума за одинаковую сумму, но они гораздо точнее отражают реальный опыт пользователя.
Почему больший набор данных не помогает
У всех шести общее — временной момент. Каждый из них появляется после того, как набор данных для оценки замерзает, а фиксированный набор не может содержать гипотезу, которой ещё никто не придумал. Набор из 10 000 примеров за март ничего не знает о изменениях схемы инструмента в мае, правках запросов в июне, процедуре повторной инкорпорации данных в июле или о том, что пользователи в августе формулируют запросы иначе. Более большой набор не исправляет ситуацию в момент её зафиксирования; только выборка из реальных данных может это сделать, поэтому оценка должна проводиться там, где работает агент. Подобранные вручную данные являются причиной регрессии. Реальные трассы — это рабочий материал, в котором сбои собираются в группы и оцениваются по мере их возникновения. Каждая такая группа затем превращается в записи для следующего набора данных, и цикл начинается заново.
Оценка трассы по четырем осям
Степень точности ответа на каждый запрос недостаточно точна для выявления отклонений в поведении агента. Более полезная оценка трассы имеет четыре оси, каждая из которых оценивается по шкале от одного до пяти:
- Фактическая основа: оставался ли агент привязан к полученному контексту или выдумывал информацию. Это позволяет выявить смещения в данных и контексте на уровне ответа.
- Конфиденциальность и безопасность: произошла ли утечка персональных данных, были ли нарушены границы разделов системы или произошел «джейлбрейк», которому агент должен был отказать; это помогает обнаружить проблемы с разрешениями и отказами.
- Соблюдение инструкций: соблюдал ли агент текущие указания системы, особенно после обновления до версии v17, когда формат инструкций изменился, но поведение агента осталось прежним.
- Выполнение плана: использовал ли агент подходящие инструменты в правильном порядке, без избыточных вызовов или тупиковых ситуаций; это позволяет выявить проблемы с последовательностью действий и смещениями в использовании инструментов в структуре вызовов.
Четыре оси охватывают четыре вида регрессии и объединяются в один композитный показатель. Когда этот композитный показатель снижается по траектории, оси показывают, какой режим смещения произошел, и поскольку те же оси используются как в CI, так и в реальных тестах, словарь диагностических терминов совпадает в обоих случаях.
Закрытие цикла
Сокращение разрыва — это рабочий процесс, а не функция, и он состоит из пяти шагов:
- Группируют неисправные траектории в отдельные проблемы с именами, поскольку невозможно обработать простой список из 800 сбоев.
- Оценивают каждую группу по четырехосной шкале оценки траекторий и добавляют краткую запись о необходимых исправлениях.
- Переносят от трех до десяти типичных траекторий из каждой группы в оффлайн-набор, помечая их метками маршрутов и критериями оценки.
- Повторная проверка: при следующей сессии CI оцениваются добавленные записи с использованием критериев производственной системы оценки, так что последующие изменения по этому пути не могут вернуться назад.
- Оптимизируйте промпт с учётом расширенного набора данных, при этом исправления должны соответствовать критериям в CI перед выпуском.
Для продукта, находящегося в активном использовании, выполняйте это еженедельно или чаще во время сложного запуска. Статический набор данных, возраст которого превышает четверть года, редко соответствует реальным условиям работы, а у быстро меняющихся агентов отклонения становятся заметными в течение двух-трёх недель. Каждый инцидент, решённый таким образом, оставляет за собой тест на регрессию, который больше никому не нужно создавать заново.
Расходы, которые необходимо учесть
- Этот цикл увеличивает объём операционных задач. Оценка диапазонов, кластеризация и шаг повышения уровня представляют собой более сложные механизмы, чем просто папка с результатами оценки с помощью pytest. Взамен набор тестов на регрессию становится всё более сложным, а новый выпуск может осуществляться с использованием только трассировки и офлайн-оценок, с добавлением цикла позже.
- Судья, который сам настраивает себя, нуждается в собственной защите. Критерии оценки, адаптированные под реальный поток данных, могут сместиться в нежелательном направлении, поэтому следует сохранять небольшую группу данных с ручными метками и подавать сигнал тревоги, если судья отклонится от них больше, чем отклоняются друг от друга люди.
- Оценка, основанная на анализе данных, стоит дороже за единицу шума по сравнению с оффлайн-оценкой. Четырехосевые критерии оценки для 30-секундного фрагмента данных дороже, чем оценка за каждый ход в коротком случае, и имеют более значительные колебания. Отбор примеров следует осуществлять на основе сигналов сбоев, а не случайным образом, а перед дорогостоящим судьей следует разместить недорогой классификатор.
Краткая версия
Набор для оценки начинает «стареть» с момента его отправки, и размер набора не может исправить ситуацию с «замороженным» примером. Оценивайте текущий трейс, а не зафиксированный случай. Используйте одну и ту же шкалу оценки как в CI, так и при работе с реальными трейсами; оценивайте каждый вариант выполнения с точки зрения обоснованности, безопасности, соблюдения инструкций и выполнения плана, группируйте неудачи и еженедельно возвращайте их в оффлайн-набор. Прохождение тестов в оффлайн-режиме является обязательным. Настоящая защита пользователей достигается через проверку трейсов. Подобранный набор — это лишь исходный материал, а производственные данные — это тот набор, который вы постоянно пытаетесь получить.
Связанные материалы
- Оценка агентов с помощью бота для бронирования поездок: результаты против траекторий, шлюзы и критерии pass^k — пример оценки агентов в процессе бронирования поездок: оси результатов и траекторий, детерминистические шлюзы перед взвешенными оценками, 2x2-матрица, а также различия между критериями pass@k и pass^k.