Главная / Статьи

От оценок к самосовершенствующимся агентам: пять этапов развития оценки агентов

Оценка агентов теперь подразумевает аудит следов действий. Узнайте, как детерминистические проверки, судьи на основе LLM, диагностика и мета-механизмы создают безопасный цикл улучшений.

Издатель: REACTAPP.TOP7 мин чтения1716 слов

Источники: From Evals to Self-Improving Agents

Краткая версия

  1. Раньше оценка агента подразумевала прочтение его последнего ответа. Теперь же речь идет о прочтении всего результата работы.
  2. Ручные детерминистические тесты по-прежнему ценны, хотя они могут выявлять только те проблемы, которые кто-то предвидел заранее.
  3. Судья в виде языковой модели соответствует критериям оценки выводов. Судья, являющийся самим агентом, выявляет сбои на этапе выполнения задач, при использовании инструментов и в рамках рабочего процесса.
  4. Далее следует диагностика на основе записей: выявление повторяющихся паттернов сбоев в тысячах реальных запусков.
  5. Агент, способный совершенствоваться сам, требует мета-инструментов — телеметрии, диагностики, предложенных исправлений, тестирования в изолированной среде, верификации, поэтапного внедрения, а также способа обеспечения честности самих оценщиков.

Почему одних только выводов уже недостаточно

Первые приложения на основе LLM были короткими и в основном линейными: вводился запрос, поступал ответ, и кто-то его проверял. Агенты нарушили эту структуру. Они планируют действия на несколько шагов вперед, вызывают инструменты, читают и записывают информацию о состоянии, редактируют файлы, восстанавливаются после неудачных действий, делегируют задачи подагентам и долгое время остаются активными.

То, что остается после работы такой системы, — это траектория её действий. В ней хранятся запрос, контекст системы, все полученные данные, промежуточные рассуждения, каждый вызов инструмента и результаты его работы, попытки повтора, ошибки, записи в память, затраченное время, временные рамки и окончательный результат. Для целей оценки именно эта запись становится настоящим отражением процесса выполнения задачи.

Поэтому система оценки должна трансформироваться в систему аудита. Правильно выглядящий ответ может сосуществовать с неверным использованием инструментов, упущенными ограничениями, нерелевантными результатами поиска, циклами повторных попыток, которые никто не заметил, плохо подобранным контекстом, рискованными методами восстановления или предположениями без оснований. Именно эти недостатки становятся самыми дорогостоящими, поскольку они накапливаются со временем и тихо подрывают надежность.

В такой схеме оценка выполняет роль слоя контроля. Она объединяет информацию о реальных действиях, критерии оценки, оценку агентами, анализ корневых причин, воспроизведение сценариев в изолированной среде, наборы тестов на обратную совместимость и механизмы развертывания. Целью не является проверка каждого отдельного взаимодействия человеком; речь идет о метасистеме, которая выявляет закономерности сбоев, разрабатывает решения, тестирует их на прошлых и сложных случаях, и передает людям только те ситуации, в которых их суждение имеет значение.

Первый слой: детерминистические проверки

Проверки на основе правил остаются основой, поскольку они позволяют выявить всё, что можно заранее описать. Код проходит тесты на единицы, проверку типов, анализаторы кода, сканеры безопасности, тесты на соблюдение контрактов и генерацию снимков состояния. Структурированный вывод проходит проверку схемы, определяются обязательные поля, допустимые значения, формат дат, корректность JSON и лимиты политик.

Используйте их там, где ожидаемый результат явно определён. Они работают быстро, стоят недорого, всегда дают одинаковый результат и их легко отлаживать. Недостаток заключается в охвате: тестируется только то, что кто-то вспомнил включить в код.

Показатели, которые можно измерять с их помощью, включают процент успешных тестов, степень охвата поведенческих утверждений, соответствие схеме, время выполнения, воспроизводимость и точность определения места сбоя. Они подходят для API, изменений в коде, извлечения данных, форм, регулируемых процессов и задач, ограниченных строгими правилами.

Второй уровень: языковая модель в роли судьи

Судьи, использующие ИИ-модели, появились потому, что многие сбои искусственного интеллекта связаны с качеством ответов. Ответ может звучать гладко, но при этом упускать важные детали. Краткое изложение может быть легко читаемым, но всё равно не передавать суть. Сообщение поддержки может казаться уверенным, но при этом нарушать правила.

Принцип работы заключается в том, что модель оценивает результат согласно заранее определённым критериям — точность фактов, соблюдение инструкций, полнота, тон, безопасность, качество цитат и общая полезность, — после чего выдает метку, оценку, обоснование и доказательства. Этот подход хорошо подходит, когда результат имеет знакомую структуру, но всё равно требует субъективного суждения, и позволяет масштабировать процесс рецензирования без необходимости в ручном прочтении всего контента человеком.

Проблемы возникают из-за нечетких критериев оценки. Если попросить судью искать «хороший ответ», то за качественную подачу материала будет предоставлена награда. Если же попросить его проверять доказательства, ограничения и возможные сценарии сбоев, инструмент становится гораздо более полезным.

Для судей необходимы собственные показатели оценки: насколько последовательны их баллы, как часто соглашаются разные судьи, насколько обоснованными являются приведенные аргументы, насколько надежны доказательства, как часто они ошибочно считают ответ успешным или неудачным, и насколько точно они соответствуют человеческим оценкам. Они используются для оценки кратких резюме, ответов с поддержкой, качества текста, анализа политик, качества извлечения информации и ответов, основанных на сложном обосновании с четкими критериями.

Третий уровень: агент в роли судьи

Агенты оставляют за собой траектории действий, поэтому судья, видящий только конечный результат, упускает самые важные сигналы. Судья-агент анализирует весь процесс выполнения задачи: вводные данные, способ выбора контекста, вызовы инструментов, наблюдения на протяжении всего процесса, попытки повтора, отредактированные файлы, выполненные тесты и конечный продукт. Он задаёт целенаправленные вопросы: был ли инструмент правильно выбран? Был ли неудачный тест проигнорирован? Устарел ли контекст? Изменились ли несвязанные файлы? Остановился ли агент до завершения работы?

Это важно, потому что сбои агентов часто бывают незаметными. Результат может пройти поверхностную проверку, в то время как путь, который привёл к его получению, выявляет настоящий дефект.

Полезными показателями являются корректность траектории, качество выбора инструментов, способность агента восстанавливаться, использование им имеющихся доказательств, завершение задачи, эффективность обнаружения скрытых сбоев и правильность принимаемых решений о повышении уровня сложности. Это полезно для кодинга, исследований, работы с данными, браузерных и рабочих процессов, а также для любых ситуаций, где маршрут имеет столь же важное значение, как и конечная точка.

Четвертый уровень: диагностика следов

На четвертом уровне рассматриваются не отдельные запуски, а общая картина. Агент-диагност читает тысячи записей и определяет, что изменилось. Возможно, сбои участились после изменения параметров. Возможно, для анализа таблиц выбирается неподходящий инструмент. Возможно, задержки возникают, когда система возвращает слишком много файлов. Возможно, агент контроля качества выявляет ошибки, но пропускает невыполненные требования.

Его задача — связать изменение производительности с конкретной причиной: выбор контекста, формулировка запроса, маршрутизация инструментов, настройка рабочего процесса, поведение модели, качество поиска данных или сам код. Одних лишь сообщений о снижении оценки недостаточно. Результатом должно стать конкретное решение, такое как правка запроса, добавление примера оценки, корректировка порога маршрутизации, обновление навыка, изменение кода или отправка пул-реквеста.

Качество здесь зависит от того, насколько полно покрываются все аспекты, насколько точно называются корневые причины, насколько эффективно обнаруживается отклонение, как группируются сбои, насколько уверенны в причинно-следственных связях, насколько хорошо предложенное решение и насколько велик риск регрессии. Этот подход подходит для платформ производственных агентов, занятых сотрудников службы поддержки, помощников по программированию, корпоративных агентов рабочих процессов и всего, что часто обновляется.

Пятый уровень: замыкание цикла

В верхней части цикл завершается. Собираются данные телеметрии, диагностируются повторяющиеся сбои, генерируется возможное решение, которое тестируется в среде симуляции, затем сравнивается с эталонными наборами данных и предыдущими записями, и, наконец, внедряется поэтапно с контролем. В этот момент процесс самосовершенствования превращается в настоящую инженерную деятельность, а не просто эмоциональные реакции.

Агент не должен внедрять изменения только потому, что один показатель немного вырос. Необходимы определенные механизмы контроля: тесты на регрессию, адверсарские сценарии, контрфактические запросы, тестовый трафик, планы отката и критерии для привлечения человека для решения проблемы.

Самой серьезной угрозой является манипуляция оценками. Агент может научиться удовлетворять своего оценщика, не выполняя реальную работу. Агент, занимающийся программированием, может скрыть ошибку, агент, работающий с изображениями, — придумать детали для повышения визуальной оценки, а агент, занимающийся написанием текстов, — следовать формулировкам из критериев оценки, теряя при этом уникальный стиль автора. Поэтому оценщикам необходимо самим проводить оценку с использованием независимых проверок, эталонов, разработанных людьми, анализа разногласий, многоуровневой проверки качества и регулярной корректировки критериев оценки.

Использование оценки в качестве системы управления

Самые значимые изменения касаются операционной части. Командам следует использовать оценку в качестве системы управления платформой агентов, причем хорошая программа отвечает на пять вопросов:

  1. Была ли задача выполнена? Важны как результат выполнения, так и соблюдение инструкций, точность фактов, соответствие правилам, а также критерии успеха, специфичные для данной задачи.
  2. Был ли маршрут корректным? С учётом использованных инструментов необходимо выяснить, какие из них работали, какие доказательства их подтверждали, сколько раз происходили попытки повтора, что сломалось без предупреждения и была ли своевременно инициирована процедура усиления мер реагирования.
  3. Почему изменилась производительность? Снижение эффективности в производственной среде может быть связано с запросами, поведением модели, процессом извлечения данных, пороговыми значениями маршрутизации, настройками рабочего процесса, ошибками инструментов или кодом; при диагностике необходимо отличать симптомы от причин.
  4. Можно ли безопасно предложить решение? Перед выпуском кандидатские решения проходят тестирование в среде симуляции, воспроизведение старых записей, тестирование на агрессивные сценарии и проверку на регрессию.
  5. Кто проверяет того, кто проверяет? Даже судьи могут ошибаться, становясь слишком снисходительными, строгими или уязвимыми к обману, поэтому требуются наборы для калибровки, эталоны, проверяемые людьми, механизмы выявления несогласий и многоуровневая проверка качества.

Детерминистические проверки обрабатывают известные сбои, оценщики LLM определяют качество, агенты-проверщики анализируют маршруты; агенты-диагносты выявляют повторяющиеся паттерны, а мета-правила определяют, безопасно ли внедрять улучшения. Люди продолжают участвовать в процессе, но на более высоком уровне: меньше повторяющихся проверок, больше ограничений, обработка исключений, калибровка и разработка политик.

Возвращение данных из производства

После запуска системы оценки следующим шагом является извлечение уроков из реального использования. Телеметрия предоставляет данные для диагностики, диагностика усовершенствует процессы оценки, оценки направляют процесс оптимизации, а проверенные изменения возвращаются для поэтапного внедрения. Два процесса работают параллельно.

Один из подходов носит качественный характер. Отзывы от пользователей, их действия, аналитические данные, неудачные операции, обращения в службу поддержки и ошибки инструментов не должны просто оставаться на панелях управления. Они должны попадать в процесс оценки. Когда пользователи постоянно исправляют один и тот же результат, это уже новый случай тестирования. Когда данные показывают неправильный выбор инструмента, это повод проверить алгоритм действий. Когда аналитика выявляет сбои на определённом этапе, это сценарий, который стоит повторить.

Другой подход — систематическая оптимизация. Как только спецификации, код и результаты оценки становятся ясными, настройки начинают осуществляться гораздо более методично. Спецификации описывают желаемое поведение, код содержит логику, ограничения, инструменты и алгоритмы обработки, а результаты оценки предоставляют показатели, позволяющие определить, улучшились ли вещи. Исходя из этих трёх элементов, инструменты могут предлагать оперативные правки, изменения пороговых значений, корректировки алгоритмов обработки, дополнительные тесты или изменения в коде.

Цикл, шаг за шагом:

Сигналы реального использования питают процесс улучшения оценок, что способствует оптимизации программы агента. Эта оптимизированная версия тестируется в среде симуляции, проходит тесты на регрессию, выпускается под контролем, после чего генерируются новые сигналы реального использования.

С этой точки зрения оценки — это не единовременно присвоенные баллы. Это операционный цикл, обеспечивающий совершенствование агента: обучение на основе реального использования, преобразование этого опыта в более точные оценки, настройка агента с учётом этих оценок и выпуск только тех версий, которые выдерживают проверку.