Від оцінок до самовдосконалюваних агентів: п’ять епох оцінки агентів
Оцінка агента тепер означає аудит слідів дій. Подивіться, як детерміністичні перевірки, судді на основі LLM, діагностика та мета-інструменти створюють безпечний цикл вдосконалення.
Джерела: From Evals to Self-Improving Agents
Коротка версія
- Раніше оцінка агента означала читання його останньої відповіді. Тепер це означає читання всього результату роботи.
- Від рук написані детерміністичні тести залишаються корисними, хоча вони можуть виявити лише проблеми, які хтось передбачив.
- Суддя у вигляді мовної моделі відповідає критеріям оцінки результатів. Суддя, який є сам агентом, враховує проблеми на шляху виконання, у використанні інструментів та у робочому процесі.
- Наступним кроком є діагностика на основі слідів роботи: виявлення закономірностей невдач, які повторюються під час тисяч реальних виконань.
- Агент, який сам себе вдосконалює, потребує мета-інструментів — телеметрії, діагностики, пропозицій щодо виправлень, тестування в ізольованому середовищі, підтвердження ефективності, поетапного впровадження та способу забезпечення чесності самих оцінювачів.
Чому самі лише результати більше недостатні
Перші додатки на основі LLM були короткими та переважно лінійними: надходив запит, отримувалася відповідь, і хтось її перевіряв. Агенти змінили таку структуру. Вони планують дії на кілька кроків, використовують інструменти, читають та записують інформацію про стан, редагують файли, відновлюються після невдалих дій, делегують завдання підагентам та залишаються активними протягом тривалого часу.
Те, що залишає після себе така система, — це траєкторія виконання. Вона містить запит, контекст системи, все, що було отримано, проміжні міркування, кожен виклик інструменту та результати його використання, спроби повторного виконання, помилки, записи в пам’ять, час виконання та кінцевий результат. Для оцінки цей запис став справжнім артефактом виконання.
Тож оцінювання має змінитися у напрямку аудиту. Правильна на вигляд відповідь може ґрунтуватися на неправильному використанні інструменту, проігнорованій обмеженні, несумісному результаті пошуку, циклі повторних спроб, якого ніхто не бачив, погано обраному контексті, ризикованому відновленні чи припущенні без підстав. Саме ці недоліки є найдорожчими, адже вони накопичуються протягом багатьох виконань та поступово підривають надійність.
У цій схемі оцінювання виступає як шар контролю. Воно поєднує живі записи діяльності, оцінювачів за шкалою, оцінювачів-агентів, аналіз первинних причин, повторні виконання в ізольованому середовищі, набори тестів на регресію та механізми розгортання. Метою є не людина, яка переглядає кожну зміну, а мета-система, яка виявляє закономірності збоїв, розробляє виправлення, тестує їх на минулих та складних випадках та надсилає людям лише ті ситуації, де їхня оцінка має значення.
Перший шар: детерміністичні перевірки
Перевірки на основі правил залишаються основою, оскільки вони виявляють все, що можна заздалегідь описати. Код проходить тестування одиниць, перевірку типів, аналізатори коду, сканери безпеки, тестування контрактів та створення знімків стану. Структурований вихід проходить перевірку схеми, має обов’язкові поля, дозволені значення, форматування дат, валідний JSON та обмеження політики.
Використовуйте їх там, де очікуваний результат є чітко визначеним. Вони працюють швидко, коштують недорого, завжди дають однакову відповідь та легко піддаються дебагуванню. Проблема полягає у охопленні: тестується лише те, що хтось запам’ятав включити до коду.
До показників, які можна виміряти за їх допомогою, належать кількість пройдених тестів, ступінь охоплення поведінкових тверджень, відповідність схемі, час виконання, повторюваність та точність виявлення помилок. Вони підходять для API, змін у коді, обробки даних, форм, регульованих процесів та завдань, обмежених суворими правилами.
Другий рівень: мовна модель як суддя
Судді, які використовують ШІ, поширилися через те, що багато проблем із штучним інтелектом пов’язані з якістю. Відповідь може здаватися гладкою, але все одно щось пропустити. Підсумок може бути легким для читання, проте все одно не відображати суті. Повідомлення підтримки може звучати впевнено, але при цьому порушувати правила.
Загальний підхід полягає у тому, що модель оцінює результат відповідно до письмової шкали критеріїв – можливо, щодо фактичної точності, дотримання інструкцій, повноти, тону, безпеки, якості посилань та загальної корисності – та надає відповідь у вигляді мітки, оцінки, обґрунтування та підтверджувальних доказів. Цей підхід ідеально підходить, коли результат має знайому форму, але все одно потребує суб’єктивної оцінки, і дозволяє масштабувати процес перевірки без необхідності переглядати все людиною.
Саме тут виникають проблеми через нечіткі критерії оцінювання. Попросіть суддю шукати „хорошу відповідь“ — тоді якість формулювань буде винагороджуватися. Якщо попросити його перевірити докази, обмеження та можливі сценарії невдачі, інструмент стане набагато кориснішим.
Судді заслуговують на власну систему оцінювання: наскільки послідовні їхні бали, як часто різні судді погоджуються, наскільки обґрунтованими є наведені аргументи, наскільки добре підкріплені докази, як часто вони помилково схвалюють чи відхиляють результат та наскільки точно вони відповідають людським оцінкам. Вони використовуються для підсумків, відповідей з підтримкою, оцінки якості тексту, перевірки політик, якості вилучення інформації та відповідей, що ґрунтуються на глибоких аргументах та мають чіткі критерії.
Третій рівень: агент як суддя
Агенти залишають після себе траєкторії дій, тож суддя, який бачить лише кінцевий результат, пропускає найсильніші сигнали. Агент-суддя аналізує весь процес — включаючи запити, спосіб вибору контексту, виклики інструментів, спостереження протягом процесу, спроби повтору, відредаговані файли, проведені тести та кінцевий продукт. Він ставить цілеспрямовані запитання: чи був інструмент правильно обраний? Чи був невдалий тест проігнорований? Чи був контекст застарілим? Чи змінилися непов’язані файли? Чи зупинився агент до завершення роботи?
Це має значення, тому що збої агентів часто є непомітними. Результат може пройти поверхневу перевірку, тоді як шлях, який його створив, виявляє справжню проблему.
Корисними показниками є наявність чи відсутність коректної траєкторії руху, якістю маршрутизації інструментів, способом відновлення агента, використанням доказів, завершенням завдання, ефективністю виявлення прихованих несправностей та правильністю подальших дій. Це стосується кодування, досліджень, обробки даних, браузерних та робочих процесів агентів, а також будь-яких ситуацій, де маршрут має таке ж значення, як і кінцева точка.
Четвертий рівень: діагностика слідів
На четвертому рівні аналізується не окремий запуск, а сукупність даних. Агент діагностики читає тисячі слідів та визначає, що змінилося. Можливо, несправності почали з’являтися після зміни параметрів. Можливо, для аналізу таблиць обирається неправильний інструмент. Можливо, затримка зростає, коли система повертає занадто багато файлів. Можливо, агент контролю якості виявляє хибні дані, але дозволяє пропустити недотримані вимоги.
Його завдання — прив’язати зміну продуктивності до конкретної причини: вибір контексту, формулювання запиту, маршрутизація інструментів, налаштування робочого процесу, поведінка моделі, якість отримання даних чи сам код. Недостатньо лише повідомити про зниження оцінки. Результатом має бути конкретне рішення, наприклад, корекція запиту, додавання нового випадку оцінки, зміна порогу маршрутизації, оновлення функцій, зміна коду чи подання запиту на зміни.
Якість тут залежить від того, наскільки повністю охоплюються всі аспекти, наскільки точно називаються кореневі причини, наскільки ефективно виявляється відхилення, як групуються збої, наскільки впевнені у причинах, наскільки хорошим є запропоноване рішення та наскільки воно є ризикованим з точки зору можливих регресій. Це підходить для платформ продакшн-агентів, зайнятих співробітників підтримки, асистентів з програмування, корпоративних агентів робочих процесів та всього, що часто оновлюється.
П’ятий рівень: закриття циклу
У верхній частині цикл закривається. Збирається телеметрія, діагностуються постійні збої, генерується можливе рішення та протестується в сандбоксі, потім перевіряється за допомогою ідеальних наборів даних та попередніх записів, і нарешті впроваджується через контрольоване розгортання. У цей момент самосвідоме вдосконалення стає справжньою інженерною практикою, а не просто ідеєю.
Агент не повинен впроваджувати зміни лише через те, що один показник трохи підвищився. Необхідні захисні механізми: тести на регресію, сценарії атак, контрфактичні запити, трафік типу „канарейка“, плани на скасування змін та порогові значення для залучення людини.
Найбільшою небезпекою є маніпулювання оцінками. Агент може навчитися задовольнити свого оцінювача, не виконуючи справжньої роботи. Агент, який працює з кодом, може приховати помилку, агент, який працює з зображеннями, може вигадати деталі для підвищення візуальної оцінки, а агент, який працює з текстом, може слідувати формулюванням з критеріїв оцінювання, втрачаючи при цьому особливості стилю автора. Тому оцінювачам потрібне саме оцінювання з використанням незалежних перевірок, стандартів, розроблених людьми, аналізу розбіжностей, багатошарової перевірки якості та регулярної корекції критеріїв оцінювання.
Використання оцінювання як системи керування
Найглибші зміни стосуються функціонування. Команди повинні використовувати оцінювання як систему керування платформою агентів, і хороша програма дає відповіді на п’ять запитань:
- Чи було завдання виконано? Важливою є відповідь, а також дотримання інструкцій, точність фактів, відповідність правилам та критерії успіху, специфічні для завдання.
- Чи був маршрут коректним? З урахуванням використаних інструментів перевіряється, які з них працювали, які докази їх підтримували, скільки разів відбувалися спроби повторного запуску, що зламалося без попередження та чи відбулося підвищення рівня сервісу у правильний момент.
- Чому змінився рівень продуктивності? Зниження продуктивності у продакшені може бути спричинене запитами, поведінкою моделі, процесом отримання даних, пороговими значеннями маршрутизації, налаштуваннями робочого процесу, помилками інструментів чи коду, і під час діагностики необхідно розрізняти симптоми та причини.
- Чи можна безпечно запропонувати рішення? Перед випуском кандидатські рішення проходять тестування в сендбоксі, повторну обробку старих даних, тестування на складні сценарії та набори тестів на регресію.
- Хто аудитує аудитора? Судді також можуть помилятися, ставати більш поблажливими, суворішими чи легко піддаватися обману, тому потрібні набори для калібрування, критерії оцінки, перевірки на розбіжності та багатошаровий контроль якості.
Детерміністичні перевірки вирішують відомі проблеми, оцінювачі LLM визначають якість, агенти-оцінювачі перевіряють маршрути; агенти з діагностики виявляють повторювані закономірності, а мета-правила визначають, чи безпечно випускати покращення. Люди залишаються в процесі, але на вищому рівні: менше повторюваних перевірок, більше захисних механізмів, обробка винятків, калібрування та проектування політик.
Повернення результатів у продакшн
Коли система оцінювання працює, наступним кроком є навчання на основі реального використання. Телеметрія надає дані для діагностики, діагностика удосконалює процеси оцінювання, оцінювання спрямовує оптимізацію, а перевірені зміни потрапляють назад у етапну реалізацію. Два процеси працюють паралельно.
Один з підходів є якісним. Зворотний зв’язок від виробництва, дані користувачів, аналітика, невдалі завдання, звернення до підтримки та помилки інструментів не повинні просто залишатися на панелях керування. Вони мають потрапляти до процедур оцінки. Коли користувачі постійно виправляють одну й ту саму проблему, це є новим випадком тестування. Коли дані показують неправильний вибір інструменту, це є перевіркою правильності напрямку дій. Коли аналітика виявляє зниження ефективності на певному етапі, це є сценарієм, який варто перепройти.
Інший підхід — це систематична оптимізація. Як тільки специфікації, код та процедури оцінки стають зрозумілими, налаштування стають набагато більш методичними. Специфікації описують бажану поведінку, код містить логіку, обмеження, інструменти та шляхи виконання, а процедури оцінки надають показники, які визначають, чи покращилися справи. На основі цих трьох елементів інструменти можуть пропонувати швидкі зміни, корекцію порогових значень, налаштування маршрутизації, додаткові процедури оцінки чи зміни в коді.
Цикл, крок за кроком:
Сигнали реального використання живлять процес удосконалення оцінок, що сприяє оптимізації програми агента, яка потім тестується в сандбоксі, проходить тести на регресію, випускається під контролем та генерує нові сигнали реального використання.
За цим підходом оцінки — це не щось, що видається один раз. Це цикл роботи, який сприяє вдосконаленню агента: навчання на основі реального використання, перетворення цього досвіду на більш точні оцінки, налаштування агента відповідно до них та випуск лише тих функцій, які пройшли перевірку.