Головна / Статті

Чому агенти проходять кожну офлайн-оцінку, але все одно зазнають невдач у продакшені

Шість режимів дрифту поступово старіють набір для оцінки. Оцінка за чотирма вісьми та щотижневий цикл групування та підвищення рівня забезпечують точність індикатора CI щодо реальної поведінки трафіку.

Видавець: REACTAPP.TOP9 хв читання1994 слів

Джерела: Why Your Agent Passes Every Eval and Still Fails in Production

Уявіть собі агента служби підтримки клієнтів, який проходить перевірку свого набору інструментів CI: 47 сценаріїв, чотири критерії оцінки — усе у «зеленому» статусі, тож система схвалюється до використання. Через кілька тижнів після запуску вона пропонує суми повернення грошей, які відрізняються в десять разів. Вона сама собі суперечить з однієї розмови на іншу. У одному зі записів вона показує користувачеві замовлення іншого клієнта. Проте коли дістають невдалі розмови, кожна з них все одно отримує високий бал за дотримання критеріїв у кожній окремій розмові. У будь-якому разі кожна розмова провалилась для користувача. Оцінка сказала схвалити систему, але до того часу довіра вже зникла.

Критерії оцінки — не причина проблеми

Перша інстинктивна реакція — звинувачувати критерії оцінки. Краще розуміння полягає у тому, що у березні все було гаразд, а до квітня дані почали старіти, оскільки процес виробництва ніколи не зупинявся. Набір даних для оцінки — це лише моментальний знімок, тоді як виробництво — це річка. Дані оцінки не використовуються у реальному середовищі, тоді як дані трекінгу — так. Кожен випуск починає «старіти» набір даних з моменту його створення, і якщо нові моделі збоїв не потрапляють назад у набір даних для офлайн-тестування, різниця між успішним тестуванням в офлайн-режимі та невдачею у реальному середовищі не є випадковістю. Це випливає з самої логіки справи.

Достатня кількість подібних інцидентів дозволяє зробити один висновок: потрібно оцінювати дані трекінгу з реального виробництва, а не підготовлені спеціально тести. Офлайн-тести все ще є корисним етапом перевірки на зміни, але вони ніколи не можуть бути єдиним фактором, який стримує випуск змін, адже те, що вони вимірюють, зникає в момент збереження даних. Шість видів девіацій поступово псують будь-який набір даних для оцінки, кожен з них діє у власному темпі:

  • Зміна датасету: у відібраних прикладах усе працює коректно, тоді як у продакшені з’являються інтенти користувачів, яких раніше не було.
  • Зміна інструменту-API: моки повертають однакову структуру даних, проте постачальник змінив схеми чи коди помилок.
  • Зміна формулювання запиту: критерії оцінювання були зафіксовані для версії запиту v3, тоді як у продакшені використовується версія v17, а критерії все ще застосовуються до v3.
  • Зміна корпусу даних: індекс був зафіксований під час створення, тоді як у продакшені кількість даних подвоїлась, і той самий запит тепер потрапляє до нових фрагментів.
  • Зміна розподілу користувачів: тестові дані були створені вручну, тоді як реальний трафік зовсім не схожий на них.
  • Кумулятивний ефект кроків агента: кожен крок успішний у 95 відсотках випадків, проте вісім кроків поспіль дають приблизно 66 відсотків успішності.

Заморожування набору даних для оцінки означає заморожування припущень щодо того, що будуть робити користувачі, як відреагують інструменти, який запит залишиться активним та що буде відображатися системою пошуку. Через кілька місяців кожне з цих припущень змістилося на різну відстань, і критерії оцінки, які раніше дозволяли вважати результат успішним, тепер оцінюють світ, у якому агент більше не існує.

Насправді з критеріями оцінки нічого поганого немає. Вони просто устаріли, як тест одиниці, цільова функція якого була переписана під ним: результат „зелений“, але це нічого не захищає. Для програмного забезпечення рішенням є новий тест нової функції. Для агентів рішенням є оцінка реальних даних у режимі реального часу. Одна визначення критеріїв оцінки тоді виконує дві функції: воно використовується для контролю CI над версіонованим набором даних та для оцінки реальних даних як атрибута на рівні окремих етапів. CI встановлює мінімальні стандарти, а показники у режимі реального часу відстежують поточну реальність, причому щотижня набір даних оновлюється даними, які щойно були позначені критеріями оцінки.

Як проявляється кожен зсув та як його виправити

Зсув набору даних. На початковому етапі хтось склав цей набір, і з того часу користувачі придумують інтенти, яких ніхто не передбачав. Оцінки не змінюються, тому що дані також не змінююся. Слідкуйте за результатами роботи офлайн, які залишаються стабільними протягом місяців, тоді як скарги від користувачів стають все різноманітнішими, а інженери не можуть відтворити більшість звітів на основі тестового набору. Щотижня беріть зразки неуспішних траєкторій, групуйте їх за сегментом, інтентом та оцінкою, позначте найскладніші 5–10 відсотків версією перед тим, як додати їх до набору. Кожна така траєкторія потім слугує захистом від певної регресії.

Відхилення Tool-API. CI використовує імітований інструмент, і одного вівторка реальний кінцевий пункт змінює свою схему, формат помилки чи правила обмеження частоти запитів. Агент намагається знову, цикл тайм-аутує, і агент створює переконливу відповідь, але CI залишається у стані „зеленого“ кольору, оскільки імітація продовжує повертати дані з вчорашнього дня. Ознаками є зростання затримки та кількості спроб, оцінка відповіді, яка все ще вважається успішною, та зростання витрат за кожен успішний результат. Необхідно встановити окрему оцінку для успішних викликів інструментів у реальних умовах, щоб зламаний виклик відображався в трасуванні поруч із зламаною відповіддю. Імітації допомагаюють виявити регресії, спричинені вами, а реальне оцінювання — ті, що стали наслідком дій постачальника.

Відхилення запиту. Запит v17 було впроваджено у п’ятницю, тоді як критерії оцінки досі відображають те, що мало значення у версії v3 у лютому. Робота оцінюється за застарілими критеріями. Хорошою ознакою є старший інженер, який аналізує десять записів, не погоджується з оцінкою судді у шести випадках та не може пояснити чому. Необхідно надіслати зміни до критеріїв оцінки разом із змінами до запиту, розглядати їх як тест на дотримання умов контракту та стежити за згодою судді та людини щодо невеликої групи даних для калібрування, щоб можна було помітити, коли критерії відстають.

Зміна корпусу для пошуку. Оцінка системи пошуку у березні охоплювала 12 000 документів та один розмір фрагментів. До травня кількість документів у індексі зросла до 38 000, зміна способу включення даних у модель вплинула на порядок ранжування фрагментів, і той самий запит почав повертати інші результати. Генератор слідує тому, що надходить, тому показник обґрунтованості все ще становить 0,94, хоча вихідні дані є неправильними. Симптомом цього є те, що користувачі вважають бота менш корисним, ніж у попередньому кварталі, при тому що критерії генерації залишилися незмінними. Необхідно проводити оцінку окремо за кожним рівнем. Критерії пошуку, такі як релевантність контексту та приналежність фрагментів, виявляють зміни в індексі ще до того, як оцінки генерації їх приховують. Зниження релевантності при стабільному рівні обґрунтованості вказує на проблеми з системою пошуку, а протилежна ситуація — на проблеми з генератором. Одна перевірка замінює три дні припущень.

Відхилення у розподілі користувачів. Той, хто створював цей набір, або писав приклади вручну, або брав їх з першого місяця роботи системи. Справжні користувачі згодом використовують сленг, змішані мови, довгі запити, скріншоти та послідовності запитань, яких набір ніколи не бачив, тому алгоритм, налаштований на відібрані дані, оцінює прямі розмови набагато прихильніше, ніж це зробив би людина. Якщо під час попередньої перевірки дані з реальної роботи відрізняються від даних алгоритму на 15 пунктів або більше, інженери перестають довіряти цій шкалі оцінювання та звертаються до аналізу необроблених даних. Налаштовуйте алгоритм на зразки з реальної роботи, а не на набір даних, та вимірюйте розбіжності між алгоритмом та людиною як окремий показник.

Композиція кроків. Припустимо, що кожен крок оцінюється на 95 відсотків, а сесія включає вісім викликів інструментів. Піднімаємо 0,95 до восьмої степені — результат дорівнює 0,66, тож приблизно дві з трьох сесій закінчуються проблемами, хоча кожен окремий крок здавався коректним. Критерії оцінки ніколи не враховували це множення. Високі показники за кожен крок разом із низькими значеннями завершення, результату та задоволення є ознакою проблем, як і заявки про те, що бот постійно запитує про одне й те саме або спочатку погоджується, а потім відмовляє. Оцінюйте всю динаміку: повноту виконання, дотримання ролей та збереження знань на рівні розмови, а також оцінку того, як план був реалізований у межах дерева операцій. Показники, які охоплюють кілька кроків, містять більше шуму, проте вони набагато точніше відображають реальний досвід користувача.

Чому більший набір даних не допомагає

Те, що є спільним у цих шести випадках, — це час. Кожен з них з’являється після того, як набір даних для оцінки застиг, а фіксований набір не може містити гіпотезу, якої ще ніхто не мав. Набір з 10 000 прикладів з березня нічого не знає про зміни схеми інструменту у травні, перегляд запитів у червні, процедуру повторного вбудовування даних у липні чи про користувачів, які формулюють запити по-іншому у серпні. Більший набір даних не виправляє ситуацію, яка склалася на момент зйомки знімка, і лише відбір даних з реальної роботи це може зробити, тому оцінка має відбуватися там, де працює агент. Відібрані дані є початковим матеріалом для регресій. Живі записи є робочим матеріалом, де помилки групуються та оцінюються в момент їх виникнення. Кожна така група потім стає елементами набору даних на наступний день, і цикл починається знову.

Оцінка сліду за чотирма осями

Ступінь точності кожної відповіді є занадто грубою для діагностики агента, який відхиляється від правильного шляху. Більш корисна оцінка сліду має чотири осі, кожна з яких оцінюється від одного до п’яти:

  • Фактична обґрунтованість: чи залишався агент прив’язаним до отриманого контексту чи вигадував інформацію. Це виявляє проблеми з отриманням даних та змінами у наборі даних на рівні відповіді.
  • Приватність та безпека: чи була витекла конфіденційна інформація, чи було порушено межі користувача чи чи було допущено дії, які агент мав би відхилити, що виявляє проблеми з наданням дозволів та відмовами.
  • Дотримання інструкцій: чи дотримувався агент поточних вказівок системи, які змінилися після оновлення до версії v17, та чи залишався його спосіб дії актуальним.
  • Виконання плану: чи обрав агент правильні інструменти у правильному порядку, без зайвих викликів чи глухих кутів, що виявляє проблеми з послідовністю кроків та змінами в інструментах у мережі викликів.

Чотири вісі охоплюють чотири види регресії та об’єднуються в один композитний показник. Коли цей композитний показник знижується, вісі показують, який режим зміщення виник, і оскільки ті самі вісі використовуються як у CI, так і у реальних тестах, словник діагностики залишається однаковим у обох випадках.

Закриття циклу

Звуження розриву — це процес роботи, а не функція, і він складається з п’яти кроків:

  1. Групувати несправні тести в окремі проблеми, адже неможливо обробити простий список з 800 несправностей.
  2. Оцінювати кожну групу за чотиривісною шкалою та додавати коротку примітку щодо можливого виправлення прямо зараз.
  3. Переносити від трьох до десяти типових тестів з кожної групи до офлайн-набору, позначивши їх мітками маршруту та критеріями оцінки.
  4. Повторна перевірка: наступна запуск у CI оцінює додані записи за критеріями продакшн-системи, щоб подальші зміни в цьому напрямку не могли призвести до проблем.
  5. Оптимізуйте запит у контексті розширеного набору даних, де виправлення мають пройти перевірку згідно з критеріями CI перед розгортанням.

Для продукту, який активно використовується, цей процес слід повторювати щотижня або частіше під час складного запуску. Статичний набір даних, вік якого перевищує чверть року, рідко відповідає умовам реального використання, а у випадку швидко змінюваних агентів відхилення стають помітними вже через два-три тижні. Кожен інцидент, вирішений у такий спосіб, залишає після себе тест на регресію, який більше ніхто не змушений створювати заново.

Витрати, які потрібно враховувати

  • Цей цикл збільшує обсяг операцій. Оцінка діапазонів, кластеризація та крок підвищення рівня є складнішими механізмами, ніж просто папка з результатами тестів pytest. У відповідь набір тестів на регресію стає все складнішим, а нове розгортання може відбуватися лише за допомогою трекінгу та офлайн-тестів, з додаванням цього циклу пізніше.
  • Суддя, який самокалібрується, потребує власних захисних механізмів. Рубрика, налаштована на реальний потік даних, може відхилитися в напрямку, якого ніхто не очікував, тому слід зберігати невелику кількість даних із людськими позначками та активувати сигнал тривоги, якщо суддя відхиляється від них більше, ніж люди відхиляються один від одного.
  • Оцінювання, пов’язане зі слідами даних, коштує дорожче за кожну одиницю шуму, ніж офлайн-оцінювання. Чотириосна рубрика для 30-секундного запису є дорожчою, ніж оцінювання за кожен крок у короткій справі, та має більші варіації. Відбір зразків слід здійснювати на основі сигналів збоїв, а не випадково, а перед дорогим суддею слід розмістити недорогий класифікатор.

Коротка версія

Набір для оцінки починає «старіти» з моменту відправки, і розмір не може виправити ситуацію зі «замороженим» знімком. Оцінюйте поточний запис, а не зафіксований варіант. Використовуйте одну ж саму шкалу оцінювання як у системах CI, так і під час роботи з реальними даними; оцінюйте кожен шлях виконання за критеріями обґрунтованості, безпеки, дотримання інструкцій та виконання плану, групуйте помилки та щотижня повертайте їх у офлайн-набір. Пройти офлайн-тест є необхідністю. Справжній захист користувачів забезпечується оцінкою записів. Відібраний набір є лише початковим матеріалом, а справжнім даними є ті, які ви постійно намагаєтесь отримати під час роботи.