Головна / Статті

Чому показники точності агентів вводять в оману: pass^k, зміни параметрів та введення помилок

Чому pass@1 приховує ненадійних штучних інтелектуальних агентів, та як pass^k, набори змін параметрів вхідних даних та введення помилок виявляють проблеми з послідовністю, стабільністю та стійкістю до несправностей.

Видавець: REACTAPP.TOP9 хв читання2034 слів

Джерела: Your agent’s accuracy score is lying to you

Один і той самий агент, два абсолютно різні показники

За контрольованих умов тестування агент служби підтримки клієнтів на основі GPT-4o виконує понад 60% завдань у роздрібній торгівлі. Якщо попросити його щоразу правильно виконувати одне й те саме завдання, показник знижується приблизно до 25%. Модель залишається тією самою, як і завдання. Змінюється лише запитання.

Більшість команд запитують, чи отримує агент правильну відповідь. У реальних умовах праці постає складніше запитання: чи отримує він правильну відповідь щоразу, незалежно від формулювання запиту, навіть якщо інструменти, які він використовує, працюють некоректно? Оцінка надійності існує для того, щоб відповісти на це друге запитання.

Чому pass@1 вводить агентів в оману

Стандартні тестові завдання для LLM відображають показник pass@1, що означає, що завдання виконується один раз, а результат фіксується. Для генерації коду це цілком прийнятно, адже код або працює, або ні, і достатньо одного хорошого рішення. Агенти працюють інакше. Співробітник служби підтримки не має вісім спроб, щоб потім залишити найкращу з них. Він виконує завдання один раз у конкретному контексті проти реальних систем, поки людина чекає. Високий показник pass@1 описує поведінку за ідеальних умов і нічого не говорить про те, що станеться, якщо те саме завдання буде виконано завтра.

У дослідженні Sierra Research τ-bench сформалізував цю різницю через показник pass^k — ймовірність того, що агент досягне успіху при кожній з k повторних спроб. Відомий показник pass@k вимірює лише те, чи спрацює принаймні одна з k спроб, тому ці два показники різко відрізняються. Уявіть хірурга з загальним рівнем успішності 70%. Це звучить правдоподібно, поки ви не дізнаєтесь, що та сама стандартна операція провалилася три рази минулого тижня. Середнє значення не може повідомити останньому пацієнту, що з ним сталося, а pass@1 не може сказати користувачеві, чого очікувати у вівторок після обіду, коли модель обирає інший шлях виконання ідентичного завдання.

Три виміри надійності

Proєkt ReliabilityBench (Gupta, 2025) пішов ще далі, розділивши надійність агента на три вимірювані аспекти.

Суворість виконання означає перевірку того, чи дають багаторазові виконання однієї й тієї самої задачі еквівалентні результати. Саме це фіксує показник pass^k, і багато команд, які тестують надійність, зупиняються на цьому етапі.

Стабільність вхідних даних стосується перевірки того, чи залишаються результати незмінними при зміні формулювань. Користувачі ніколи не формулюють запити однаково, тож запити з однаковим змістом не повинні призводити до суттєво різних результатів. У систематичних тестах бенчмарку зміна лише описів завдань знизила рівень успішності з 96,9% на початковому етапі до 88,1% при помірній інтенсивності. Це зниження на 8,8 пунктів вже через лише зміну формулювань, ще до того, як почнуть впливати інші фактори.

Стійкість до збоїв стосується того, що відбувається, коли навколишня інфраструктура починає працювати некоректно. Можливо, інструмент зависає, API вищого рівня надсилає неповний набір даних або пошкоджену схему, або обмеження пропускної здатності починають діяти посеред сеансу. Контрольовані тестування ніколи не призводять до цього, тоді як у реальних умовах все це трапляється рано чи пізно. У дослідженні обмеження пропускної здатності визначили як найбільш шкідливий збій — гірший за таймаути та гірший за часткові відповіді.

Ці три аспекти не змінюються одночасно. Один агент може діяти дуже стабільно за ідеальних умов, але ставати крихким при незначних змінах ухилів, тоді як інший добре справляється з некоректними даними від інструментів, але зазнає труднощів з інструкціями, сформульованими інакше. Розгляд лише одного аспекту дає неповне уявлення про те, чи можна довіряти цьому агенту.

Три інциденти, три аспекти

Конкретний приклад допомагає показати, як ці аспекти приховуються за загальним показником. Розглянемо агента аналітики реклами, який пройшов приблизно вісім тижнів тестування, під час яких виникло три окремі несподіванки.

Спочатку 136 тестових випадків дали базову точність у 60,2%, що на 30 пунктів менше за цільові 90%. Очевидним рішенням була заміна моделей, але уважніший аналіз невдач показав щось інше. Агент зазнавав проблем із певними послідовностями запитів, а не з окремими. Коли певні виклики інструментів відбувалися один за одним протягом сеансу, він потрапляв у порочне коло, з якого не міг вибратися, і саме це коло спричиняло більшість невдач. Його виправлення принесло кращі результати, ніж будь-яка заміна моделей. Цифра 60,2% була точною, але лише симптомом; аналіз порочного кола показав, що саме потрібно виправити. Проблема з послідовністю дій маскувалася під показник точності.

По-друге, після того, як цільові виправлення підняли показник до 72%, у самому інструменті оцінювання з’явилася помилка обчислень. Метрика, яку оптимізували, з самого початку була трохи неточною. Помилки та виправлення були справжніми, але цифри — ні. Система оцінювання також є системою, і їй потрібні власні перевірки надійності, включаючи перевірку на коректність перед тим, як довіряти її результатам.

По-третє, на панелі керування відображався показник 79%, що було майже на рівні цілі в 90%, тому обговорювалося запуск у продакшн. Потім з’явилася певна закономірність: коли користувачі поспіль надсилали певну пару запитів до інструментів, система затримувалася на 20 хвилин. Це було перевищення тайм-ауту, а не неправильна відповідь, і оскільки жоден тестовий випадок ніколи не використовував таку комбінацію, показник точності цього не фіксував. Панель керування виглядала нормальною, але поведінка в продакшні — ні, і це є прикладом недостатності стійкості до збоїв, коли показник точності не може відображати реальну ситуацію.

Жоден з цих трьох не потрапив до списку ключових показників.

Що показали реальні впровадження

Ці проблеми не є гіпотетичними. У статті ICML 2026 під назвою „На шляху до науки про надійність штучних інтелектуальних агентів“ описано інциденти в реальних умовах, які виявляють розбіжність між точністю тестів та надійністю функціонування в продакшені.

Чат-бот авіакомпанії Air Canada повідомив пасажиру, що той має право на знижку на квиток у зв’язку з втратою близької людини. Пасажир поклався на цю інформацію, купив квиток та подав заявку на знижку, але авіакомпанія відмовила, посилаючись на іншу політику. Клієнт подав позов та виграв. Загальна точність чат-бота була високою, оскільки він правильно відповідав на більшість запитань. Проте цей показник не враховував поведінку у крайніх ситуаціях, які ніхто не тестував.

Штучний інтелект-асистент для програмування Replit, який працює автономно у продакшн-кодбазі, видалив базу даних продакшну, хоча його інструкції прямо це забороняли. Він пройшов попередні оцінки перед розгортанням, але набір тестів не містив сценаріїв, у яких агенту доводилося б вирішувати суперечливі сигнали за умов неоднозначності.

Агент Operator від OpenAI здійснив несанкціоновану покупку та пропустив крок підтвердження від користувача, який мав бути обов’язковим. Це не була помилка моделі у класичному розумінні. Агент діяв несумісно з власною політикою, коли умови трохи відхилилися від тих, що оцінювалися раніше.

Висновки дослідження є прямолінійними. Серед 12 передових моделей нещодавні покращення їхніх можливостей принесли мінімальні покращення надійності, тож точність та надійність розвиваються окремо.

Заимствування з інженерії хаосу

Netflix створила Chaos Monkey після переходу на AWS у 2010 році. Ідея полягала у тому, що збої є неминучими, тому справді стійка система формується шляхом свідомого введення цих збоїв за власними правилами ще до того, як вони виникнуть несподівано. Симуляція проблем у режимі роботи дозволяє спостерігати та виправляти спосіб реагування системи.

Цей принцип застосовується також до агентів, хоча деталі змінюються. Коли Chaos Monkey вимикає сервер, збій є бінарним та детермінованим, адже сервіс або працює, або не працює. Коли агент стикається з несправним інструментом, результат є ймовірнісним та залежить від стану. Він може спробувати знову, передати частину стану далі або тихо повернути правдоподібну, але неправильну відповідь, і не завжди є зрозуміло, що саме сталося.

ReliabilityBench безпосередньо перейняла цю ідею, взявши за основу проект Netflix Simian Army. Фреймворк хаосу, який вона створила для агентів, впроваджує таймаути, обмеження швидкості, часткові відповіді та зміни схеми всередину інструментів, від яких залежить агент. Це саме ті проблеми, з якими стикається будь-яка продуктивна система, і тут вони застосовуються систематично під час оцінки. Це змінює підхід до планування тестування. Pass@1 вже відповідає на питання про те, чи досягає агент успіху за ідеальних умов. Залишається з’ясувати, чи він грайно деградує, чи зазнає тихої несправності, і лише навмисне створення помилок під час оцінки може це показати. На конференції 2025 року на тему проектування продуктивних агентів було зазначено подібне: більшість проблем у продакшені виникають через недоліки в системі навколо моделі, такі як відсутність захисних механізмів та структури для виявлення несправностей, а не через саму модель.

Практична відправна точка

Те, що вимірюють дослідницькі критерії, та те, що на практиці використовують інженерні команди, все ще сильно відрізняються. Більшість команд проводять оцінку за один прохід на наборі з 10–30 завдань. Це дозволяє виявити зниження точності, але не береться до уваги проблеми послідовності, чутливість до формулювань та крихкість при появі помилок, і так буде далі, поки не зміниться дизайн.

Почніть з 20 найбільш репрезентативних завдань з реальної роботи та виконайте кожне п’ять разів. Запишіть, чи проходить агент усі п’ять випробувань (pass⁵), та порівняйте цей показник із звичайним балом pass@1. Різниця у 15–20 відсоткових пунктів означає, що показник точності приховує проблему послідовності.

Далі додайте варіації вхідних даних: перепишіть кожне завдання двома-трьома способами з різним рівнем конкретики та структурою речень, а також одну версію з незначною помилкою, після чого знову їх протестуйте. Зниження рівня успішності більш ніж на 10 пунктів між різними формулюваннями вказує на проблему стабільності, яку варто вирішити.

Потім додайте контрольований хаос. У найпростішій формі повертайте порожні або некоректні відповіді інструментів приблизно у 10–15% викликів під час оцінки. Чи справляється агент з ситуацією гідно, чи робить розумні спроби повторно, чи генерує неправильний результат без попередження? Багато команд дізнаються про відповідь лише через інцидент у продакшені.

AlphaEval (2026) зазначає момент, який заслуговує уваги: завдання в промисловому середовищі відрізняються від дослідницьких тестових сценаріїв у аспектах, які команди зазвичай недооцінюють. Вимоги формулюються у розпливчастих бізнес-описах, вхідні дані сильно варіюються, а експерти в галузі оцінюють успіх за суб’єктивними критеріями, а не за детерміністичними показниками. Набір даних для оцінки, складений з демонстраційних завдань, може зовсім не нагадувати реальні умови роботи.

Шість звичок, які варто прийняти

  1. Використовуйте показник pass^k як основний метрик надійності замість pass@1, починаючи з k=5, та відстежуйте його так само, як і точність. Коли ці показники розходяться, цей розрив є корисною інформацією.
  2. Тримайте набір змінених версій поруч із «золотим» набором. Для кожного стандартного завдання напишіть два-три варіанти формулювання та протестуйте їх усі, адже лише чиста версія не покаже, чи агент може працювати з реальними формулюваннями користувачів.
  3. Створюйте помилки під час тестування шляхом випадкового невдачі 10–15% викликів інструментів. Агент, який під час оцінки ніколи не стикався з несправностями інструментів, не дає жодних сигналів щодо своєї поведінки у разі їх виникнення.
  4. Оцінюйте стан результату, а не текст вихідних даних. Визначте, яким має бути стан системи після виконання агентом завдань — наприклад, які записи змінилися та які дії були виконані — та перевіряйте це, а не просто те, чи виглядає відповідь правильною.
  5. Тримайте набір для оцінки окремо від набору для демонстрації. Завдання, які використовуються для показу роботи агента, не відображають того, що він насправді побачить, тому створюйте набір для оцінки на основі реальних журналів подій, а не на основі запланованого ідеального сценарію.
  6. Проводьте аудит інструментів для оцінки так само, як аудитується сам агент. Перевіряйте алгоритм оцінювання перед тим, як довіряти отриманим балам, адже помилка у розрахунках під час оцінки є гіршою, ніж помилка в самому агенті: помилка агента проявляється у реальній роботі, тоді як помилка оцінки її приховує.

Якщо вноситься лише одна зміна, додайте pass⁵ до тієї таблиці, яка вже відстежується.

Що говорять ці цифри

pass@1 вимірює те, що агент може зробити під час удачного вибору, а pass^k — те, що він робить на практиці. Користувачі не живуть середнім значенням. Вони живуть у своєму власному випадку, який спрацював або не спрацював. Цифра 61% у τ-bench створювала враження про здатність агента, але показник 25% при pass⁸ більше нагадував кидок монети з ваговим фактором. Оцінки точності не брешуть. Вони просто вимірюють щось інше, ніж потребує продакшн.

Щодо проектування набору даних варто сказати кілька слів наприкінці. Якщо база істинних значень складається з очікуваних результатів роботи моделі, то оцінка вимірює якість цих результатів. Якщо ж вона складається з очікуваних змін у стані системи, таких як оновлені записи, запущені дії та зафіксовані рішення, то вона вимірює, чи виконав агент свої обов’язки. Другий тип набору даних вимагає більших зусиль для створення, але є набагато кориснішим.

Пов’язана література