Вимірювання в інженерії ШІ: контекстова вартість, докази агента та взаємодія

Коментарі з галузі інженерії ШІ часто лише висловлюють певну думку та на цьому зупиняються. Більш суворою практикою є взяття популярного твердження, проведення експерименту, якого йому бракує, та оприлюднення отриманих результатів із зазначенням дати, розміру вибірки, версій програмного забезпечення та архівованих необроблених даних.

Дані на цій карті надходять лише з завершених експериментів. Невдалий перевірки означав відмову від результату з записом про цю невдачу.

Розглядайте наведені нижче розділи як індекс, який розширюється з завершенням нових експериментів.

Що охоплюють ці показники та чому їх троє

Основа 1 — Економіка контексту: що насправді коштує контекст

Команди купують токени, які вони не створювали; мало хто публікує дані про ці додаткові витрати.

Тут узагальнено одне дослідження серверів інструментів MCP: дослідження контексту сервера інструментів MCP за допомогою вимірювань. Аналіз 116 інструментів через стандартний вхід спричинив витрату 38 900 токенів ще до того, як людина щось ввела — це 19,4% від ліміту у 200 тисяч. Один сервер становив 45% від цих витрат, причому сам JSON Schema складав 93,6% від частки цього сервера.

Окремо було порівняно 96 опублікованих версій, які працювали на дев’яти серверах. Під час 87 переходів версій 42 змінили блок інструментів; у 31 випадку ці зміни не додавали та не видаляли жодного інструменту. Кеш запитів руйнувався у 48% цих версій. Найменша текстова зміна стосувалася 34 токенів, але призводила до недійсності 36 320 збережених токенів.

Ємність окна також залежить від типу контенту. Окно на мільйон токенів може вміщувати близько 4 МБ документаційного тексту, але лише близько 1,8 МБ журналів подій, оскільки журнали споживають контекст приблизно у 2,2 рази швидше — тому витрати краще виражати у доларах за мегабайт, а не лише у токенах.

Математичний аналіз маршрутизації показує, що дешева модель потребує лише близько 4% частки успішних результатів, щоб зробити свої послуги дешевшими за моделі високого класу. Дослідження проблеми зміни контексту пояснюють, чому навіть вікно обробки у 2 мільйони токенів все одно не дозволяє зберегти суть довгих запитів.

Основа 2 — Докази агента: що записують агенти та що можна довести

Коли агент витрачає гроші протягом ночі, їх відновлення часто стає неможливим.

У шести різних фреймворках журнали аудиту містили в середньому п’ять полів, хоча вважалося необхідним дванадцять. Жоден з них не зберігав рівень довіри чи ланцюжок хешів (тож зміни не залишали слідів), а також жоден не зберігав причину припинення роботи.

Серед файлів CLAUDE.md у 592 найкращих репозиторіях 57% не містили жодних знань — лише перенаправлення. Для кожного репозиторія було перевірено значення HEAD; крайні випадки розглядалися вручну з обох сторін, і оцінка змінилася двічі перед тим, як стабілізуватися.

Було проведено п’ятдесят повторень статистичного аналізу виживання коду за допомогою ШІ на основі 43 600 змін у одинадцяти репозиторіях; у двадцяти одному випадку результати змінилися. Вибірковий аналіз 200 з 5 237 файлів vllm замість усього набору перетворює різницю у виживанні у +12,2 бали на нуль. Попередня версія інструменту для вирішення тієї ж проблеми не пройшла перевірку та була відкинута.

Кількість рядків у великому об’єкті формальних доведень наводиться у опублікованих даних про кількість рядків у об’єкті доведення Fermat від Anthropic: загалом близько 13 мільйонів рядків, з яких 88,5% — це саме тіло доведення; середня довжина кроку становить 8 рядків проти 4 у Mathlib.

„Війни за територію“ між кількома агентами в одному репозиторії були відтворені без використання ШІ — це класичне блокування файлів під виглядом конфлікту агентів. Ще однією проблемою є безсимптомна неправильність: один з агентів протягом дев’яти днів із чотирнадцяти залишався неправильним у одному завданні, при цьому не спрацювало жодне попередження на панелі керування.

Стовпець 3 — Взаємодія та витрати на заміну: перехід між моделями, протоколами та інструментами

У маркетингу моделі та протоколи вважаються сумісними. Однак думки щодо цього розходяться.

Переключення між виробничими моделями — це не просто маршрутизатори: лише три параметри мають ідентичну назву у всіх порівнюваних версіях. У специфікаціях протоколів MCP та A2A є лише дві збігаючі назви методів. Сама ізоляція також не ефективна проти моделі порушення безпеки „смертельна трійка“; ізоляція без додаткових заходів контролю недостатня.

Найпопулярніша опублікована стаття

Посібник з використання локального ШІ для першого 2-нм чіпа Apple ставить питання про те, чи може Mac запускати модель обсягом 70 мільярдів параметрів. З 512 ГБ об’єднаної пам’яті відповідь — так, і у статті наведено порівняння цього рішення з аналогами в хмарі.

Як проводяться вимірювання: чотири правила

1. Лише виконані роботи. У публікаціях вказуються метод, дата, розмір вибірки та версії; необроблені результати архівуються.

Спочатку атакуйте саме число. Двонаправлені ручні перевірки разом із детермінованим повторним виконанням призвели до знищення привабливих заголовків.

Визначте сліпі зони. Дев’ять серверів — це не екосистема; статичний аналіз — це не трекування під час виконання.

Не публікуйте дані при невдалих вимірюваннях. Неуспішні спроби фіксуються, щоб уникнути повторення тієї самої помилки.

Що далі

Частота публікацій становить приблизно одне вимірювання на тиждень. Текущі дослідження вивчають, наскільки швидко знижується ефективність набору тестів у міру покращення тестованої моделі: скільки випадків припиняються через справжнє покращення можливостей, а скільки — через збої в самому тесті.