Pomiarы w inżynierii AI: koszt kontekstu, dowody agenta i interoperacyjność
Mapa przeprowadzonych pomiarów AI — nakład pracy tokenów MCP, awarie cache promptów, luki w audycji agentów, opór przy zmianie modeli — wraz z metodami i rozmiarami prób.
Źródła: Every AI Measurement We’ve Run: 43,600 Commits, 96 Releases, 9 MCP Servers
Komentarze z dziedziny inżynierii AI często przedstawiają jedynie przekonanie i na tym się kończą. Bardziej rygorystycznym podejściem jest wzięcie popularnego twierdzenia, przeprowadzenie brakującego eksperymentu oraz opublikowanie uzyskanych wyników wraz z datą, rozmiarem próby, wersjami oprogramowania oraz archiwizowanymi danymi surowymi.
Wyniki na tej mapie pochodzą wyłącznie z ukończonych eksperymentów. Nieudana weryfikacja oznaczała odrzucenie wyniku, przy jednoczesnym odnotowaniu tego niepowodzenia.
Traktuj poniższe sekcje jako indeks, który rośnie w miarę ukończenia nowych eksperymentów.
Co obejmują te pomiary i dlaczego trzy filary
Filar 1 — Ekonomia kontekstu: ile rzeczywiście kosztuje kontekst
Zespoły kupują tokeny, których nigdy nie stworzyły; niewiele z nich publikuje informacje na temat tych dodatkowych kosztów.
Tutaj przedstawiono streszczenie jednego badania serwerów narzędzi MCP: badanie kontekstu serwera narzędzia MCP. Analiza 116 narzędzi przy użyciu stdio pochłonęła 38 900 tokenów, zanim ktoś wpisał cokolwiek – to 19,4% od limitu 200 k tokenów. Jeden serwer odpowiadał za 45% tego zużycia, a sam JSON Schema stanowił 93,6% udziału tego serwera.
Oddzielnie porównano 96 opublikowanych wersji na dziewięciu serwerach. Przy 87 przejściach wersji 42 z nich przepisało blok narzędzi; 31 z tych przeróbek nie dodało ani nie usunęło żadnego narzędzia. Pamięci cache promptów uległy uszkodzeniu w 48% tych wersji. Najkrótsza przerwa tekstowa dotyczyła 34 tokenów, ale unieważniła 36 320 zapisanych w cache tokenów.
Pojemność okna zależy również od typu treści. Okno o pojemności miliona tokenów może pomieścić około 4 MB prozy dokumentacyjnej, ale tylko około 1,8 MB logów, ponieważ logi zużywają kontekst mniej więcej 2,2 raza szybciej – dlatego koszt jest wyraźniejszy w dolarach za megabajt niż tylko w tokenach.
Matymatyka routingu pokazuje, że tani model potrzebuje jedynie około 4% wskaźnika zwycięstw, aby obniżyć koszty w porównaniu z modelem typu frontier. Badania dotyczące degradacji kontekstu wyjaśniają, dlaczego nawet okno o długości 2 milionów tokenów nadal traci informacje z dłuższych zapytań.
Pilarek 2 — Dowody agenta: co agenci rejestrują w porównaniu z tym, co można udowodnić
Gdy agent wydaje pieniądze przez noc, odtworzenie stanu często jest niemożliwe.
We wszystkich sześciu frameworkach logi audytowe zawierały średnio pięć pól, chociaż uznano za konieczne dwanaście. Żaden z nich nie przechowywał poziomu zaufania ani łańcucha hashów (dlatego edycje nie pozostawiają śladów), a także żaden nie przechowywał powodu zatrzymania.
Wśród plików CLAUDE.md w 592 najlepszych repozytoriach 57% nie zawierało żadnej wiedzy – tylko przekierowania. W każdym repozytorium sprawdzano metadane HEAD; przypadki graniczne analizowano ręcznie z obu stron, a szacunki zmieniały się dwa razy przed ustaleniem ostatecznego wyniku.
Spis przetrwania kodu AI oparty na 43 600 komitach w jedenastu repozytoriach został powtórzony pięćdziesiąt razy; dwadzieścia jeden przeprowadzeń dało odwrotne wyniki. Przydzielenie winy do 200 z 5 237 plików vllm zamiast do całego zestawu zmienia różnicę w przeżywalności o +12,2 punktu na zero. Wcześniejszy narzędzie do badania tego samego pytania nie przeszło weryfikacji i zostało porzucone.
Liczba linii w dużym artefakcie formalnego dowodu pojawia się w opublikowanej liczbie linii artefaktu dowodu Fermata firmy Anthropic: łącznie około 13 milionów linii, z czego 88,5% to treść dowodu; średnia długość kroku wynosi 8 linii w porównaniu z 4 w Mathlib.
„Wojny o terytorium” między wieloma agentami w jednym repozytorium zostały odtworzone bez użycia AI – to klasyczne blokowanie plików pod pozorem konfliktu między agentami. Kolejną lukią jest milcząca błędność: jeden z pomierzanych agentów pozostawał błędny przy jednym zadaniu przez dziewięć dni z rzędu, bez żadnego alertu na panelu kontrolnym.
Kolumna 3 — Współpraca i koszt zmiany: przenoszenie się między modelami, protokołami i narzędziami
Marketing określa modele i protokoły jako zamienniki. Istnieją różnice zdań.
Zmiany modeli produkcyjnych to nie proste routery: tylko trzy parametry mają identyczną pisownię we wszystkich porównywanych wersjach. Specyfikacje protokołów MCP i A2A agent zawierają zaledwie dwa identyczne nazwy metod. Sam sandboxing również nie radzi sobie z wzorcem naruszeń typu „śmiertelna trójka”; izolacja bez dodatkowych kontroli nie wystarcza.
Najczęściej czytany opublikowany artykuł
Przewodnik dotyczący lokalnej sztucznej inteligencji dla pierwszego chipa Apple o technologii 2nm pyta, czy Mac może uruchamiać model o mocy obliczeniowej 70 miliardów operacji na sekundę. Przy 512 GB pamięci zintegrowanej odpowiedź brzmi twierdząco, a artykuł porównuje takie rozwiązanie z alternatywami chmurowymi.
Jak przeprowadza się pomiary, w czterech zasadach
- Tylko wykonane prace. Artykuły podają metodę, datę, rozmiar próby oraz wersje; surowe wyniki są archiwizowane.
Co dalej
Częstotliwość publikacji wynosi około jednego pomiaru tygodniowo. Obecne badania analizują, jak szybko zestaw narzędzi oceniających traci skuteczność w miarę udoskonalania się testowanego modelu: ile przypadków przestaje dawać wyniki ze względu na rzeczywisty wzrost możliwości modelu, a ile ze względu na awarię samego testu.
Literatura pokrewna
- Zrozumienie agentów AI: wzywanie narzędzi, MCP i pętla agenta — Dowiedz się, jak wzywanie narzędzi, MCP oraz pętle agentów łączą się ze sobą, tworząc rzeczywistą architekturę systemów AI opartych na agentach, poza hasełkami.
- Inżynieria contextu dla agentów AI: kuratowanie tego, co widzi model — Dlaczego wydajność agentów spada wraz ze wzrostem ilości kontekstu, jak inżynieria contextu różni się od sformułowania promptów oraz prosty proces wyboru tego, co ma zostać pokazane podczas każdego wezwania modelu.