Messungen in der KI-Engineering: Kontextkosten, Agentenbelege und Interoperabilität
Eine Karte der durchgeführten AI-Messungen – MCP-Token-Overhead, Fehler im Prompt-Cache, Lücken in der Agent-Audits sowie Reibungsverluste beim Modellwechsel – zusammen mit den verwendeten Methoden und Stichprobengrößen.
Quellen: Every AI Measurement We’ve Run: 43,600 Commits, 96 Releases, 9 MCP Servers
Kommentare zur KI-Entwicklung geben oft nur eine Meinung wieder und hören auf. Eine strengere Vorgehensweise besteht darin, eine verbreitete Behauptung zu übernehmen, das fehlende Experiment durchzuführen und das resultierende Ergebnis zusammen mit Datum, Stichprobengröße, Softwareversionen sowie archivierten Rohdaten zu veröffentlichen.
Die in dieser Karte dargestellten Werte stammen ausschließlich von abgeschlossenen Experimenten. Bei fehlgeschlagener Überprüfung wurde das Ergebnis verworfen, wobei der Fehler vermerkt wurde.
Betrachten Sie die folgenden Abschnitte als Index, der mit jedem abgeschlossenen Experiment erweitert wird.
Was diese Messungen umfassen und warum es drei Säulen gibt
Säule 1 – Kontextökonomie: Was der Kontext tatsächlich kostet
Teams kaufen Token, die sie nicht selbst erstellt haben; nur wenige veröffentlichen Angaben zu diesen Zusatzkosten.
Hier wird eine Studie zu MCP-Tool-Servern zusammengefasst: Eine Messstudie zum Kontext von MCP-Tool-Servern. Beim Testen von 116 Tools über stdio wurden 38.900 Tokens verbraucht, bevor ein Mensch etwas eintippen konnte – das sind 19,4 % eines 200k großen Fensters. Ein einziger Server verursachte 45 % dieses Verbrauchs, wobei allein JSON Schema 93,6 % des Anteils dieses Servers ausmachte.
Ergänzend wurden 96 veröffentlichte Versionen von neun Servern verglichen. Bei 87 Versionswechseln wurden bei 42 Fällen die Tool-Blöcke umgeschrieben; bei 31 dieser Umschreibungen wurde weder ein Tool hinzugefügt noch entfernt. Prompt-Caches brachen bei 48 % dieser Versionen zusammen. Selbst die kleinste textliche Änderung betraf 34 Tokens, führte aber dazu, dass 36.320 gespeicherte Token ungültig wurden.
Auch die Kapazität des Fensters hängt vom Inhaltstyp ab. Ein Fenster mit einer Million Tokens kann etwa 4 MB an Dokumentationsprosa speichern, aber nur etwa 1,8 MB an Protokollen – schließlich verbrauchen Protokolle den Kontext etwa 2,2-mal schneller. Daher ist der Kostenvergleich in Dollar pro Megabyte klarer als allein im Hinblick auf Tokens.
Die Routenberechnung zeigt, dass ein günstiges Modell lediglich eine Gewinnrate von etwa 4 % benötigt, um die Kosten eines hochentwickelten Modells zu unterbieten. Ähnliche Studien zum Kontextverlust erklären, warum selbst ein Fenster von 2 Mio. Token die Mitte langer Anfragen nicht vollständig erfassen kann.
Säule 2 – Agentenbelege: Was Agenten aufzeichnen und was nachgewiesen werden kann
Wenn ein Agent über Nacht Geld ausgibt, ist eine Rekonstruktion oft unmöglich.
In sechs verschiedenen Frameworks enthielten die Prüfprotokolle im Durchschnitt fünf Felder, obwohl zwölf als notwendig erachtet wurden. Keines der Systeme speicherte ein Vertrauensniveau oder eine Hash-Kette (so hinterlassen Änderungen keine Spuren), und keines speicherte einen Grund für die Beendigung der Aktion.
In den CLAUDE.md-Dateien der 592 besten Repositorien enthielt 57 % keine echten Kenntnisse – nur Umleitungen. In jedem Repository wurde der HEAD-Status überprüft; Grenzfälle wurden auf beiden Seiten manuell geprüft, und die Schätzung änderte sich zweimal, bevor sie endgültig feststand.
Eine Überlebensstatistik für AI-Code basierend auf 43.600 Commit-Zeilen in elf Repositories wurde fünfzig Mal wiederholt; bei 21 Durchläufen änderte sich das Ergebnis. Wenn man die Schuld auf 200 der 5.237 Dateien von vllm statt auf den gesamten Datensatz verteilt, wird eine Überlebenslücke von +12,2 Punkten auf null reduziert. Ein früheres Tool für dieselbe Frage scheiterte bei der Überprüfung und wurde aufgegeben.
Die Zeilenanzahl eines großen formalen Beweisdokuments wird in einer veröffentlichten Zeilenzählung des Fermat-Beweisdokuments von Anthropic angegeben: insgesamt etwa 13 Millionen Zeilen, davon 88,5 % Beweisinhalt, mittlere Schrittgröße von 8 Zeilen im Vergleich zu 4 bei Mathlib.
Mehr-Agenten-„Territorialkämpfe“ in einem Repository wurden ohne jegliche KI nachgestellt – klassisches Dateilocking getarnt als Konflikt zwischen Agenten. Eine weitere Lücke ist die stille Fehlhaftigkeit: Ein gemessener Agent blieb in 14 Fällen neun Tage lang bei einer Aufgabe falsch, ohne dass ein Dashboard-Alarm ausgelöst wurde.
Säule 3 – Interoperabilität und Wechselkosten: Der Umgang zwischen Modellen, Protokollen und Tools
Im Marketing werden Modelle und Protokolle als austauschbar bezeichnet. Die Unterschiede sind jedoch unübersehbar.
Produktionsmodelle sind keine einfachen Router: Nur drei Parameter weisen in den verglichenen Spezifikationen identische Schreibweisen auf. Die Protokollspezifikationen von MCP und A2A weisen lediglich zwei übereinstimmende Methodennamen auf. Allein das Sandboxing reicht nicht aus, um dem „lethalen Trifecta“-Angriffsmodell entgegenzuwirken; Isolation ohne ergänzende Kontrollmechanismen ist unzureichend.
Der am meisten gelesene veröffentlichte Artikel
Ein Leitfaden für lokale KI bezüglich Apples erstem 2nm-Chip fragt, ob ein Mac ein 70B-Modell hosten kann. Mit 512 GB an integrierter Speicher lautet die Antwort ja, und der Artikel vergleicht die Kosten dieser Konfiguration mit Cloud-Lösungen.
So wird die Messung in vier Regeln durchgeführt
- Nur ausgeführte Arbeiten. Die Beiträge geben Methode, Datum, Stichprobengröße und Versionen an; die Rohdaten werden archiviert.
Nächste Schritte
Die Veröffentlichungsfrequenz beträgt etwa eine Messung pro Woche. Die aktuelle Arbeit untersucht, wie schnell ein Bewertungsset an Wert verliert, je besser das getestete Modell wird: Wie viele Fälle werden still, weil die Leistung tatsächlich gestiegen ist, im Vergleich zu denen, die still werden, weil der Test selbst unzuverlässig geworden ist.