Startseite / Artikel

Warum die Genauigkeitsscores von Agenten irreführen: pass^k, Verzerrungen und Fehlerinjektionen

Warum pass@1 unzuverlässige KI-Agenten versteckt und wie pass^k, Eingabeverzerrungen sowie Fehlerinjektionen Lücken in Konsistenz, Stabilität und Fehlertoleranz aufzeigen.

Verlag: REACTAPP.TOP9 Min. Lesezeit2034 Wörter

Quellen: Your agent’s accuracy score is lying to you

Derselbe Agent, zwei völlig unterschiedliche Werte

Unter kontrollierten Vergleichsbedingungen erledigt ein auf GPT-4o basierender Kundenservice-Agent mehr als 60 % der im Einzelhandel üblichen Aufgaben. Wenn man von ihm verlangt, dieselbe Aufgabe jedes Mal korrekt zu erledigen, sinkt die gemessene Erfolgsrate auf etwa 25 %. Das Modell bleibt dasselbe, genauso wie die Aufgaben – nur die Anfrage ändert sich.

Die meisten Teams fragen, ob der Agent die richtige Antwort gibt. In der Produktion wird eine schwierigere Frage gestellt: Gibt er die richtige Antwort jedes Mal, unabhängig davon, wie die Eingabe formuliert ist – selbst dann, wenn die umliegenden Tools falsch funktionieren? Die Zuverlässigkeitsbewertung dient dazu, diese zweite Frage zu beantworten.

Warum pass@1 bei Agenten zu Fehlinterpretationen führt

Standardmäßige LLM-Benchmarks geben den Wert pass@1 an, was bedeutet, dass die Aufgabe einmal ausgeführt wird und das Ergebnis aufgezeichnet wird. Bei der Codegenerierung ist das vernünftig, denn der Code funktioniert entweder oder nicht – eine einzige gute Lösung reicht aus. Agenten funktionieren anders. Ein Support-Agent erhält nicht acht Versuche und behält anschließend den besten. Die Aufgabe wird einmal, in einem bestimmten Kontext, gegen Live-Systeme ausgeführt, während eine echte Person wartet. Ein hoher pass@1-Wert beschreibt das Verhalten unter idealen Bedingungen und sagt nichts darüber aus, was morgen bei derselben Aufgabe passiert.

Sierra Researchs τ-bench hat die Lücke durch pass^k formalisiert – die Wahrscheinlichkeit, dass ein Agent bei jedem einer k wiederholten Versuche erfolgreich ist. Der bekannte pass@k fragt lediglich danach, ob mindestens einer der k Versuche funktioniert, wodurch sich die beiden Metriken stark unterscheiden. Stellen Sie sich einen Chirurgen mit einer Gesamterfolgsrate von 70 % vor. Das klingt glaubwürdig – bis man erfährt, dass derselbe Routineeingriff letzte Woche dreimal fehlgeschlagen ist. Eine Durchschnittswert kann dem aktuellen Patienten nicht mitteilen, was mit ihm passiert ist, und pass@1 kann einem Benutzer nicht sagen, was er am Dienstagnachmittag erwarten kann, wenn das Modell bei derselben Aufgabe einen anderen Weg einschlägt.

Drei Dimensionen der Zuverlässigkeit

ReliabilityBench (Gupta, 2025) geht noch weiter, indem es die Zuverlässigkeit von Agenten in drei messbare Dimensionen aufteilt.

Konsistenz bezieht sich darauf, ob wiederholte Ausführungen derselben Aufgabe zu äquivalenten Ergebnissen führen. Genau das misst pass^k, und viele Teams, die die Zuverlässigkeit testen, stoppen bei diesem Punkt.

Eingabestabilität prüft, ob die Ergebnisse auch bei geänderter Formulierung bestehen bleiben. Nutzer formulieren ihre Anfragen niemals auf dieselbe Weise, und Anweisungen mit gleicher Bedeutung sollten keine signifikant unterschiedlichen Ergebnisse liefern. In den systematischen Tests des Benchmarks führte die Veränderung nur der Aufgabebeschreibungen zu einem Rückgang des Erfolgsrates von 96,9 % im Ausgangszustand auf 88,1 % bei mittlerer Intensität. Das entspricht einem Verlust von 8,8 Prozentpunkten allein durch Umformulierungen, noch bevor weitere Faktoren eine Rolle spielen.

Fehlertoleranz bezieht sich darauf, was passiert, wenn die umgebende Infrastruktur nicht ordnungsgemäß funktioniert. Vielleicht hängt ein Tool fest, eine übergeordnete API sendet nur einen Teil des Datenpakets oder ein fehlerhaftes Schema zurück, oder es beginnt mitten in einer Sitzung eine Drosselung. Ein kontrollierter Benchmark führt niemals zu solchen Problemen, während in der Produktion diese früher oder später auftreten. Die Studie bezeichnete das Rate-Limiting als den am schädlichsten wirkenden Fehler – schlimmer als Zeitüberschreitungen und schlimmer als unvollständige Antworten.

Die drei Dimensionen entwickeln sich nicht gemeinsam. Ein Agent kann unter idealen Bedingungen sehr zuverlässig sein, aber bei geringfügigen Änderungen der Eingaben instabil werden, während ein anderer fehlerhafte Ausgaben von Tools gut handhaben kann, aber bei umformulierten Anweisungen ins Stolpern gerät. Wenn man nur eine einzige Dimension betrachtet, erhält man ein unvollständiges Bild davon, ob dem Agenten vertraut werden kann.

Drei Vorfälle, drei Dimensionen

Ein konkreter Fall zeigt, wie sich diese Aspekte hinter einer Gesamtbewertung verbergen können. Betrachten wir einen Analyse-Agenten für Werbeanzeigen, bei dem etwa acht Wochen an Evaluierungsarbeiten stattfanden, wobei drei unerwartete Probleme auftauchten.

Zunächst legten 136 Testfälle eine Basistreue von 60,2 % gegenüber einem Zielwert von 90 % fest – das entspricht einem Mangel von 30 Prozentpunkten. Der offensichtliche Ansatz bestand darin, Modelle auszutauschen, doch eine genahere Betrachtung der Fehlschläge zeigte etwas anderes: Der Agent versagte bei bestimmten Abfolgen von Anfragen und nicht bei einzelnen. Wenn bestimmte Toolaufrufe in einer Sitzung nacheinander erfolgten, geriet er in einen Teufelskreis, aus dem er nicht herauskam, und dieser Kreis verursachte die meisten Fehlschläge. Die Behebung dieses Problems brachte mehr Vorteile als jeder Modellwechsel. Die Zahl von 60,2 % war zwar korrekt, doch sie war nur ein Symptom; die Analyse des Teufelskreises zeigte, was repariert werden musste. Ein Konsistenzfehler täuschte in Form einer Genauigkeitszahl vor.

Zweitens, nachdem gezielte Korrekturen die Wertung auf 72 % erhöht hatten, trat ein Rechenfehler im Evaluationsalgorithmus selbst auf. Die optimierte Metrik war von Anfang an leicht fehlerhaft. Die Fehlschläge und die Korrekturen waren real, doch die Zahlen nicht. Ein Evaluationswerkzeug ist ebenfalls ein System und benötigt eigene Zuverlässigkeitsprüfungen, einschließlich einer Sinnhaftigkeitsprüfung, bevor seine Ausgabe als zuverlässig angesehen werden kann.

Drittens zeigte das Dashboard 79 % an, was nahe genug am Zielwert von 90 % war, sodass über einen Produktivstart diskutiert wurde. Dann zeigte sich ein Muster: Wenn Benutzer eine bestimmte Kombination von Tool-Anfragen nacheinander sendeten, stockte der Orchestrierer für 20 Minuten. Das war ein Timeout und keine falsche Antwort, und da es keine Testfallkombination gab, die diese Situation simuliert hätte, wurde die Genauigkeit dadurch nicht beeinflusst. Das Dashboard wirkte intakt, während das Verhalten in der Produktion fehlerhaft war – dies ist ein Versagen der Fehlertoleranz, da eine Genauigkeitswertung dies nicht erkennen kann.

Keines der drei tauchte in der Schlagzeilenzahl auf.

Was tatsächliche Implementierungen gezeigt haben

Diese Probleme sind nicht hypothetisch. Ein Paper der ICML 2026 mit dem Titel „Towards a Science of AI Agent Reliability“ dokumentierte Produktionsvorfälle, die die Lücke zwischen Benchmarkgenauigkeit und Implementierungszuverlässigkeit aufzeigen.

Air Canadas Kundenchatbot teilte einem Reisenden mit, dass dieser aufgrund eines Todesfalls in der Familie für einen Rabatt auf die Trauerfahrkarte berechtigt sei. Der Passagier verließ sich darauf, kaufte das Ticket und beantragte den Rabatt, den die Fluggesellschaft aufgrund einer anderen Richtlinie ablehnte. Der Kunde klagte und gewann. Die Gesamtnauigkeit des Chatbots war hoch, da er die meisten Fragen richtig beantwortete. Was diese Messgröße jedoch nicht berücksichtigte, war das Verhalten in einem Randfall, der noch nie getestet worden war.

Replits KI-Programmierassistent, der autonom in einer Produktionscodebasis arbeitet, löschte eine Produktionsdatenbank, obwohl seine Anweisungen dies ausdrücklich verboten. Er hatte seine Vor-Deployment-Bewertungen bestanden, doch der Bewertungssatz enthielt keine Szenarien, in denen der Assistent konkurrierende Signale bei Unklarheiten entscheiden musste.

OpenAIs Operator-Assistent tätigte einen unbefugten Kauf und übersprang den BenutzerbestätigungsSchritt, der eigentlich erforderlich gewesen wäre. Das war kein Modellversagen im klassischen Sinne. Der Assistent handelte inkonsistent mit seiner eigenen Richtlinie, sobald die Bedingungen leicht von denen abwichen, die bei der Bewertung geprüft worden waren.

Die Erkenntnis des Artikels ist unverblümt: Bei 12 führenden Modellen führten jüngste Verbesserungen der Fähigkeiten zu nur geringen Verbesserungen der Zuverlässigkeit, sodass Genauigkeit und Zuverlässigkeit auf getrennten Wegen voranschreiten.

Ausleihen aus der Chaos-Engineering-Methodik

Netflix entwickelte Chaos Monkey nach dem Umzug auf AWS im Jahr 2010. Die Idee dahinter war, dass Ausfälle unvermeidlich sind, weshalb ein wirklich widerstandsfähiges System entsteht, wenn man sie absichtlich und nach eigenen Kriterien auslöst, bevor sie unerwartet auftreten. Das gezielte Simulieren von Störungen in der Produktion ermöglicht es, zu beobachten und zu beheben, wie das System reagiert.

Das Prinzip gilt auch für Agenten, wobei sich die Details ändern. Wenn Chaos Monkey einen Server herunterfährt, ist der Ausfall binär und deterministisch, da der Dienst entweder aktiv oder inaktiv ist. Wenn ein Agent auf ein fehlerhaftes Tool stößt, ist das Ergebnis probabilistisch und hängt vom Zustand ab. Er könnte es korrekt erneut versuchen, einen teilweisen Zustand weitergeben oder leise eine plausibel klingende, aber falsche Antwort zurückgeben – es ist nicht immer klar, welches Szenario eingetreten ist.

ReliabilityBench übernahm die Idee direkt und nahm Netflix’ Simian Army als Grundlage. Das von ihm für Agenten entwickelte Chaos-Framework fügt in die Tools ein, von denen die Agenten abhängen, Zeitlimits, Rate Limits, teilweise Antworten sowie Schema-Veränderungen ein. Das sind die Fehler, mit denen jedes Produktionsystem zu kämpfen hat, und werden hier bei der Bewertung systematisch angewandt. Dadurch ändert sich auch die Art und Weise, wie Tests gestaltet werden sollten. Pass@1 gibt bereits an, ob der Agent unter idealen Bedingungen erfolgreich ist. Was noch zu prüfen bleibt, ist, ob er ordentlich versagt oder stillschweigend fehlschlägt – und nur absichtliche Störungen während der Bewertung können das zeigen. In einem Vortrag auf einer Konferenz im Jahr 2025 zum Design von Produktionsagenten wurde ein ähnlicher Punkt angesprochen: Die meisten Produktionsfehler entstehen durch Lücken im System rund um das Modell, wie fehlende Schutzmechanismen und keine Struktur zur Aufdeckung von Fehlern, und nicht durch das Modell selbst.

Ein praktischer Ausgangspunkt

Was Forschungsbenchmarks messen und was Ingenieurteams in der Praxis durchführen, liegen immer noch weit auseinander. Die meisten Teams führen Einweg-Bewertungen an einer „goldenen“ Sammlung von 10 bis 30 Aufgaben durch. Dadurch werden Genauigkeitsrückgänge erkannt, doch Konsistenzprobleme, Empfindlichkeit gegenüber Formulierungen sowie Anfälligkeit bei Fehlern bleiben unberücksichtigt – und das weiterhin, bis sich das Design ändert.

Beginnen Sie mit den 20 repräsentativsten Produktionsaufgaben und führen Sie jede fünfmal aus. Notieren Sie, ob der Agent alle fünf Durchläufe erfolgreich abschließt (pass⁵), und vergleichen Sie diesen Wert mit dem üblichen pass@1-Score. Ein Unterschied von 15 bis 20 Prozentpunkten deutet darauf hin, dass die Genauigkeitsmetrik ein Konsistenzproblem verdeckt hat.

Dann fügen Sie Variationen bei den Eingaben hinzu: Schreiben Sie jede Aufgabe auf zwei oder drei verschiedene Arten mit unterschiedlichem Grad an Spezifität und Satzstruktur, plus eine Version mit einem kleinen Tippfehler, und führen Sie die Tests anschließend erneut durch. Ein Rückgang der Erfolgsrate um mehr als 10 Punkte bei den verschiedenen Formulierungen deutet auf ein Stabilitätsproblem hin, das untersucht werden sollte.

Anschließend erzeugen Sie kontrollierten Chaos. In seiner einfachsten Form geben Sie bei etwa 10 bis 15 Prozent der Aufrufe während der Bewertung leere oder fehlerhafte Tool-Antworten zurück. Kommt der Agent gut zurecht, versucht er sinnvoll erneut oder liefert er ohne Warnung falsche Ergebnisse? Viele Teams erfahren die Antwort erst durch einen Produktionsfehler.

AlphaEval (2026) weist auf einen Aspekt hin, der Aufmerksamkeit verdient: Produktivitätsaufgaben unterscheiden sich von Forschungsbenchmarks auf Weise, die Teams in der Regel unterschätzen. Die Anforderungen werden in allgemein formulierten Geschäftsbeschreibungen dargestellt, die Eingabedaten weisen große Unterschiede auf, und Domain-Experten beurteilen den Erfolg anhand subjektiver Kriterien statt deterministischer Metriken. Ein aus Demo-Aufgaben zusammengestellter Bewertungssatz sieht möglicherweise überhaupt nicht wie eine Produktivumgebung aus.

Sechs Gewohnheiten, die man annehmen sollte

  1. Setzen Sie pass^k als primäre Zuverlässigkeitsmetrik anstelle von pass@1 ein, beginnend mit k=5, und verfolgen Sie diese Metrik genauso wie die Genauigkeit. Wenn sich die beiden Werte unterscheiden, liefert diese Differenz wertvolle Informationen.
  2. Bewahren Sie neben dem „goldenen“ Satz auch einen Satz mit Störungen auf. Für jede kanonische Aufgabe schreiben Sie zwei oder drei Umformulierungen und führen Sie alle aus, denn allein die saubere Version zeigt nicht, ob der Agent mit echten Benutzerformulierungen umgehen kann.
  3. Erzeugen Sie Fehler bei der Staging-Bewertung, indem Sie zufällig 10 bis 15 Prozent der Tool-Aufrufe fehlschlagen lassen. Ein Agent, der während der Bewertung noch nie auf einen Tool-Fehler gestoßen ist, liefert kein Signal darüber, wie er sich verhält, wenn ein Fehler auftritt.
  4. Bewerten Sie den Ergebniszustand und nicht den Ausgabetext. Definieren Sie, wie das System nach dem Ausführen des Agents aussehen sollte – beispielsweise welche Datensätze geändert wurden und welche Aktionen ausgelöst wurden – und überprüfen Sie dies anstelle davon, ob die Antwort korrekt aussieht.
  5. Halten Sie die Evaluierungsdatensätze getrennt von den Demo-Datensätzen. Aufgaben, die dazu dienen, zu zeigen, dass der Agent funktioniert, spiegeln nicht wider, was er tatsächlich sehen wird; daher sollten die Evaluierungsdatensätze aus Produktionsprotokollen und nicht aus dem vorbereiteten „glücklichen Pfad“ erstellt werden.
  6. Prüfen Sie das Evaluierungswerkzeug genauso wie den Agenten selbst. Überprüfen Sie den Bewertungsmechanismus, bevor Sie dem Ergebnis vertrauen, denn ein Rechenfehler in der Bewertung ist schlimmer als einer im Agenten: Der Fehler des Agenten tritt in der Produktion auf, während ein Fehler in der Bewertung ihn verdeckt.

Falls nur eine Änderung vorgenommen wird, fügen Sie pass⁵ der bereits überwachten Tabelle hinzu.

Was die Zahlen sagen

pass@1 misst, was ein Agent bei einem Glücksversuch leisten kann, und pass^k misst, was er in der Praxis tut. Nutzer leben nicht im Durchschnitt – sie erleben ihre eigene Situation, die entweder funktioniert hat oder nicht. Die 61%-Angabe von τ-bench ließ den Agenten fähig erscheinen, doch die bei pass⁸ gemessenen 25% ähnelten eher einem gewichteten Münzwurf. Genauigkeitswerte lügen nicht – sie messen lediglich etwas anderes als das, was in der Produktion benötigt wird.

Beim Entwurf von Datensätzen gibt es noch etwas zu sagen. Wenn die Referenzwerte aus den erwarteten Modellausgaben bestehen, messen die Bewertungsmethoden die Ausgabengüte. Wenn sie aus den erwarteten Veränderungen im Systemzustand bestehen – wie aktualisierten Datensätzen, ausgelösten Aktionen und protokollierten Entscheidungen –, dann messen sie, ob der Agent seine Aufgabe erfüllt hat. Die zweite Art von Datensätzen ist aufwendiger in der Erstellung, aber weitaus nützlicher.

Verwandte Artikel