Warum Agenten jede Offline-Evaluierung bestehen, in der Produktion aber dennoch versagen
Sechs Drift-Modi führen schrittweise zu einem Alterungsprozess des Evaluationssets. Ein Vier-Achsen-Track-Score sowie ein wöchentlicher Cluster-und-Promote-Loop sorgen dafür, dass die Schätzungen der tatsächlichen Leistung im Live-Traffic entsprechen.
Quellen: Why Your Agent Passes Every Eval and Still Fails in Production
Stellen Sie sich einen Kundenservice-Mitarbeiter vor, der sein CI-Set abprüft: 47 Szenarien, vier Bewertungskriterien – alles in Ordnung, daher wird es freigegeben. Einige Wochen nach dem Einsatz gibt er Rückerstattungsbeträge an, die um den Faktor zehn falsch sind. Er widerspricht sich von Gespräch zu Gespräch. In einer Aufzeichnung zeigt er einem Benutzer die Bestellung eines anderen Kunden. Doch wenn die fehlerhaften Gespräche angezeigt werden, erhält jedes von ihnen weiterhin eine gute Bewertung nach dem Kriterium der Treue pro Gesprächsrunde. Jedes Gespräch hat dem Benutzer dennoch nicht geholfen. Die Bewertung besagte Freigabe – doch zu diesem Zeitpunkt war das Vertrauen bereits verschwunden.
Das Bewertungskriterium ist nicht der Schuldige
Der erste Impuls ist es, die Bewertungskriterien zu beschuldigen. Eine bessere Erklärung ist, dass sie im März noch in Ordnung waren und im April veraltet sind, da die Produktion niemals zum Stillstand kam. Ein Bewertungssatz ist ein Momentaufnahme, während die Produktion wie ein Fluss fließt. Bewertungen werden nicht bereitgestellt, aber Protokolle schon. Jede Veröffentlichung beginnt damit, den Bewertungssatz bereits am Tag ihrer Veröffentlichung altern zu lassen, und es ist kein Zufall, dass zwischen dem Bestehen der Tests offline und dem Scheitern in der Live-Umgebung eine Distanz besteht – es sei denn, neue Fehlermuster gelangen wieder in den offline-Bewertungssatz. Das folgt aus der Logik selbst.
Genügend solcher Vorfälle führen zu einer klaren Erkenntnis: Man sollte Produktionsprotokolle bewerten, nicht sorgfältig ausgewählte Testfälle. Offline-Bewertungen bilden weiterhin eine sinnvolle Regressionssicherung, können aber niemals das Einzige sein, was einer Änderung die Veröffentlichung verwehrt, da das, was sie messen, bereits zum Zeitpunkt der Einfrierung verschwunden ist. Sechs Arten von Abweichungen zersetzen jeden Bewertungssatz, wobei jede auf ihre eigene Weise wirkt:
- Dataset-Drift: Die sorgfältig ausgewählten Beispiele bestehen alle, während in der Produktion Nutzerabsichten auftauchen, die im Datensatz nie enthalten waren.
- Tool-API-Drift: Die Mocks liefern weiterhin die gleiche Payload-Struktur, obwohl der Anbieter die Schemata oder Fehlercodes geändert hat.
- Prompt-Drift: Die Bewertungskriterien waren für Prompt v3 festgelegt, während in der Produktion v17 verwendet wird und die Kriterien weiterhin für v3 angewendet werden.
- Retrieval-Corpus-Drift: Der Index wurde zum Zeitpunkt der Erstellung festgelegt, während der Index in der Produktion sich verdoppelt hat und derselbe Abfrage jetzt auf neue Datensätze trifft.
- Nutzerverteilungs-Drift: Die Testeingaben wurden manuell erstellt, während die tatsächlichen Nutzeranfragen völlig anders aussehen.
- Agent-Schritt-Kumulation: Jeder Schritt ist zu 95 Prozent erfolgreich, doch acht aufeinanderfolgende Schritte führen auf etwa 66 Prozent Erfolgsrate.
Das Einfrieren eines Evaluationssets bedeutet das Einfrieren einer Hypothese darüber, was Nutzer tun werden, wie Tools reagieren, welcher Prompt aktiv sein wird und was der Retriever anzeigen wird. Monate später hat sich jede Annahme in eine andere Richtung entwickelt, und ein Bewertungsschema, das ursprünglich eine erfolgreiche Bewertung vorsah, bewertet nun eine Welt, in der der Agent nicht mehr existiert.
Mit dem Bewertungsschema selbst ist eigentlich nichts falsch. Es ist einfach veraltet geworden, wie ein Unit-Test, dessen Zielfunktion unter ihm überschrieben wurde: grün, ohne etwas zu schützen. Bei Software ist die Lösung ein neuer Test der neuen Funktion. Bei Agenten besteht die Lösung darin, die tatsächlichen Abläufe zu bewerten. Eine einzige Definition des Bewertungsschemas erfüllt somit zwei Zwecke: Es dient dazu, den CI-Prozess an ein versioniertes Datensatz zu binden, und gleichzeitig werden echte Abläufe als Attribut auf Ebene der einzelnen Schritte bewertet. Der CI-Prozess legt die Mindestanforderungen fest, die Live-Bewertung verfolgt die tatsächlichen Abläufe, und wöchentlich nimmt der Datensatz die von dem Bewertungsschema markierten Abläufe auf.
Wie sich jede Abweichung zeigt und wie man sie behebt
Dataset-Abweichung. Bei der Einführung wurde die Datensammlung erstellt, und seitdem haben Nutzer Intentionsmuster vorgeschlagen, die niemand vorhergesehen hatte. Die Bewertungen ändern sich nie, weil sich die Daten nicht ändern. Achten Sie auf Offline-Ergebnisse, die monatelang unverändert bleiben, während die Beschwerden aus der Produktion vielfältiger werden und Ingenieure die meisten Berichte anhand des Testdatensatzes nicht nachstellen können. Jede Woche sollten fehlerhafte Spuren ausgewählt werden, nach Segment, Intention und Bewertung kategorisiert werden, und der schwierigste Anteil von 5 bis 10 Prozent mit einer Version versehen werden, bevor sie dem Datensatz hinzugefügt werden. Jede so priorisierte Spur schützt somit vor einer bestimmten Regression.
Tool-API-Drift. CI verwendet ein emuliertes Tool, und an einem Dienstag ändert der echte Endpunkt sein Schema, die Fehlerstruktur oder die Rate-Limiting-Regeln. Der Agent versucht es erneut, der Loop läuft ab, und der Agent erstellt eine überzeugende Antwort – doch CI bleibt in einem grünen Status, da das Emulat weiterhin den Inhalt von gestern zurückgibt. Steigende Latenzzeiten und Anzahl der Wiederholungsversuche, eine Bewertungskriterienkette, die dennoch bestanden wird, sowie steigende Kosten pro Erfolg sind die Hinweise darauf. Weisen Sie den Erfolg von Tool-Aufrufen in den Live-Daten eigene Bewertungskriterien zu, damit ein fehlerhafter Aufruf im Trace neben der fehlerhaften Antwort erscheint. Emulate erkennen von Ihnen verursachte Regressionen, während die Live-Bewertung solche erkennt, die vom Anbieter verursacht wurden.
Prompt-Drift. Prompt v17 wurde an einem Freitag veröffentlicht, während die Bewertungskriterien weiterhin das widerspiegeln, was in v3 im Februar wichtig war. Der Agent wird anhand eines veralteten Vertrags bewertet. Ein gutes Indiz ist ein Senior-Engineer, der zehn Auswertungen durchliest, in sechs Fällen mit dem Bewertungsrichter nicht übereinstimmt und nicht erklären kann, warum. Senden Sie die Überarbeitung der Bewertungskriterien zusammen mit der Überarbeitung des Prompts, betrachten Sie sie als Vertragsprüfung und beobachten Sie die Übereinstimmung zwischen dem Bewertungsrichter und dem Menschen anhand einer kleinen Kalibrierungsgruppe, damit ein zurückbleibendes Bewertungssystem bemerkt wird.
Abweichung des Retrieval-Korpus. Die Bewertung im März umfasste 12.000 Dokumente und eine einzige Blöchengröße. Bis Mai betrug die Anzahl der Dokumente im Index 38.000, ein Neuanpassen der Embeddings veränderte die Rangfolge der Blöcke, wodurch derselbe Abfragetext an einer anderen Stelle angezeigt wurde. Der Generator basiert weiterhin pflichtgemäß auf dem vorliegenden Material, weshalb der Wert für die Grundlage der Aussagen weiterhin bei 0,94 liegt, obwohl das Ausgangsmaterial falsch ist. Dass Nutzer den Bot als weniger hilfreich einstufen als im Vorquartal – obwohl die Bewertungskriterien für die Generierung unverändert blieben – ist das Symptom. Eine getrennte Bewertung nach Ebenen zeigt: Bewertungskriterien für das Retrieval wie Kontextrelevanz und Blöckenzuordnung weisen bereits vor den Generierungsergebnissen auf Veränderungen im Index hin, während diese durch höhere Generierungswerte überdeckt werden. Eine abnehmende Relevanz bei konstant hohem Wert für die Grundlage der Aussagen deutet auf Probleme beim Retrieval hin, während das Gegenteil auf Probleme beim Generator hindeutet. Eine solche Aufteilung ersetzt drei Tage des Raten.
Abweichung in der Verteilung der Nutzer. Wer auch immer das Set erstellt hat, hat entweder die Beispiele von Hand geschrieben oder sie aus dem ersten Monat des Datenverkehrs entnommen. Reale Nutzer bringen später Umgangssprache, gemischte Sprachen, lange Anfragen, Screenshots sowie eine Reihe von Nachfragen mit, die das Set nie gesehen hat. Daher bewertet ein auf kurierten Daten trainierter Bewertungsalgorithmus Live-Gespräche weitaus freundlicher als ein Mensch. Wenn bei Stichprobenprüfungen die Ergebnisse der Produktion um 15 Punkte oder mehr vom Bewertungsalgorithmus abweichen, verlieren die Ingenieure das Vertrauen in die Bewertungsmethode und greifen stattdessen auf die direkte Analyse der Rohdaten zurück. Kalibrieren Sie den Bewertungsalgorithmus an Produktionsbeispielen statt am Datensatz und messen Sie die Divergenz zwischen Algorithmus und Mensch als eigenständige Kennzahl.
Schrittweises Kompounding. Angenommen, jeder Schritt erzielt 95 Prozent und eine Sitzung umfasst acht Toolaufrufe. Wenn man 0,95 zur achten Potenz erhebt, ergibt sich 0,66 – das bedeutet, in etwa zwei von drei Sitzungen verlaufen strukturell falsch, obwohl jeder Schritt scheinbar korrekt war. Die Bewertungsmethode führte nie die Multiplikation durch. Starke Werte pro Schritt in Kombination mit schwachen Ergebnissen hinsichtlich Vollständigkeit, Abschluss und Zufriedenheit sind ein Zeichen dafür, genauso wie Tickets darüber, dass der Bot immer wieder dieselbe Frage stellt oder erst ja und dann nein sagt. Bewertet werden sollten die gesamten Abläufe: Vollständigkeit, Einhaltung der Rolle und Wissensbeibehaltung auf Konversationsebene sowie eine Beurteilung, wie der Plan im gesamten Ablaufbaum umgesetzt wurde. Metriken, die mehrere Schritte umfassen, enthalten zwar mehr „Rauschen“ pro erzieltem Ergebnis, folgen aber der tatsächlichen Benutzererfahrung deutlich genauer.
Warum ein größeres Datensatz nicht hilft
Was die sechs gemeinsam haben, ist die Zeitpunktwahl. Jedes tritt auf, nachdem der Bewertungssatz erstarrt ist, und ein fester Datensatz kann keine Hypothese beinhalten, die noch niemand hatte. Ein Datensatz mit 10.000 Beispielen aus März weiß nichts über die Änderung des Tool-Schemas im Mai, die Überarbeitung der Anweisungen im Juni, die erneute Einbettung im Juli oder die Nutzer im August, die ihre Anfragen anders formulieren. Ein größerer Datensatz korrigiert keinen Zeitpunktauszug – nur das Sammeln von Daten aus der Produktion tut das, weshalb die Bewertung dort stattfinden sollte, wo der Agent läuft. Kuratierte Daten sind der Auslöser für Regressionen. Live-Spuren sind das Arbeitsmaterial, in dem Fehler zusammengefasst und während ihres Auftretens bewertet werden. Jede so benannte Gruppe wird anschließend zu den Datensatz-Einträgen des nächsten Tages, und der Kreislauf beginnt erneut.
Eine Vier-Achsen-Spurbewertung
Die Treue pro Schritt bezüglich der endgültigen Antwort ist zu grob, um einen abweichenden Agenten diagnostizieren zu können. Eine nützlichere Spurbewertung verfügt über vier Achsen, jede mit einer Bewertung von eins bis fünf:
- Faktische Grundlage: Bleibt der Agent an den abgerufenen Kontext gebunden oder erfindet er Dinge? Dies zeigt Schwankungen bei der Informationsabrufung und im Datensatz auf Antwortebene auf.
- Privatsphäre und Sicherheit: Ob personenbezogene Daten geleakt wurden, Grenzen überschritten wurden oder eine Jailbreak-Aktion durchgeführt wurde, die abgelehnt werden sollte – dies macht Regressionen bei Genehmigungen und Ablehnungen sichtbar.
- Befolgung von Anweisungen: Ob der Agent den aktuellen Systemauftrag befolgt hat, wobei dieser Aspekt mit der Version v17 wegfällt und das Verhalten zurückbleibt.
- Ausführung des Plans: Ob das richtige Werkzeug in der richtigen Reihenfolge verwendet wurde, ohne überflüssige Aufrufe oder Sackgassen – dies zeigt sich in der Kumulation von Schritten und Schwankungen der Werkzeuge im Aufrufgraphen.
Vier Achsen umfassen vier Arten der Regression und bilden zusammen eine zusammenfassende Darstellung. Wenn die zusammenfassende Darstellung auf einer Kurve nach unten geht, zeigen die Achsen an, welcher Driftmodus vorlag. Da dieselben Achsen in CI sowie in Live-Umgebungen verwendet werden, stimmt das diagnostische Vokabular an beiden Orten überein.
Der Kreis schließen
Die Verringerung der Lücke ist ein Arbeitsablauf und keine Funktion; er umfasst fünf Schritte:
- Gruppieren Sie fehlerhafte Spuren in benannte Probleme, da niemand eine einfache Liste von 800 Fehlern bewerten kann.
- Bewerten Sie jede Gruppe anhand der vier-Achsen-Score-Methode und fügen Sie eine kurze Anmerkung zur sofortigen Behebung hinzu.
- Übertragen Sie drei bis zehn typische Spuren aus jeder Gruppe in die Offline-Gruppe und versehen Sie sie mit Route-Taggen sowie Bewertungskategorien.
- Neue Bewertung: Der nächste CI-Ausführung bewertet die hinzugefügten Einträge mithilfe der Bewertungskriterien der Produktionsumgebung, sodass spätere Änderungen an diesem Pfad nicht rückgängig gemacht werden können.
- Optimieren Sie den Prompt anhand des erweiterten Sets, wobei die Korrektur vor dem Versand die Kriterien in CI erfüllen muss.
Für ein produktiv eingesetztes Produkt sollte dies wöchentlich wiederholt werden, oder häufiger während eines turbulenten Launches. Ein statisches Set, das älter als ein Vierteljahr ist, ähnelt selten der Produktionsumgebung, und bei schnell verändernden Agenten wird eine Abweichung bereits nach zwei bis drei Wochen sichtbar. Jedes auf diese Weise behandelte Problem hinterlässt einen Regressionstest, den niemand erneut erstellen muss.
Kosten, die berücksichtigt werden müssen
- Der Schleifenprozess erhöht die operative Komplexität. Span-Werte, Clustering-Verfahren sowie ein Promote-Schritt stellen mehr Mechanismen dar als nur eine Sammlung von pytest-Ergebnissen. Im Gegenzug wird das Regressionstest-Set immer anspruchsvoller, und ein neuer Deployment kann bereits mit Trace-Informationen und Offline-Bewertungen gestartet werden, wobei die Schleife erst danach hinzugefügt wird.
- Ein selbst kalibrierender Richter benötigt eigene Schutzmechanismen. Eine gegen aktiven Datenverkehr abgestimmte Bewertungskriterienliste kann in Richtungen abweichen, die niemand beabsichtigt hat; daher sollte man eine kleine Stichprobe mit menschlich vergebenen Bewertungen beibehalten und bei einer Abweichung des Richters, die größer ist als die Abweichungen zwischen Menschen untereinander, einen Alarm auslösen.
- Die zu den Spuren hinzugefügte Bewertung ist pro Einheit Rauschen teurer als eine Offline-Bewertung. Eine vierachsige Bewertungskriterienliste für eine 30-sekündige Spur ist teurer als eine pro Zug durchgeführte Bewertung bei kurzen Fällen und weist größere Schwankungen auf. Beziehen Sie die Stichproben nach Fehlerrichtsignalen und nicht zufällig, und setzen Sie einen günstigen Klassifikator vor den teuren Richter.
Kurzfassung
Ein Evaluationsset beginnt bereits mit dem Versand zu altern, und die Größe allein heilt keinen „Snapshot“. Bewerten Sie stattdessen den aktuellen Ablauf statt des eingefrorenen Falls. Verwenden Sie in CI sowie bei Live-Daten eine einzige Bewertungskriterienliste, bewerten Sie jede Vorgehensweise hinsichtlich Grundlage, Sicherheit, Einhaltung von Anweisungen und Ausführung des Plans, gruppieren Sie die Fehler und senden Sie diese wöchentlich zurück ins Offline-Set. Der Erfolg im Offline-Modus ist notwendig – der Erfolg bei den Live-Daten ist es, der die Nutzer tatsächlich schützt. Das sorgfältig ausgewählte Set dient lediglich als Ausgangspunkt, während die Produktionsdaten das Datensatz sind, den man ständig erfassen muss.