Vom Evaluieren zu selbstverbessernden Agenten: Fünf Epochen der Agentenbewertung
Die Bewertung von Agenten bedeutet heute die Überprüfung von Spuren. Sehen Sie, wie deterministische Prüfungen, LLMs und Agentenrichter, Diagnosen sowie ein Meta-Tool einen sicheren Verbesserungskreislauf schaffen.
Quellen: From Evals to Self-Improving Agents
Die kurze Version
- Früher bedeutete die Beurteilung eines Agenten das Lesen seiner letzten Antwort. Heute bedeutet es das Lesen des gesamten Ausführungsverlaufs.
- Handgeschriebene, deterministische Tests bleiben wertvoll, können jedoch nur Probleme aufzeigen, die bereits vorhergesehen wurden.
- Ein Beurteiler auf Basis eines Sprachmodells passt sich der Bewertungskriterien für Ausgaben an. Ein Beurteiler, der selbst ein Agent ist, erkennt Fehler im Ablauf, bei der Tool-Nutzung sowie im Arbeitsablauf.
- Als Nächstes kommt die Diagnose über mehrere Ausführungen: Das Erkennen von Fehlermustern, die sich bei Tausenden von Live-Ausführungen wiederholen.
- Ein Agent, der sich selbst verbessert, benötigt ein Meta-Management-System – also Telemetrie, Diagnosefunktionen, vorgeschlagene Korrekturen, Sandbox-Tests, Validierung, schrittweises Rollout sowie Möglichkeiten, die Beurteiler selbst ehrlich zu halten.
Warum Ausgaben allein nicht mehr ausreichen
Die frühen LLM-Apps waren kurz und meist linear: Ein Prompt wurde eingegeben, es kam eine Antwort heraus und jemand überprüfte sie. Agenten brachen dieses Muster auf. Sie planen über mehrere Schritte hinweg, rufen Tools auf, lesen und schreiben Zustände, bearbeiten Dateien, kommen von fehlgeschlagenen Aktionen wieder hoch, delegieren Aufgaben an Subagenten und bleiben über lange Zeiträume aktiv.
Was ein solches System hinterlässt, ist eine Spur der Aktionen. Sie enthält die Anfrage, den Systemkontext, alles, was abgerufen wurde, vorläufige Schlussfolgerungen, jeden Toolaufruf samt der daraus resultierenden Beobachtung, Wiederholungsversuche, Fehler, Speicheränderungen, Verbrauch, Zeitangaben sowie die endgültige Ausgabe. Zu Bewertungszwecken ist diese Aufzeichnung zum eigentlichen Ausdruck der Ausführung geworden.
Daher muss die Bewertung in Richtung Auditing verschoben werden. Eine auf den ersten Blick richtige Antwort kann auf einem falschen Toolaufruf, einer übersehenden Einschränkung, einem unverwandten Suchergebnis, einer von niemandem bemerkten Wiederholungslogik, einem schlecht gewählten Kontext, einer riskanten Wiederherstellung oder einer unbegründeten Annahme beruhen. Solche Mängel sind besonders kostspielig, denn sie häufen sich im Laufe vieler Ausführungen an und untergraben stillschweigend die Zuverlässigkeit.
In diesem Kontext dient die Bewertung als Kontrollschicht. Sie kombiniert Echtzeit-Spuren, Bewertungskriterien, Bewertungen durch Agenten, Ursachenanalyse, Sandbox-Überprüfungen, Regressionstests sowie Bereitstellungsprüfungen. Ziel ist es nicht, dass eine Person jede Interaktion überprüft, sondern ein Meta-System, das Fehlermuster erkennt, Korrekturen entwirft, diese anhand vergangener sowie feindlicher Fälle testet und den Menschen nur die Situationen zusendet, in denen ihr Urteil entscheidend ist.
Ebene eins: deterministische Überprüfungen
Regelbasierte Überprüfungen bleiben die Grundlage, da sie alles erfassen, was im Voraus festgelegt werden kann. Der Code wird mit Unit-Tests, Typüberprüfungen, Lintern, Sicherheitsscannern, Vertragsprüfungen und Snapshots versehen. Strukturierte Ausgaben unterliegen Schema-Validierung, Pflichtfeldern, zulässigen Werten, Datumsformatierung, gültigem JSON sowie Richtlinienbegrenzungen.
Wenden Sie sie an, wo das erwartete Ergebnis klar definiert ist. Sie laufen schnell, kosten wenig, liefern jedes Mal das gleiche Ergebnis und sind leicht zu debuggen. Das Problem ist die Abdeckung: Nur das, was jemand sich gemerkt hat einzubinden, wird getestet.
Zu den Messgrößen gehören die Bestehensraten, wie viel des Verhaltens durch Assertions abgedeckt wird, die Konformität mit dem Schema, die Laufzeit, die Wiederholbarkeit sowie die Genauigkeit, mit der ein Fehler lokalisiert werden kann. Sie eignen sich für APIs, Codeänderungen, Datenextraktion, Formulare, regulierte Abläufe sowie Aufgaben, die strengen Regeln unterliegen.
Schicht zwei: Ein Sprachmodell als Richter
Die auf großen Sprachmodellen basierenden Bewertungssysteme verbreiten sich, weil viele Fehlleistungen künstlicher Intelligenz auf Qualitätsmängeln beruhen. Eine Antwort mag flüssig formuliert sein, doch wichtige Aspekte werden dennoch weggelassen. Eine Zusammenfassung kann leicht verständlich sein, dennoch den Kernpunkt verfehlen. Eine Support-Nachricht mag selbstsicher klingen, während sie gleichzeitig Richtlinien bricht.
Das Muster besteht darin, dass ein Modell die Ausgabe anhand eines schriftlichen Bewertungskriterienkatalogs bewertet – beispielsweise hinsichtlich faktischer Genauigkeit, Befolgung von Anweisungen, Vollständigkeit, Tonfall, Sicherheit, Qualität der Quellenangaben und Gesamtnützlichkeit – und anschließend mit einer Kennzeichnung, einer Punktzahl, einer Begründung sowie unterstützenden Belegen antwortet. Dies eignet sich gut, wenn die Ausgabe eine vertraute Struktur aufweist, dennoch eine eigene Beurteilung erforderlich ist, und es ermöglicht eine skalierte Überprüfung, ohne dass ein Mensch alles durchlesen muss.
Unklare Kriterien sind der Grund für Probleme. Bitten Sie einen Richter, nach einer „guten Antwort“ zu suchen – dann wird Ausdrucksfähigkeit belohnt. Fordern Sie ihn auf, Beweise, Einschränkungen und Fehlermöglichkeiten zu prüfen, dann wird das Tool viel nützlicher.
Richter verdienen eine eigene Bewertungsmethode: Wie konsistent sind die Bewertungsergebnisse, wie oft stimmen verschiedene Richter überein, wie fundiert ist die dargelegte Begründung, wie gut sind die Beweise untermauert, wie häufig geben sie eine falsche Zulassungs- oder Ablehnungsentscheidung ab und wie genau folgen sie menschlichen Bewertungen? Sie werden für Zusammenfassungen, Antwortunterstützung, Schreibqualität, Richtlinienprüfung, Extraktionsqualität sowie begründete Antworten mit klaren Kriterien eingesetzt.
Ebene drei: Ein Agent als Richter
Agenten hinterlassen Spuren ihrer Abläufe, wodurch ein Richter, der nur das Endergebnis sieht, die stärksten Hinweise übersehen kann. Ein Agent-Richter prüft den gesamten Ablauf – einschließlich der Anfragen, der Wahl des Kontexts, der Toolaufrufe, der Beobachtungen unterwegs, der Wiederholungsversuche, der bearbeiteten Dateien, der durchgeführten Tests sowie des Endprodukts. Er stellt gezielte Fragen: Wurde das Tool richtig gewählt? Wurde ein fehlerhafter Test ignoriert? War der Kontext veraltet? Haben unverwandte Dateien sich geändert? Hat der Agent vor dem Abschluss aufgehört?
Das ist wichtig, weil Fehlerrisiken von Agenten oft subtil sind. Eine Ausgabe kann eine oberflächliche Überprüfung bestehen, während der Weg, der zu ihr führte, den eigentlichen Defekt aufzeigt.
Nützliche Maßnahmen umfassen die Überprüfung, ob die Bahn gültig war, wie gut die Werkzeugroute gewählt wurde, wie sich der Agent erholt hat, wie er Beweise verwendet hat, ob die Aufgabe abgeschlossen wurde, wie gut versteckte Fehler erkannt wurden und ob die Eskalationen korrekt waren. Coding-, Forschungs-, Daten-, Browser- und Workflow-Agenten profitieren alle davon, genauso wie alle Anwendungen, in denen die Route genauso wichtig ist wie das Ziel.
Schicht vier: Diagnose von Spuren
Die vierte Schicht blickt über einzelne Ausführungen hinaus. Ein Diagnoseagent liest Tausende von Spuren und fragt nach den Veränderungen. Vielleicht nahmen die Fehler zu nach einer Änderung des Antrags. Vielleicht wird für die Analyse von Tabellenkalkulationen das falsche Werkzeug ausgewählt. Vielleicht steigt die Latenz an, wenn die Abruffunktion zu viele Dateien zurückgibt. Vielleicht weist ein QA-Agent Halluzinationen auf, lässt aber übersprungene Anforderungen durchgehen.
Ihre Aufgabe besteht darin, eine Leistungsveränderung auf eine Ursache zurückzuführen: Kontextauswahl, Formulierung der Anfrage, Zuweisung der Tools, Einrichtung des Workflows, Verhalten des Modells, Qualität der Informationsabrufung oder der Code selbst. Es reicht nicht aus, nur mitzuteilen, dass eine Bewertung gesunken ist. Die Ausgabe sollte eine konkrete Lösung vorschlagen, wie beispielsweise eine Anpassung der Anfrageformulierung, das Hinzufügen eines Bewertungsfalls, eine Anpassung der Zuweisungsschwelle, ein Aktualisieren der Fähigkeiten, eine Codeänderung oder ein Pull Request.
Die Qualität hängt davon ab, wie viele Spuren abgedeckt werden, wie präzise die Ursachen benannt werden, wie gut Abweichungen erkannt werden, wie Fehler gruppiert auftreten, wie zuverlässig die Zuordnung ist, wie gut die vorgeschlagene Lösung ist und wie riskant sie hinsichtlich Rückfälle ist. Sie eignet sich für Produktionsagentenplattformen, beschäftigte Support-Mitarbeiter, Programmierassistenten, Unternehmensworkflow-Agenten sowie alles, was häufig aktualisiert wird.
Schicht fünf: Schließen des Kreislaufs
Oben schließt sich der Kreislauf. Es werden Telemetriedaten aufgezeichnet, wiederkehrende Fehler diagnostiziert, ein möglicher Fix erstellt und in einer Sandbox getestet, anschließend mit goldenen Datensätzen sowie früheren Protokollen verglichen und schließlich in einem kontrollierten Rollout eingeführt. Ab diesem Punkt wird die Selbstverbesserung zur echten Ingenieurarbeit, nicht zu bloßen Vermutungen.
Ein Agent darf keine Änderung veröffentlichen, nur weil ein einziger Metrikerwert einmal gestiegen ist. Es sind Sicherheitsmechanismen erforderlich: Regressionstests, feindliche Szenarien, kontrafaktische Anfragen, Canary-Traffic, Rollback-Pläne sowie Schwellenwerte für die Einbeziehung eines Menschen.
Belohnungshacking stellt die größte Gefahr dar. Ein Agent kann lernen, seinen Bewertungsmechanismus zufriedenzustellen, ohne die eigentliche Aufgabe auszuführen. Ein Programmieragent könnte Fehler verbergen, ein Bildagent könnte Details erfinden, um eine visuelle Bewertung zu verbessern, und ein Schreibagent könnte sich an Bewertungskriterien festhalten und dabei die Stimme des Autors verlieren. Daher benötigen die Bewertenden unabhängige Überprüfungen, menschlich definierte Benchmarks, Audits bei Meinungsverschiedenheiten, mehrschichtige Qualitätskontrollen sowie regelmäßige Anpassung der Bewertungskriterien.
Die Bewertung als Kontrollsystem nutzen
Die tiefste Veränderung betrifft den Betrieb. Teams sollten die Bewertung als Kontrollsystem der Agentenplattform einsetzen, wobei ein solides Programm fünf Fragen beantworten muss:
- Wurde die Aufgabe erledigt? Die Antwort ist entscheidend, genauso wie die Befolgung von Anweisungen, die faktische Genauigkeit, die Einhaltung von Richtlinien sowie die für die Aufgabe spezifischen Erfolgskriterien.
- Wie klang der Routenverlauf? Unter Berücksichtigung der eingesetzten Tools sollte geprüft werden, welche davon genutzt wurden, welche Beweise sie stützten, welche Wiederholungsversuche stattfanden, was ohne Vorankündigung ausfiel und ob eine Eskalation zum richtigen Zeitpunkt erfolgte.
- Warum änderte sich die Leistung? Ein Rückgang in der Produktivumgebung kann auf Anfragen, das Verhalten des Modells, die Datenabrufmethode, Schwellenwerte für die Routenbildung, die Workflow-Einrichtung, Fehler in Tools oder im Code zurückzuführen sein, wobei bei der Diagnose Symptome von Ursachen getrennt werden müssen.
- Kann eine Lösung sicher vorgeschlagen werden? Bevor eine Lösung veröffentlicht wird, durchlaufen sie Sandbox-Tests, Wiederabspielung alter Protokolle, adversarische Testfälle sowie Regressionstests.
- Wer prüft den Prüfer? Auch die Prüfer können ihre Urteile verfälschen – sie können nachsichtig, streng oder leicht zu täuschen sein – weshalb Kalibrierungssätze, von Menschen überprüfte Benchmarks, Abweichungsprüfungen sowie mehrschichtige Qualitätskontrollen erforderlich sind.
Deterministische Überprüfungen kümmern sich um bekannte Fehler, LLM-Judges bewerten die Qualität, Agenten überprüfen Routen, Diagnoseagenten heben wiederkehrende Muster hervor, und die Meta-Harness-Regeln entscheiden, ob eine Verbesserung sicher für die Veröffentlichung ist. Die Menschen bleiben im Kreislauf involviert, allerdings auf höherer Ebene: weniger wiederholende Überprüfungen, mehr Schutzmechanismen, Ausnahmeverwaltung, Kalibrierung und Politikentwurf.
Die Produktion wieder einbinden
Sobald ein Bewertungssystem läuft, besteht der nächste Schritt darin, aus der tatsächlichen Nutzung zu lernen. Telemetriedaten liefern Diagnosen, die Diagnosen verbessern die Bewertungen, die Bewertungen leiten die Optimierung an, und die validierten Änderungen fließen wieder in schrittweise Implementierungen zurück. Zwei Prozesse laufen dabei parallel.
Ein Ansatz ist qualitativ ausgerichtet. Produktionsfeedback, Benutzerprotokolle, Analysen, fehlgeschlagene Aufgaben, Eskalationen an den Support sowie Toolfehler sollten nicht einfach nur auf den Dashboards liegen bleiben. Sie sollten in Bewertungen einfließen. Wenn Benutzer immer wieder dieselbe Lösung anwenden, handelt es sich um einen neuen Testfall. Wenn die Protokolle eine falsche Toolwahl zeigen, ist das ein Check bezüglich der vorgesehenen Vorgehensweise. Wenn die Analysen an einer bestimmten Stelle einen Rückgang aufzeigen, handelt es sich um ein Szenario, das erneut durchgespielt werden sollte.
Der andere Ansatz ist die systematische Optimierung. Sobald Spezifikationen, Code und Bewertungen klar definiert sind, wird die Anpassung weitaus disziplinierter durchgeführt. Die Spezifikationen beschreiben das gewünschte Verhalten, der Code enthält die Logik, Einschränkungen, Tools und Routen, während die Bewertungen die Metriken liefern, die entscheiden, ob sich etwas verbessert hat. Auf der Grundlage dieser drei Elemente kann die Tooling-Lösung sofortige Änderungen, Anpassungen von Schwellenwerten, Optimierungen der Routen, zusätzliche Bewertungen oder Codeänderungen vorschlagen.
Der Zyklus, Schritt für Schritt:
Die Live-Nutzungssignale fließen in die Evaluierungsverbesserung ein, die wiederum die Optimierung des Agentenprogramms antreibt. Dieses Programm wird in einer Sandbox erneut ausgeführt, durch Regressionstests geführt, kontrolliert veröffentlicht und erzeugt anschließend neue Live-Signale.
Aus dieser Sicht sind Evaluierungen keine einmal erteilten Noten. Sie bilden den Betriebszyklus, der die Verbesserung der Agenten vorantreibt: Man lernt aus der tatsächlichen Nutzung, wandelt dies in präzisere Evaluierungen um, justiert den Agenten anhand dieser und gibt nur das frei, was die Validierung besteht.
Verwandte Artikel
- Knowledge Graphs für agierende KI: Vier Muster, die über Vector RAG hinausgehen — Die Vektorsuche findet ähnlichen Text, nicht miteinander verbundene Fakten. Vier Graphenmuster für Agenten: fundierte Anfragen, Planung, Ausführungsvalidierung und Selbstkorrektur.
- Eval-Driven Development für KI-Agenten: Verträge, Spuren und Richter — Behandeln Sie Evaluierungen wie CI/CD für Agenten: Versionen von Anfragen als Verträge, Ausführungsprotokolle mit OpenTelemetry und Tempo, anschließend Tests mit deterministischen Überprüfungen sowie einem LLM-Richter.