agent-memory llm-evaluation benchmarks rag ai-agents

Warum die Agenten-Erinnerungs-Benchmarks irreführen und wie man mit eigenen Daten bewerten kann

Die Vergleichsmessungen für Agenten-Gedächtnisfähigkeiten täuschen durch fehlerhafte Antwortlisten und Bewertungskriterien. Prüfen Sie das Abrufen von Informationen getrennt von den Antworten und fügen Sie Überprüfungen auf Aktualität, Auslassungen und Vergesslichkeit hinzu.

Verlag: REACTAPP.TOPAuf dieser Website hinzugefügt 28. Okt. 202615 Min. Lesezeit3531 Wörter

Quellen: Your Agent’s Memory Benchmark Is Measuring the Wrong Thing

Öffentliche Benchmarks für Agenten-Speicher können nicht angeben, welches System für ein bestimmtes Problem geeignet ist, und mehrere können überhaupt nicht zuverlässig feststellen, welches System besser ist. Die Beweise sind eindeutig. In dem von einem Speicherhersteller selbst veröffentlichten Paper zeigt sich, dass bei dem von allen zitierten Benchmark eine einfache Baseline, die den gesamten Dialog in die Anfrage einfügt, die speziell entwickelten Speicherlösungen übertrifft. Eine unabhängige Prüfung ergab, dass etwa sechs Prozent der Antwortmuster dieses Benchmarks falsch sind und dass seine automatische Bewertungssysteme in etwa zwei von drei absichtlich falschen Antworten akzeptieren. Die vernünftige Reaktion ist es, auf die Rangliste zu verzichten und eine Bewertung anhand eigener Daten durchzuführen.

Betrachten Sie, wie ein Team in der Regel ein Speichersystem auswählt. Es schaut sich die Rangliste an, wählt das beste Ergebnis aus und setzt es ein. Schon nach drei Wochen in der Produktion liegt der Agent bei einer Zahl, die der Benutzer bereits letzten Dienstag korrigiert hat, falsch. Er beginnt außerdem, Entscheidungen aus der Vorwoche zu widerlegen. Die einzige Information, die eine Abfrage benötigt, erscheint unter vier irrelevanten Ergebnissen. Der Vergleichstest bezeichnete dieses System als das beste auf dem Markt – doch er sagte nichts über das eigene Problem des Teams aus.

Hinter diesem Problem verbirgt sich eine Frage, die bei jedem Aufbau eines Speichersystems auftaucht: Wie weiß man, dass es funktioniert? Die unerwünschte Antwort lautet, dass die Zahlen, auf die Teams in der Regel zurückgreifen, diese Frage nicht beantworten können – und einige Zahlen können ohnehin für niemanden eine zuverlässige Antwort liefern.

Ein Rang auf der Leaderboard zeigt an, dass ein System bei dem Test einer anderen Person, bewertet von einem anderen Urteiler, gemäß der Auffassung dieser Person von der richtigen Antwort, gut abgeschnitten hat. Es sagt jedoch nicht aus, ob Ihr Agent sich daran erinnern wird, was ein Benutzer vor drei Wochen erwähnt hat. Das sind getrennte Fragen, und nur eine davon betrifft Sie.

Der Vergleichswert, den Sie in Betracht ziehen, misst etwas anderes

Das wichtigste Ergebnis erfordert eine Pause. Man nehme den am häufigsten zitierten Benchmark für das konversationelle Gedächtnis. Eine Methode ohne Gedächtnissystem, die einfach den gesamten Dialog in die Anfrage einfügt und darauf antwortet, beendete den Test als Erste – etwas vor den speziell entwickelten Gedächtnislösungen in der Vergleichsstudie. Kein Kritiker stellte dies in Frage. Der Artikel beschreibt diese Methode im Zusammenhang mit einer bekannten Gedächtnisbibliothek namens Mem0, die in einer wissenschaftlich geprüften Zeitschrift veröffentlicht wurde. Dort berichten die Autoren, dass der vollständige Kontext in Bezug auf die Rohgenauigkeit ihrem eigenen System überlegen war, allerdings mit etwa zehnmal höherer Latenz pro Antwort. Ein Konkurrent zitiert denselben Sachverhalt aus diesem Artikel, sodass es sich nicht um eine einseitige Darstellung handelt.

Es ist weniger peinlich, als es aussieht, und es ist wichtig, es richtig zu lesen. Das Einfügen von allem ist genau, weil nichts weggelassen wurde. Es lässt sich einfach nicht skalieren, aufgrund von Überlauf und quadratischen Kosten. Daher belohnt der Benchmark, wie er bewertet wird, hauptsächlich das System, das die Genauigkeit im vollständigen Kontext am besten erreicht, ohne dabei viele Tokens zu verbrauchen. Das ist nützlich, um Messungen durchzuführen. Das ist jedoch nicht dasselbe wie das Testen, ob ein System ein Detail wiederherstellen kann, das ein Benutzer vor einem Monat gegeben hat – jeder, der die Rangliste fälschlicherweise als Beleg für Letzteres betrachtet, wird durch seine eigene Annahme in die Irre geführt.

Die Grundwahrheit ist weiterhin unsicherer. Eine separate Prüfung, die öffentlich zugänglich und reproduzierbar ist, jedoch nicht von Fachleuten überprüft wurde, analysierte die Lösungsschlüssel des Benchmarks und stellte fest, dass etwa sechs Prozent davon falsch waren: erfundene Fakten, fehlerhafter zeitlicher Schlussfolgern, Antworten, die dem falschen Sprecher zugeschrieben wurden. Als die Prüfer dem standardmäßigen automatischen Bewertungssystem falsche, aber plausibel klingende Antworten gaben, akzeptierte es rund zwei Drittel davon. Es gibt eine wichtige Einschränkung: Die Autoren der Prüfung, Penfield, entwickeln ebenfalls Speichersysteme, weshalb sie nicht neutral sind. Doch die Arbeit lässt sich reproduzieren, und offene Probleme im eigenen Repository des Benchmarks deuten in dieselbe Richtung – das Problem existiert also tatsächlich, auch wenn die Quelle in Frage gestellt wird. Die Folgen sind ernst. Ein Benchmark mit einem Fehlergrad von sechs Prozent kann zwei Systeme, die sich um weniger als sechs Prozent unterscheiden, nicht voneinander trennen, und ein Bewertungstool, das zwei Drittel der „zuverlässigen“ Unsinnsmessungen bestehen lässt, misst die Zuverlässigkeit und nicht die Richtigkeit.

Auch die Angaben der Hersteller widersprechen einander. Die beiden bekanntesten Speicherhersteller veröffentlichen für denselben Benchmark gegensätzliche Werte, da jeder das System des anderen erneut ausgeführt hat und ein Ergebnis erhielt, das vom anderen in Frage gestellt wird – schließlich hängt das Endergebnis stark davon ab, wer die Integration des anderen konfiguriert hat. Eine Kennzahl, die durch die Einrichtung um mehrere Zehner schwankt, ist Marketing, kein Messwert. All das macht die Systeme nicht schlecht. Es bedeutet lediglich, dass eine Rangliste sie nicht für Sie bewerten kann – und schon gar nicht für Ihren Anwendungsfall.

Langer Kontext ist kein Speicher, und Benchmarks vermischen die beiden Begriffe

Eine stillere Verwirrung trübt bereits vor Beginn die Vergleiche. Langer Kontext und Gedächtnis sind unterschiedliche Dinge, doch viele Bewertungen behandeln sie als einen einzigen Aspekt. Die Suche nach einer Nadel im Heuhaufen – bei der ein Satz in einem langen Dokument versteckt ist und das Modell ihn finden muss – prüft die Aufmerksamkeit anhand einer einzigen, festgelegten Eingabe. Es handelt sich dabei um einen praktischen Schnelltest ohne wissenschaftliche Grundlage, lediglich um ein weit verbreitetes Skript. Ein strengeres Vergleichsmittel, RULER, zeigte, dass viele Modelle, die mit großen Kontextfenstern beworben werden, eine tatsächliche Verarbeitungslänge haben, die deutlich kürzer ist als angegeben. Beide Methoden messen die Kapazität, also, wie viel von einer Anfrage das Modell tatsächlich nutzen kann.

Erinnerung bedeutet Kontinuität zwischen Sitzungen. Am Montag nimmt der Agent etwas auf, das Chat-Dialog endet und das Fenster wird geleert – am Freitag sollte er sich dennoch daran erinnern können. LoCoMo und LongMemEval, die Benchmarks für konversationelle Erinnerungsfähigkeit, testen diesen Zyklus von Speichern und Wiederabrufen über mehrere Sitzungen hinweg, weshalb sie unabhängig von ihren Fehlern zur gleichen Kategorie gehören.

Zwei zu testende Schichten

Wenn öffentliche Benchmarks nicht ausreichen, ist eine eigene Lösung die Alternative – dabei steht zunächst die Entscheidung, wo man ansetzen soll. Man teilt die Lösung in zwei Schichten auf: Eine Schicht ist für das Abrufen – hat das Erinnerungssystem die richtigen Fakten zurückgegeben? Die andere Schicht ist für die Antwort – hat der Agent schließlich richtig reagiert oder gehandelt? Beide Schichten versagen unabhängig voneinander, und eine Gesamtrechengröße für die Genauigkeit berechnet sich aus beiden, wodurch verborgen bleibt, was genau schiefgelaufen ist.

Die Trennung ist nichts Neues. Das Open-Source-Framework RAGAS aus einer Veröffentlichung von 2024 basiert darauf und unterscheidet zwischen der Fähigkeit eines Retrievers, relevanten Kontext zu finden, und der Fähigkeit eines Modells, diesen Kontext zuverlässig zu nutzen. TruLens beschreibt dieselbe Idee als Triade: Kontextrelevanz für die Suche, Grundlage für die Überprüfung, ob die Antwort aus dem gefundenen Kontext abgeleitet werden kann, sowie Antwortrelevanz für die Überprüfung, ob die Frage beantwortet wurde. Die Bezeichnungen unterscheiden sich, doch die Trennung bleibt dieselbe.

Sowohl Schichten sind notwendig, und genau dies ist der Teil, den Teams überspringen. Ein guter Informationsabrufmechanismus kann dennoch eine falsche Antwort liefern, weil die richtigen Fakten im Kontext auftauchen und das Modell sie ignoriert, falsch bewertet oder mit dem vermischt, was es bereits für wahr hielt. Deshalb ist die Grundierung auf Fakten eine eigene Messgröße. Ein schlechter Informationsabrufmechanismus kann trotzdem eine richtige Antwort liefern, weil das Modell die Lücke mit seinem parametrischen Wissen füllt – und das ist der gefährlichere Fall. Die End-to-End-Bewertung zeigt „korrekt“, obwohl eine Speicherschicht, die nichts Nützliches abgerufen hat, übersehen wird; ein Fehler, der später bei einem Fachwissen zum Vorschein kommt, das das Modell zufällig nicht kannte. Die Messung nur der Endantwort kann nicht zwischen einem funktionierenden Arbeitsgedächtnis und einem glücklichen Raten unterscheiden.

Der Informationsabruf verdient Rangierungsmetriken – nicht die Entscheidung eines LLMs

Die Abrufschicht ist die Ebene, in der die Arithmetik die Bewertung durchführen kann, und Arithmetik hat keine Meinungen. Die Metriken stammen aus der klassischen Informationsabrufung und sind bereits seit Jahrzehnten im Einsatz:

Recall@k gibt den Anteil der Fakten an, die eigentlich abgerufen werden sollten und tatsächlich in den ersten k Ergebnissen erschienen sind. Er eignet sich, wenn das nachgeschaltete Modell Störfaktoren toleriert und die Hauptpriorität darin besteht, dass das benötigte Faktum vorhanden ist.
Precision@k ist das Verhältnis der abgerufenen Elemente, die tatsächlich relevant waren. Er spielt eine Rolle, wenn der Kontextraum begrenzt ist und jeder verschwendete Platz Token kostet oder das Modell von seinem Kurs abbringt.
Mean reciprocal rank belohnt es, das einzige richtige Faktum an erster Stelle zu platzieren – insbesondere in Fällen, in denen nur der erste Treffer zählt.

Normalisierter diskontierter kumulativer Gewinn eignet sich für eine graduierte Relevanz, bei der die Reihenfolge wichtig ist, da das Modell den früheren Kontext stärker gewichtet.

Hit-Rate, also ob überhaupt etwas Relevantes angezeigt wurde, ist eine einfache, oberflächliche Bewertungskriterium.

Wählen Sie das Kriterium, das am besten zu der Art passt, wie Ihr Agent seine Erinnerungen verarbeitet.

Fast kein Team bemerkt den nächsten Punkt, der vielleicht der nützlichste hier ist. Beliebte Bewertungsframeworks wie RAGAS, TruLens und DeepEval bieten Metriken wie Context Recall und Context Precision an, und es ist verständlich, anzunehmen, dass es sich dabei um die oben genannten Ranking-Metriken handelt. Das ist jedoch nicht der Fall. In den meisten dieser Tools liest ein LLM-Juror die abgerufenen Textabschnitte und bewertet sie, anstatt sie mit einer gelabelten Sammlung zu vergleichen, aus der hervorgeht, welche Fakten tatsächlich relevant waren. Ein Team, das glaubt, die Qualität der Informationsabrufung zu messen, bittet somit ein Sprachmodell um seine Einschätzung zur Informationsabrufung eines anderen Modells und übernimmt dabei alle Voreingenommenheiten des LLM-Jurors. Für echte Zahlen ist eine gelabelte Sammlung erforderlich, die auflistet, welche gespeicherten Fakten zu jeder Anfrage relevant sind; erst danach lassen sich Recall@k und die anderen Metriken einfach zählen. Die Erstellung dieser Sammlung ist die eigentliche Herausforderung, und die Frameworks ermöglichen es, dieser aus dem Weg zu gehen. Das erklärt, warum ehrliche Abrufzahlen selten sind, während Dashboards, die streng aussehen, es aber nicht sind, häufig vorkommen.

Vier Überprüfungen, die eine allgemeine RAG-Bewertung übersieht

Behandeln Sie das Agentenmemory, als handelte es sich um einen gewöhnlichen RAG-Pipeline, und Sie bewerten dann die Abrufqualität sowie die Antwortqualität und hören dort auf. Dadurch werden vier Fehler übersehen, die ausschließlich mit dem Memory zusammenhängen und nur deshalb auftreten, weil das Memory im Laufe der Zeit anhält und sich verändert.

Konstanz. Hat der Agent etwas gesagt, das im Widerspruch zu dem steht, was er dem Benutzer zuvor mitgeteilt hat, oder zu seiner eigenen früheren Aussage? Eine herkömmliche RAG-Bewertung kann dies nicht erkennen, da jede Anfrage einzeln bewertet wird, doch ein Speicher, der zwei gegensätzliche Fakten enthält, kann diese an verschiedenen Tagen präsentieren und als incoherent erscheinen lassen. Eine numerische Bewertung ist möglich. Ein NLI-Modell kann eine spätere Aussage als widersprüchlich zu einer früheren kennzeichnen, wobei dies sowohl auf den gesamten Dialog als auch auf die von dem System zurückgegebenen Informationen angewendet wird, wodurch der Widerspruch zu einer überwachten Metrik statt zu einem Kundenbeschwerdepunkt wird. Datensätze, die darauf abzielen, einen Dialogabschnitt zu erkennen, der einem anderen widerspricht, formalisieren genau diese Idee.

Kürze der Zeitdauer. Wenn sich eine Tatsache ändert, gibt das Gedächtnis den neuen oder den veralteten Wert zurück? LongMemEval (ICLR 2025) zählt temporales Reasoning sowie Wissensaktualisierungen zu seinen fünf getesteten Fähigkeiten – es handelt sich somit um eine anerkannte Dimension und nicht um etwas Überflüssiges. Das erfolgreiche Design ist bi-temporal. Eine Tatsache wird mit dem Zeitpunkt vermerkt, an dem sie in der realen Welt galt, sowie mit dem Zeitpunkt, an dem das System davon erfuhr; eine Aktualisierung macht die alte Version anhand eines Zeitstempels ungültig, anstatt sie einfach zu überschreiben. Temporale-Graph-Systeme wie Graphiti und Zep funktionieren auf diese Weise. Der Test ist einfach: Nach einer Aktualisierung gibt die Abfrage den neuen Wert zurück, und das System kann dennoch mitteilen, dass der alte Wert zuvor wahr war.

Enthaltung. Wenn eine Information niemals gespeichert wurde – sagt der Agent das, oder erfindet er etwas? LongMemEval betrachtet die Enthaltung als eigene Fähigkeit, und das zu Recht: Ein Gedächtnis, das erfundene Inhalte liefert, ist schlimmer als eines, das eine Lücke zugibt, denn letztendlich liest der Kunde die selbstbewusst erfundenen Angaben. Die Idee geht auf einen Leseverständnis-Test aus dem Jahr 2018 mit absichtlich unbeantwortbaren Fragen zurück. Dabei ist der Test einfach: Man fragt nach etwas, das niemals gespeichert wurde; ein korrektes System findet nichts und lehnt ab, während ein fehlerhaftes System die Stille mit Erfindungen füllt.

Vergessen. Bei Daten, die eigentlich veraltet oder entfernt werden sollten – sind sie tatsächlich weg? Ansätze zur „Unlernung“ von Maschinen liefern dazu Muster. TOFU, ein solcher Vergleichsmaßstab, teilt die Daten in eine zu vergessende Gruppe und eine zu behaltende Gruppe ein und überprüft nicht nur, dass auf das vergessene Material nicht zugegriffen werden kann, sondern auch, dass seine Nachbarn unberührt bleiben. Gedächtnistests folgen demselben Prinzip: Nach einer Löschung kann die betreffende Information weder abgerufen noch abgeleitet werden, während verwandte Informationen weiterhin vorhanden sind. Das ist nicht dasselbe wie Aktualität. Wenn ein Wert durch einen neuen ersetzt wird, bleibt der alte bewusst im System gespeichert, während eine echte Löschung, wie sie bei einer Datenschutzanfrage erforderlich ist, keinerlei Spuren hinterlassen muss. Ein System, das nur die Gültigkeit anpasst, besteht den Aktualitäts-Test, scheitert jedoch stillschweigend bei einer Überprüfung des Rechts auf Vergessenwerden – nur eine Bewertung, die diese beiden Aspekte voneinander unterscheidet, kann es aufdecken.

Bewerte Antworten mit einem Urteiler, lass ihn aber die Wahrheit nicht definieren

Die Bewertungsscores werden durch Zählen ermittelt. Bei Antworten ist das in der Regel nicht möglich, da eine richtige Antwort auf viele Arten formuliert werden kann, weshalb die meisten Teams einen LLM als Urteilsgeber verwenden. Dies funktioniert innerhalb gut dokumentierter Grenzen, die leicht übersehen werden können. Die 2023 veröffentlichte Studie, die den Einsatz von LLMs als Urteilsgeber etablierte, berichtete, dass ein solcher Urteilsgeber zu über achtzig Prozent den Ergebnissen menschlicher Bewertender entsprach, was zur Beliebtheit dieser Methode führte. Zudem wurden die Fehlermuster aufgelistet: der Positionenbias, bei dem der Urteilsgeber die erste gesehene Antwort bevorzugt; der Umfangsbias, bei dem Länge statt Inhalt belohnt wird; sowie der Selbstverbesserungsbias, bei dem der Urteilsgeber Antworten in seinem eigenen Stil bevorzugt. Eine 2024 veröffentlichte Nachfolgestudie machte diesen letzten Bias noch problematischer: Ein Modell kann seine eigene Schreibweise erkennen, und je besser es dies kann, desto mehr bevorzugt es sie. Ein weiterer Artikel aus dem Jahr 2023, G-Eval, zeigte, dass die Bewertungen von GPT-4 im Vergleich zu Menschen recht gut übereinstimmen, wies jedoch auf das wichtigste Problem in diesem Kontext hin: Die Bewertungskriterien neigen dazu, flüssigen, selbstbewussten und gut formatierten Texten Vorrang zu geben. Genau das ist die Form einer selbstbewusst falschen Antwort – so kann eine Erinnerung, die richtig klingt, aber die Zahl falsch angibt, durchdringen.

Nutzen Sie den Bewertungsfaktor, aber begrenzen Sie ihn:

Bewerten Sie anhand eines Kriterienkatalogs, der auf einer bekannten richtigen Antwort basiert, anstatt eines offenen „Was ist besser?“-Tests, sodass der Bewertungsfaktor Fakten überprüft und nicht nach Stimmung abstimmt.
Prüfen Sie, wie oft er mit von Menschen bewerteten Beispielen aus Ihren eigenen Daten übereinstimmt, denn ein Bewertungsfaktor, der in Ihrem Bereich mit Ihren Ergebnissen unübereinstimmt, ist fehlerhaft kalibriert.
Neutralisieren Sie Verzerrungen durch Vorurteile, wie es der ursprüngliche Artikel vorschlug: Wechseln Sie die Reihenfolge der Kandidaten und bilden Sie die Ergebnisse durchschnittlich aus.
Betrachten Sie ein Upgrade auf ein neues Urteilsmodell als Migration des Bewertungssystems und nicht als automatische Verbesserung. Die Ergebnisse eines neuen Modells sind nicht mit denen des alten vergleichbar, und ein stiller Austausch verändert die Werte aus Gründen, die nichts mit dem getesteten System zu tun haben.

Ein Urteilsmodell ist ein Instrument zur Kalibrierung, kein Orakel, dem man folgen muss.

Zusammenstellung des Systems aus eigenen Daten

Alles basiert auf einer „goldenen“ Datensammlung: einer festgelegten, beschrifteten Sammlung von Fällen aus Ihrem eigenen Bereich, wobei jeder Eintrag eine Abfrage mit den zu suchenden Fakten sowie der erwarteten Antwort verbindet. Es funktioniert wie ein Regressionstestsystem, das stets bestehen muss, angepasst an nicht-deterministische Ausgaben. Viele Teams beginnen mit einigen hundert manuell ausgewählten Fällen. Dieser Bereich ist eine Faustregel für Praktiker und keine Regel, daher betrachten Sie ihn als Ausgangspunkt, der sich weiterentwickelt.

Das Erstellen des Datensatzes ist nicht der schwierige Teil – vielmehr ist es wichtig, ihn aktuell zu halten. Ein gefrorener „goldener“ Datensatz passt allmählich nicht mehr zum tatsächlichen Verkehr, da Produkt, Korpus und Nutzer weiterentwickeln, und ein vollständig aktueller Datensatz auf einem veralteten setzt falsches Vertrauen, das teuerste überhaupt. Die Lösung ist ein Kreislauf: Man nimmt Fehler aus der Produktion und integriert sie als neu beschriftete Fälle in den „goldenen“ Datensatz, entfernt jene, die nicht mehr der Realität entsprechen, sodass der Datensatz dem Produkt folgt und nicht nur einem Zeitpunkt seiner Vergangenheit. Synthetische Fälle können die Abdeckung unterstützen, und mehrere Frameworks erzeugen sie, doch generierte Fälle tragen die Blindstellen des Modells, das sie erstellt hat – daher ist weiterhin ein von Menschen überprüfter Ausgangsdatensatz erforderlich.

Die Suite läuft anschließend an zwei Orten – offline und online – da dort unterschiedliche Fehler auftreten. Im Offline-Modus, anhand der goldenen Referenz, überprüft sie Freigaben: auf wiederholbare und deterministische Weise stellt sie sicher, dass nichts, was bereits als funktionsfähig galt, beschädigt wurde. Im Online-Modus, anhand von hochauflösenden tatsächlichen Datenspuren, erkennt sie Dinge, die eine starre Referenzmenge niemals feststellen könnte, wie beispielsweise Veränderungen in der Verteilung, ungewöhnliche, langschwänzige Abfragen, die niemand vorhergesehen hat, sowie eine langsame Veraltung, die erst nach Wochen an angesammeltem Zustand sichtbar wird. Ein grüner Offline-Status signalisiert, dass das Bekannte intakt ist; die Online-Überwachung zeigt das Unbekannte. Betrachten Sie den Offline-Status als Freigabe zum Veröffentlichen, niemals als Beweis dafür, dass die Lösung funktioniert.

Kosten und Latenz gehören auf denselben Leistungsbericht

Kosten und Latenz sind die Aspekte, die bei den meisten Bewertungen außer Acht gelassen werden, während sie bei der Speicherverwaltung unerlässlich sind. Der Speicher liegt auf dem kritischen Pfad jeder Entscheidungsschleife, wodurch seine Abruflatenz – gemessen am p95-Wert und nicht hinter einem Durchschnitt verborgen – bestimmt, wie schnell der Agent antworten kann. Die Anzahl der Tokens pro Schleifendurchgang bildet das gesamte wirtschaftliche Kriterium: Der Speicher dient dazu, weniger Tokens zu verbrauchen als durch das Einfügen der gesamten Historie, weshalb eine Schicht, die mehr Tokens verbraucht, als sie spart, auch dann ihren Hauptzweck verfehlt, wenn die Genauigkeit gleich bleibt. Das Wachstum des Speichers stellt eine langsame Regression dar, die jede Woche etwas mehr Latenz verursacht und ablenkt, bis der Abruf deutlich schlechter wird, ohne dass ein Prüftest zu einem bestimmten Zeitpunkt darauf hingewiesen hätte. Die Kosten beim Schreiben, also die Arbeit zur Extraktion und Abgleichung, stellen reale Rechenleistung dar, die von einer Genauigkeitsangabe nicht erfasst wird.

Eine Speichermethode sollte aus Gründen der Effizienz und Konsistenz entwickelt werden, und gerade bei der Bewertung zeigt sich, ob das gelungen ist. Höhere Genauigkeit, die durch eine zusätzliche halbe Sekunde pro Zug erreicht wird, kostet mehr, als sie einspart – dadurch wird die Speichermethode nicht besser, doch eine Leistungsübersicht mit nur einer Spalte für die Genauigkeit würde das behaupten. Wenn Latenz und Kosten neben der Qualität angegeben werden, werden die Abwägungen sichtbar und nicht mehr zufällig.

Wie das System in der Praxis aussieht

Im Überblick besteht das System aus zwei Ebenen, vier Speicherkontrollen, einem kalibrierten Bewertungssystem, einer aus der Produktion erneuerten Referenzmenge sowie Kostenangaben neben der Genauigkeit. Zwei Skizzen veranschaulichen, was das in der Praxis bedeutet.

Nehmen wir an, eine Vermögensverwaltungsplattform speichert ihre Daten als Wissensgraph mit wenigen Entitäts- und Beziehungsarten, die durch einen mehrstufigen Extraktionsprozess versorgt werden, der jedem Fakt eine Zuverlässigkeitsbewertung von null bis eins zuweist. Das Team würde diese nicht dadurch bewerten, indem es ein Modell fragt, ob die Antworten gut erscheinen. Stattdessen wird die Abrufschicht direkt anhand einer beschrifteten Dokumentensammlung getestet, in der die richtigen Entitäten und Beziehungen bereits bekannt sind, sodass die Recall- und Präzisionswerte konkrete Zahlen und keine Schätzungen sind. Auch die Aktualität wird gezielt überprüft: Wenn ein neueres Dokument etwas ändert, was in einem älteren Dokument steht, muss die Abfrage den aktualisierten Wert liefern. Derselbe Bewertungsansatz, bei dem eine Graphstruktur vor der Nutzung von Agenten bewertet wird, gilt auch für das Gedächtnis der Agenten.

Nehmen wir nun an, es gibt ein System zur rechtlichen Analyse mit ein paar Dutzend Agenten – einige fungieren als Bewertungsmechanismus, andere als Analysten –, die statt des Austauschs von Transkripten eine strukturierte Bewertungstabelle teilen. Dabei wird Konsistenz zu einer zentralen Messgröße, denn ein Agent, der einer im gemeinsamen Zustand festgelegten Bewertung widerspricht, stellt einen messbaren Defekt dar und nicht nur eine subjektive Beobachtung. Die Kosten pro Schritt werden auf derselben Anzeigetafel wie die Qualität angezeigt, denn eine Routierungsstufe, die entscheidet, welche Agenten für ein Dokument tatsächlich benötigt werden, und dabei die Anzahl der Modellaufrufe erheblich reduziert, lohnt sich nur, wenn die Bewertung zeigt, dass die Qualität erhalten bleibt, während die Kosten sinken. Keines der Systeme gewinnt Vertrauen, indem es einen Benchmark übertreffen kann; beides gewinnt Vertrauen durch Messungen an eigenen Daten, über alle Ebenen hinweg sowie durch Überprüfungen, die zu der Arbeit passen, die sie ausführen.

Anzeichen dafür, dass die Bewertung das Engpassproblem ist

Mehrere Symptome deuten auf die Bewertung selbst und nicht auf das Modell, den Speicher oder den Abrufmechanismus hin:

Das Speichersystem wurde aus einer Rangliste ausgewählt, und in der Produktion stimmt die Leistung ständig nicht mit seiner Bewertung überein.
Die Genauigkeit der End-zu-End-Antworten ist die einzige Messgröße, wodurch ein Versagen weder auf einen fehlgeschlagenen Abruf noch auf Fehler des Modells bei der Verarbeitung der erhaltenen Informationen zurückgeführt werden kann.
Die Zahlen zum Abruf stammen von der Kontext-Rückruf-Messgröße eines Frameworks, und es existiert keine beschriftete Datensammlung, was bedeutet, dass ein LLM den Abruf bewertet und dies als Messung ausgibt.
Der Agent widerspricht sich selbst oder liefert veraltete Informationen, und das System würde dies niemals bemerken, da es nur einzelne Abfragen testet und Konsistenz, Aktualität, Abstinenz sowie Vergessenheit ignoriert.
Niemand weiß, welche Auswirkungen die neuesten Speichereinstellungen auf die Latenz oder den Tokenverbrauch haben, da Genauigkeit die einzige von allen erfasste Kenngröße ist.

Angesichts dieses Musters werden weder ein leistungsstärkeres Modell noch ein klügerer Abrufmechanismus die Situation retten, denn was nicht beobachtet werden kann, kann auch nicht verbessert werden. Die Lösung besteht darin, Abruf und Antwort voneinander zu trennen, den Abruf mithilfe von Rangierungsmetriken anhand einer gelabelten Datensammlung zu bewerten, die vier Gedächtniskontrollen hinzuzufügen, den Bewertenden statt dessen kalibrieren anstatt ihm zu vertrauen, die „goldene“ Datensammlung mit Produktionsdaten zu aktualisieren und neben der Genauigkeit auch Kosten und Latenzzeit mitzuteilen.

Dadurch ist auch der umfassendere Argumentationsstrang abgeschlossen. Ein Kontextfenster ist kein Speicher. Der an seiner Stelle erstellte Speicher muss durch Ranking und nicht durch Suchen gelesen werden. Der Arbeitsbereich vor dem Modell muss verwaltet werden, nicht nur erweitert, und der Schreibweg muss konsolidiert statt angesammelt werden. Das Ganze muss anschließend an Ihren eigenen Daten bewertet werden – bei der Informationsabrufung, bei der Antwort sowie bei den vier Überprüfungen, die öffentliche Benchmarks überspringen – unter Berücksichtigung von Kosten und Latenz neben der Genauigkeit, denn eine Rangliste kann Ihnen wirklich nicht das liefern, was Sie wissen müssen. Bauen Sie den Speicher sowie seine Bewertung gemeinsam auf, dann erfahren Sie anhand von Zahlen, ob das Agent sich erinnert. Überspringen Sie die Bewertung, arbeiten Sie mit den Ergebnissen eines Dritten an einem Problem, das niemals sein Problem war.