Sechs Agenten-Memory-Tools bewertet anhand eines Tests: Können sie eine geänderte Tatsache verarbeiten?
Sechs Werkzeuge zur Agentenmemorierung stehen vor einer Prüfung: Können sie mit einer geänderten Tatsache umgehen? Zep, Cognee, Mem0, Letta, LangChain Memory sowie einfache Vektorlagern – und wo jede Methode hineinpasst.
Quellen: I Compared 6 AI Agent Memory Tools. Three Fail One Test.
Stellen Sie sich einen Agenten vor, dem vor einem halben Jahr mitgeteilt wurde, dass Python die gesamte Identität des Benutzers darstellt. Letzte Woche erwähnte der Benutzer einen Umstieg auf Rust. Nun fragt jemand, in welcher Sprache der neue Service entwickelt werden sollte. Ein einfacher Vektor-Speicher gibt beide Informationen mit derselben Zuverlässigkeit zurück, da die Ähnlichkeitsberechnung keine Kenntnis davon hat, welche Aussage aktuell ist.
Genau dieses Versagen bildet den besten Maßstab für Tools zur Agenten-Speicherung. Sechs dieser Tools haben diesen Test bestanden, drei jedoch nicht.
Ein dreizeiliger Test, den die meisten Speichersysteme nicht bestehen
Der Test ist kurz: Speichern Sie Fakt A. Speichern Sie anschließend Fakt B, der A ersetzt. Führen Sie eine Abfrage durch und prüfen Sie, welcher Fakt zurückgegeben wird.
Ein einfacher Speicher gibt beide Fakten aus. Ein echtes Speichersystem antwortet mit Rust und erkennt, dass Python nun Geschichte ist. Der Unterschied zwischen diesen beiden Verhaltensweisen kostet Teams oft einen ganzen Quartal.
Der Schmerz ist konkret. Ein Support-Mitarbeiter drängte einen Kunden, der bereits drei Wochen zuvor auf den monatlichen Plan umgestiegen war, weiterhin auf den jährlichen Plan. Die Herabstufung sowie der ursprüngliche Vorschlag für eine Aufstufung lagen im Vector-Store – der fröhliche alte Ansatz erzielte nur geringfügig höhere Werte bei der Kosinusähnlichkeit, der Mitarbeiter wählte ihn aus, und schließlich musste ein Mensch sich entschuldigen. Niemand hatte einen Fehler eingeführt; die Abfragesysteme funktionierten genau so, wie sie konzipiert waren – und das war das Problem.
Das ist keineswegs eine Randbedenken. Derzeit definieren drei Benchmarks dieses Feld: LoCoMo mit 1.540 Fragen, LongMemEval mit 500 sowie das neuere BEAM, das mit einer bzw. zehn Millionen Tokens arbeitet. Jeder dieser Benchmarks verfügt über einen eigenen Zeit- oder Wissensaktualisierungsansatz. Standardisierte Prüfungen existieren gerade deshalb, weil in Fällen von Widersprüchen die Systeme stillschweigend versagen.
Der Bericht „Mem0’s State of AI Agent Memory 2026“ bezeichnet das Problem als Veraltetheit: Eine gespeicherte Information über den Arbeitgeber einer Person bleibt gültig, bis diese den Job wechselt, danach ist sie mit Sicherheit falsch. Der Bericht beschreibt auch eine tiefere Form dieses Problems. Die meisten Systeme überschreiben eine Änderung und registrieren sie nie als Weiterentwicklung, wodurch das Wissen darum, dass etwas einst wahr war, verschwindet. LongMemEval prüft Wissensaktualisierungen sowie zeitliches Denken direkt, und BEAM umfasst eine Kategorie mit dem Namen „Widerspruchslösung“.
Eine Einschränkung vorab: LoCoMo und LongMemEval wurden nicht auf lokaler Hardware erneut ausgeführt. Die Urteile basieren auf den veröffentlichten Bewertungen der jeweiligen Tools, deren Dokumentation sowie dem oben beschriebenen wiederholbaren manuellen Test. Die von den Anbietern bereitgestellten Benchmark-Werte sind selbst gemeldet, weshalb sie hier als Angaben und nicht als gesicherte Fakten dargestellt werden.
Was folgt, listet die Ergebnisse vom Besten bis zum Schlechtesten im Widerspruchstest auf.
1. Zep: Eine veränderte Tatsache wird zu einem Ereignis, nicht zu einer Überschreibung
Im Kern verwendet Zep Graphiti, ein zeitbewusstes Wissensgraphen-System und nicht nur einen Haufen Embeddings. Die wichtige Eigenschaft ist, dass es bi-temporal ist. Jede Kante dokumentiert sowohl, wann etwas geschah, als auch, wann das System davon erfuhr, und jede Beziehung weist ein explizites Gültigkeitsfenster auf.
Sobald der Eintrag „wechselte auf Rust“ hinzukommt, fügt Graphiti nicht einfach eine nahezu identische Kopie neben „prefers Python“ hinzu. Es erkennt den Widerspruch und entfernt stattdessen die ältere Eintragung, anstatt sie einfach zu löschen: Der Eintrag zu Python erhält ein Enddatum und bleibt weiterhin im Register. Eine Abfrage liefert die heutige Antwort, während die früheren Einträge weiterhin eingesehen werden können. Das Design verfügt über drei Ebenen von Subgraphen – eine für die Rohdaten der Episoden, eine für semantische Entitäten und eine für Community-Cluster – was grob der Art entspricht, wie Menschen das Geschehene von ihrem Wissen trennen. In Zeps Paper übertrifft es MemGPT im DMR-Benchmark (94,8 % gegenüber 93,4 %). Im schwierigeren LongMemEval weist es Zuwächse bei der Genauigkeit im zweistelligen Bereich auf sowie etwa 90 % geringere Antwortverzögerungen im Vergleich zu einer Baseline mit vollständigem Kontext.
Verwenden Sie es, wenn die Aktualität einer Tatsache die richtige Vorgehensweise verändert: CRM, Gesundheitswesen, Support oder alles, was im Laufe von Monaten personalisiert wird. Der Nachteil ist offensichtlich – der Betrieb einer Graph-Datenbank stellt eine erhebliche operative Belastung für ein Wochenendprojekt dar.
2. Cognee: Graph-Gedächtnis ohne Managed-Service
Cognee ist die Open-Source-Version derselben Idee. Es erstellt ein Wissensgraph aus unstrukturierten Eingaben und ruft Informationen dann durch das Abwandern von Beziehungen sowie durch Vektorähnlichkeit ab. Da es Entitäten und deren Verbindungen modelliert, verfügt es über die Mechanismen, um festzustellen, dass eine neue Tatsache über eine Entität eine alte ersetzt.
Wenn es richtig umgesetzt wird, funktioniert es. Der zweite Platz zeigt, wie viel der temporären Verarbeitungstechnologie Cognee dem Benutzer überlässt. Es liefert das Diagramm sowie die Einpflegepipelines, während die Regeln dafür, wann ein neuer Datensatz einen alten ersetzt, vom Team selbst erstellt werden müssen. Jeder, der Graphen-Speicher zusammen mit vollständiger Kontrolle wünscht – ohne verwaltete Dienste, ohne Gebühren pro Benutzer und mit den Daten in seinem eigenen Speicher – wird darin den Hauptvorteil sehen. Wer hofft, bis Freitag fertig zu werden, wird feststellen, dass es eher wie eine zusätzliche Aufgabe ist.
3. Mem0: Erfolg durch enorme Suchvolumina – offen zugegeben
Mem0 ist die weit verbreitete, speziell dafür vorgesehene Speicherschicht. Sie überträgt im Wesentlichen die Daten weiter, doch die Art und Weise, wie dies geschieht, ist aufschlussreich. Es werden keine Graphen verwendet. Stattdessen laufen drei Abfragesignale nebeneinander (semantische Ähnlichkeit, BM25-Schlüsselwortabgleich und Entitätenabgleich), und die kombinierten Ergebnisse werden gerankt. Der Entitätenabgleich ist in der Regel der Schritt, der neue Fakten über veraltete stellt.
Es gibt mehrere Aspekte, bei denen Anerkennung gebührt. Der eigene Bericht des Anbieters räumt ein, dass Probleme wie Veraltetheit und Identitätsprobleme zwischen Sessions weiterhin ungelöst sind. Bei LoCoMo werden 92,5 erreicht, wobei pro Abfrage etwa 6.956 Token verwendet werden, im Vergleich zu rund 26.000, wenn die gesamte Historie in den Kontext aufgenommen wird – was sich deutlich in den Inferenzkosten zeigt. Auch die Strukturierung ist solide: Jeder Schreibvorgang wird mit einer Benutzer-, Agenten-, Sitzungs- oder Organisationseintragung versehen, sodass ein Speicher einen einzelnen Benutzer über verschiedene Sessions hinweg verfolgen kann, ohne die verschiedenen Nutzer voneinander zu vermischen. Es handelt sich dabei um die sinnvolle Standardlösung, die als verwalteter Cloud-Dienst, Open-Source-Lösung für Selbsthosting oder lokaler MCP-Server angeboten wird. Die Bestehen des Tests bedeutet jedoch nicht automatisch eine Lösung des Problems, wie die Entwickler ausdrücklich betonen.
4. Letta: Löst ein anderes Problem und übernimmt die Schuld für dieses
Letta leitet sich von MemGPT ab und übernimmt eine Idee aus Betriebssystemen. Das Kontextfenster fungiert als RAM: Häufig benötigte Fakten bleiben im Hauptkontext, der Rest wird auf externe Speicher übertragen, und der Agent ändert seinen eigenen Speicher, indem er Funktionen aufruft. Es eignet sich für Situationen, in denen ein Gespräch ein Kontextfenster übersteigt.
Das Auflösen von Widersprüchen ist nicht seine Hauptfunktion. Ob Rust oder Python verwendet wird, hängt davon ab, ob der Agent den entsprechenden Speicherblock neu geschrieben hat; daher ist das Ersetzen alter Fakten eine durch Anweisungen zu bewirkende Aktion und keine Garantie des Systems. Bei der Kontextverwaltung zeigt es seine Stärken, während die zeitliche Richtigkeit aus Designgründen nur mäßig berücksichtigt wird.
5. LangChain Memory: ein Werkzeugkasten, keine Lösung
LangChain bietet Speicherklassen für Puffer, Zusammenfassungen, Entitäten und Wissensgraphen an, wobei alles auf dem jeweils verbundenen Speicherlaufwerk ausgeführt wird. Man kann sich das wie einen Behälter mit Bauteilen vorstellen. Die Typen für Puffer und Zusammenfassungen scheitern sofort am Test, da sie die Historie entweder überladen oder einschränken und keinen Konflikt lösen.
Ein funktionsfähiges System kann aus den Komponenten für Entitäten und Graphen zusammengestellt werden, doch dann liegt die Verwaltung der zeitlichen Logik in den Händen des Nutzers, während das Framework lediglich die Grundbausteine bereitstellt. LlamaIndex Memory gehört in dieselbe Kategorie und neigt eher dazu, Dokumente zu speichern, anstatt sich mit sich ändernden Fakten auseinanderzusetzen. Beide dienen als nützliche Verbindungsstücke – keines davon ist jedoch ein Speichersystem, dem man bereits am ersten Tag im Test vertrauen kann.
6. Ein reiner Vektor-Speicher: Nennen Sie das bitte nicht Speicher
Hier ist die Option, der man ausweichen sollte – obwohl sie die übliche Wahl in der Produktion ist: ein roher Pinecone-, pgvector- oder Chroma-Index, der mit Gesprächsanzeigen gefüllt ist. Das ist eine Speicherschicht, keine Speichermemorie. Aktualität, Überlagern und Herkunft fehlen vollständig. Embedding-Suchen liefert die k nächsten Nachbarn, wobei sowohl „prefers Python“ als auch „switched to Rust“ in der Nähe von „what language?“ auftauchen.
Der Bericht von Mem0 beginnt damit, dieses Reflexverhalten kritisch zu betrachten, bei dem die Gesprächshistorie in das Kontextfenster geladen wird in der Hoffnung, das Modell halte daran fest. Ein Team, das eine Vektordatenbank direkt mit seinem Agenten verbindet und diesen als Speicher bezeichnet, wird jedes Mal feststellen, dass der Widerspruchstest fehlschlägt. In der Produktion zeigt sich das darin, dass ein Agent beharrlich eine Tatsache zitiert, die der Benutzer bereits vor einer Woche korrigiert hat.
Wo anzufangen
Falls die Aktualität jemals die richtige Antwort verändern kann, sollte man mit einem zeitbasierten Ansatz beginnen: Zep, wenn die Aufgabe für einen erledigt werden soll, Cognee, wenn es vorzuziehen ist, den Graphen selbst zu besitzen. Wenn es darauf ankommt, kostengünstig über mehrere Sitzungen hinweg eine ausreichende Erinnerungsfähigkeit zu haben und gelegentliche veraltete Ergebnisse in Ordnung sind, ist Mem0 der schnellste Weg. Ein reiner Vektor-Speicher macht nur dann Sinn, wenn ein Suchindex gewünscht ist und kein Speicherplatz vorhanden ist.
Nicht jeder Agent benötigt einen Wissensgraphen, und hier steht nichts anderes. Ein zustandsloser Support-Bot, der einen Kunden zwischen den Tickets vergisst, hat oft recht damit. Ein zeitbasierter Graph wäre in solchen Fällen überdimensioniert, und der oft verspottete einfache Puffer ist die richtige Wahl. Der Test ist nur dann wichtig, wenn der Agent im Laufe der Zeit eine Person kennen soll. In dieser Situation sollte man ein Tool wählen, das unterscheiden kann, was gesagt wurde und was weiterhin gilt.
Verwandte Artikel
- AI-Agent-Memory im Jahr 2026: Mem0, Letta, Zep und der Vergleich mit Cloud-Plattformen — Ein Überblick über die Agent-Memory-Lösungen im Jahr 2026: Die CoALA-Memory-Typen, Mem0, Letta, Zep, Cloud-Angebote, Benchmarks, Vergiftungsrisiken sowie welche Konzepte für welche Aufgaben geeignet sind.
- Vier Speichermethoden für AI-Agenten: Rolling Windows, FAISS und GraphRAG — Vergleich der Möglichkeiten, einem LLM-Agenten Speicher bereitzustellen, von vollständiger Historie und Rolling Windows über invertierte Indizes, FAISS-Semantiksuche bis hin zu einem GraphRAG-Wissensgraphen.