Sześć narzędzi pamięci agenta ocenionych na podstawie jednego testu: czy potrafią radzić sobie ze zmienionym faktem?
Sześć narzędzi do przechowywania danych agentów staje przed jednym testem: czy potrafią radzić sobie ze zmienionym faktem? Zep, Cognee, Mem0, Letta, LangChain Memory oraz zwykłe magazyny wektorowe, oraz to, gdzie każde z nich pasuje.
Źródła: I Compared 6 AI Agent Memory Tools. Three Fail One Test.
Załóżmy agenta, któremu pół roku temu powiedziano, że Python stanowi całą tożsamość użytkownika. W zeszłym tygodniu użytkownik wspomniał o przenosinach na Rust. Teraz ktoś pyta, w jakim języku powinien być zbudowany nowy serwis. Zwykły magazyn wektorów zwraca oba fakty z taką samą pewnością, ponieważ algorytmy porównywania podobieństw nie rozróżniają, który z nich jest aktualny.
To jedno niepowodzenie stanowi najdobry wskaźnik dla narzędzi do zarządzania pamięcią agentów. Sześć z nich je przejdło, a trzy nie.
Test składający się z trzech linijek, którego większość systemów pamięci nie potrafi przejść
Test jest krótki: należy zapisać fakt A, następnie fakt B, który go zastępuje. Następnie należy zadać zapytanie i sprawdzić, który fakt zostanie zwrócony.
Zwykły magazyn zwraca oba fakty. Prawdziwa pamięć odpowiada „Rust” i rozumie, że Python należy już do przeszłości. Różnica pomiędzy tymi dwoma zachowaniami sprawia, że zespoły tracą sporo czasu.
Ból jest konkretny. Pracownik obsługi klienta nieustannie namawiał klienta, który trzy tygodnie wcześniej przeniósł się na plan miesięczny, do przejścia na plan roczny. Ta zmiana była zapisana w bazie danych wektorowych, podobnie jak pierwotna oferta podwyższenia pakietu. Ta „wesoła” starsza opcja uzyskała nieco wyższą wartość pod względem podobieństwa kosinowego, pracownik ją zaproponował, a w końcu ktoś musiał przeprosić. Nikt nie wysłał błędu – system wykonywał dokładnie to, do czego został zaprojektowany, i to właśnie stanowiło problem.
To jest daleko od bycia błahym zmartwieniem. Obecnie w tym obszarze stosuje się trzy standardy: LoCoMo z 1 540 pytaniami, LongMemEval z 500 pytaniami oraz nowszy BEAM, który pracuje z jednym i dziesięcioma milionami tokenów. Każdy z tych standardów ma dedykowany obszar do śledzenia aktualizacji czasowych lub wiedzy. Standardowe testy istnieją właśnie dlatego, że to w przypadkach sprzeczności systemy najczęściej przestają prawidłowo funkcjonować.
Raport Mem0 „State of AI Agent Memory 2026” określa ten problem mianem przestarzałości: fakty dotyczące pracodawcy kogoś pozostają aktualne dopóki ta osoba nie zmieni pracy, po czym stają się z całą pewnością błędne. Raport opisuje również głębszą formę tego problemu. Większość systemów nadpisuje zmiany i nigdy nie rejestruje ich jako ewolucji, w wyniku czego wiedza o tym, że coś kiedyś było prawdą, znika. LongMemEval bezpośrednio testuje aktualizacje wiedzy oraz rozumowanie czasowe, natomiast BEAM zawiera kategorię o nazwie rozwiązywanie sprzeczności.
Jedna uwaga przed przedstawieniem rankingu: LoCoMo i LongMemEval nie zostały ponownie przeprowadzone na lokalnym sprzęcie. Werdykty opierają się na opublikowanych ocenach każdego narzędzia, jego dokumentacji oraz powyższym testie ręcznym, który można powtórzyć. Wskaźniki benchmarkowe dostarczane przez producentów są samodzielnie podawane, więc tutaj pojawiają się jako twierdzenia, a nie ustalone fakty.
Poniższa lista przedstawia wyniki od najlepszych do najgorszych w teście sprzeczności.
1. Zep: zmieniony fakt staje się zdarzeniem, a nie nadpisaniem
W swojej istocie Zep wykorzystuje Graphiti – graf wiedzy świadomy czasu, a nie zbiór embeddingów. Kluczową cechą jest to, że jest on dwutemporalny. Każdy krawędź rejestruje zarówno moment, w którym coś się wydarzyło, jak i moment, w którym system o tym dowiedział się, a każda relacja ma określone okno ważności.
Gdy pojawi się opcja „przełączyć na Rust”, Graphiti nie dodaje po prostu niemal identycznego wpisu obok informacji „woli Pythona”. Zauważa tę kolizję i usuwa starszy wpis zamiast go całkowicie usunąć: informacja o Pythonie otrzymuje datę zakończenia i pozostaje w rejestrze. Zapytanie zwraca aktualną odpowiedź, a wcześniejszą historię nadal można przeanalizować. Projekt składa się z trzech warstw podgrafów – jednej dla surowych zdarzeń, jednej dla entytetów semantycznych i jednej dla klastrów społecznościowych, co w przybliżeniu odzwierciedla sposób, w jaki ludzie oddzielają to, co się wydarzyło, od tego, co wiedzą. W artykule Zepa system ten przewyższa MemGPT w teście DMR (94,8% w porównaniu z 93,4%). W trudniejszym teście LongMemEval osiąga wzrost dokładności o kilka punktów procentowych oraz około 90% mniejszą latencję odpowiedzi w porównaniu z bazą roboczą opartą na pełnym kontekście.
Użyj go wtedy, gdy aktualność faktu zmienia odpowiednią akcję: CRM, zdrowie, obsługa klienta lub cokolwiek spersonalizowanego na przestrzeni miesięcy. Wada jest oczywista – utrzymywanie bazy danych grafowych stanowi poważne obciążenie operacyjne dla projektu weekendowego.
2. Cognee: pamięć grafowa bez usługi zarządzanej
Cognee to wersja open-source tej samej koncepcji. Tworzy graf wiedzy na podstawie niestrukturyzowanych danych, a następnie wyszukuje informacje poprzez analizę powiązań oraz podobieństwa wektorowego. Ponieważ modeluje entity oraz sposób ich połączeń, posiada mechanizmy umożliwiające stwierdzenie, że nowy fakt dotyczący danej entity zastępuje stary.
Jeśli zrealizowane prawidłowo, przekracza oczekiwania. Drugie miejsce odzwierciedla, jak dużą część struktur czasowych Cognee pozostawia użytkownikowi. Dostarcza graf oraz pipeline’y do przetwarzania danych, natomiast zasady dotyczące tego, kiedy nowy fakt zastępuje stary, musi opracować zespół. Każdy, kto chce mieć pamięć grafową wraz z pełną kontrolą, bez usług zarządzanych, bez opłat za użytkownika oraz z danymi przechowywanymi we własnym magazynie, uzna to za główną zaletę. Ci natomiast, którzy liczą na ukończenie pracy do piątku, będą postrzegać to raczej jako dodatkowe zadanie.
3. Mem0: sukces dzięki ogromnej objętości wyszukiwań, otwarcie przyznawane
Mem0 to powszechnie używana dedykowana warstwa pamięci. Głównie przekazuje dane, ale sposób, w jaki to robi, ma znaczenie edukacyjne. Nie jest tu potrzebny żaden graf. Zamiast tego trzy sygnały wyszukiwawcze działają równolegle (podobieństwo semantyczne, dopasowanie słów kluczowych BM25 oraz dopasowanie entytetów), a połączone wyniki są sortowane. Dopasowanie entytetów jest zazwyczaj tym krokiem, który sprawia, że nowszy fakt wyprzedza ten przestarzały.
Zasługi należą się w kilku obszarach. Sam raport dostawcy przyznaje, że problemy z przestarzałością danych oraz identyfikacją użytkowników pomiędzy sesjami pozostają nierozwiązane. W przypadku systemu LoCoMo osiąga on wynik 92,5 przy użyciu około 6 956 tokenów na zapytanie, w porównaniu z mniej więcej 26 000 tokenami, gdy cała historia interakcji jest uwzględniana w kontekście – co wyraźnie wpływa na koszty przetwarzania. Jego mechanizm zarządzania zakresem danych jest również solidny: każda operacja zapisu jest oznaczona identyfikatorem użytkownika, agenta, sesji lub organizacji, dzięki czemu jeden magazyn może śledzić danego użytkownika w różnych sesjach, jednocześnie zachowując oddzielenie poszczególnych użytkowników. Jest to rozsądny standard, dostępny jako usługa chmurowa, rozwiązanie open-source do samodzielnego hostowania lub lokalny serwer MCP. Jednak przejście testu nie oznacza rozwiązania problemu, co autorzy chętnie podkreślają.
4. Letta: rozwiązuje inny problem i bierze na siebie winę za ten tutaj
Letta wywodzi się z MemGPT i czerpie pomysł z systemu operacyjnego. Okno kontekstowe pełni rolę pamięci RAM: fakty często potrzebne pozostają w głównym kontekście, a reszta przenosi się do zewnętrznej pamięci; agent zmienia swoją własną pamięć poprzez wywoływanie funkcji. Nadaje się do sytuacji, w których rozmowa przekracza możliwości jakiegokolwiek okna kontekstowego.
Rozwiązywanie sprzeczności nie jest jego głównym przeznaczeniem. Wybór między Rust a Python zależy od tego, czy agent przypadkowo przepisał odpowiedni blok pamięci, więc zastępowanie starych faktów wymaga specjalnego polecenia, a nie jest gwarantowane przez system. Tutaj doskonale radzi sobie z zarządzaniem kontekstem, natomiast prawda czasowa otrzymuje w jego projekcie jedynie przeciętne traktowanie.
5. LangChain Memory: zestaw narzędzi, a nie odpowiedź
LangChain oferuje klasы pamięci przeznaczone do przechowywania buforów, streszczeń, entytetów oraz grafów wiedzy, przy czym wszystko to działa w zależności od wybranego źródła danych. Można to porównać do skrzynki z elementami. Typy buforów i streszczeń od razu nie przechodzą testu, ponieważ gromadzą lub skracają historię, a jednocześnie nie rozwiązują konfliktów.
System, który przechodzi test, można zbudować z elementów odpowiadających entytetom i grafom, ale wtedy logika temporalna stanowi zadanie osoby budującej system, a framework jedynie dostarcza niezbędne elementy. LlamaIndex Memory należy do tej samej kategorii – skupia się raczej na przechowywaniu dokumentów niż na dostosowywaniu faktów, które się zmieniają. Obie te metody są przydatne jako narzędzia pomocnicze. Żadna z nich nie stanowi systemu pamięci godnego zaufania już od pierwszego dnia testowania.
6. Prosty magazyn wektorów: proszę, nie nazywaj tego pamięcią
Oto opcja, której należy unikać, mimo że jest to standardowy wybór w produkcji: surowy indeks Pinecone, pgvector lub Chroma wypełniony fragmentami rozmów. To warstwa przechowywania, a nie pamięć. Brakuje tu informacji o najnowszych danych, zastąpieniu elementów oraz ich pochodzeniu. Funkcja embedding search zwraca k najbliższych sąsiadów, a frazy „prefers Python” oraz „switched to Rust” obie pojawiają się w pobliżu pytania „what language?”
Raport Mem0 zaczyna się od krytyki tego odruchu, polegającego na gromadzeniu historii rozmów w oknie kontekstowym w nadziei, że model będzie to pamiętał. Zespół, który połączył bazę danych wektorową bezpośrednio ze swoim agentem i nazwał to pamięcią, za każdym razem będzie widział, jak test na sprzeczności zawodzi. W warunkach produkcyjnych objawia się to tym, że agent bez wahania przytacza fakt, który użytkownik poprawił już tydzień temu.
Od czego zacząć
Jeśli aktualność może kiedykolwiek zmienić prawidłową odpowiedź, należy zacząć od podejścia temporalnego: Zep, gdy praca powinna być przetwarzana za Ciebie, Cognee, gdy lepsze jest posiadanie grafu. Jeśli potrzebna jest tania, wystarczająca pamięć przywracająca informacje między sesjami, a od czasu do czasowy błąd nie stanowi problemu, Mem0 to najszybsze rozwiązanie. Zwykły magazyn wektorów ma sens tylko wtedy, gdy potrzebny jest indeks wyszukiwania, a nie pamięć.
Nie każdy agent potrzebuje grafu wiedzy, i nic tutaj temu nie przeczy. Bot obsługi bez stanu, który zapomina o klientzie między zapytaniami, często postępuje słusznie. Graf temporalny byłby w takim przypadku nadmiernym rozwiązaniem, a często krytykowany zwykły bufor to właściwy wybór. Test ma znaczenie tylko wtedy, gdy agent ma poznawać osobę w czasie. W takiej sytuacji należy wybrać narzędzie zdolne do odróżnienia tego, co zostało powiedziane, od tego, co nadal jest prawdą.
Literatura pokrewna
- Pamięć agentów AI w 2026 roku: Mem0, Letta, Zep oraz porównanie platform chmurowych — Przegląd pamięci agentów w 2026 roku: typy pamięci CoALA, Mem0, Letta, Zep, usługi chmurowe, metryki wydajności, zagrożenia związane z zatruwaniem danych oraz wybór odpowiedniego rozwiązania do konkretnego zadań.
- Cztery strategie pamięciowe dla agentów AI: okna przesuwne, FAISS i GraphRAG — Porównanie sposobów zapewnienia agentom opartym na modelach językowych pamięci, od pełnej historii i okien przesuwnych po indeksy odwrócone, wyszukiwanie semantyczne FAISS oraz graf wiedzy GraphRAG.