Шэсць інструментаў памяці агентаў і адзін тэст: ці спраўляюцца яны са зменай факта?
Шэсць інструментаў памяці агентаў праходзяць адзін тэст — зменены факт: Zep, Cognee, Mem0, Letta, LangChain Memory і звычайныя вектарныя сховішчы, і дзе які падыходзіць.
Крыніцы: I Compared 6 AI Agent Memory Tools. Three Fail One Test.
Уявіце агента, якому паўгода тыму сказалі, што Python ёсць усім ідэнтыфікатаром карыстальніка. Мінулыя тыдзень карыстальніка згадаў пра пераход на Rust. Цяпер хтось запытаеся, на які мовы трэба стварыць новы сервіс. Просты сховішча вектараў вяртае обе інформацыі з аднаковым рэверансам, таму што механізмы аналізу схожасці не маюць уявлення пра тое, якая з інформацыяў ёсць актуальной.
Гэтае адныя невыконання становіць найчыстэйшы крэтэрый для інструментаў памяці агентаў. Шэсць з іх працавалі з гэтым крэтэрыем, а трое не працавалі.
Трывяковы тэст, які большасць інструментаў памяці не можа працаваць
Тэст короткі. Зберагчыце факт А. Зберагчыце факт Б, які заменяе А. Запытайце пра даны тэмы і паглядзіце, які факт будзе вярнуты.
Простыя сховішча вяртаюць обе інформацыі. Рэальная памяць адпавядае, што мова — Rust, і розумее, што Python цяпер ёсць часткай мінулага. Разлік між гэтымі двума спосабамі працы ёсць прычыной таго, чаму команды вітрачаюць час на ўдосконаленні інструментаў.
Боль ўсведамліваецца чытра. Адпаведны працавнік службы падтрымкі продаваў кліенту, які ўжо тры недзелі раней перайшоў на месячную плату, годовы пакет. Інформацыя пра падвышэння цены застаўся ў базе дадзенаў, так сама як і первісны пакет з вышэйшай ценай. Той «веселы» стары варыянт меў нейкія прыросты па показніку косай сумараднасці, таму працавнік запропанаваў яго, і людзі былі змушаны прагтавіцца. Ніхто не выклікваў бага; сістэма выконвала свае функціі як і планавалася, і самэ гэта была проблема.
Гэта зовсім не якаясь марная трывога. Сэрцам галузі сёньня ёсць тры крытэрыя: LoCoMo з 1 540 запытаннямі, LongMemEval з 500 запытаннямі, а таксама новейшы BEAM, які працуе з аднім і дзесяць мільйонаў токенав. Кожны з іх мае спецыяльную лінію для адстаўлення часовых дадзеных або актуалізаціі знанняў. Стандартызаваныя тэсты існуюць самэ таму, што самэ ў сітуаціях протыярыснасці сістэмы таямна перастаюць працаваць.
У апডেটе Mem0 «Стан памяці агента AI 2026» проблема адзначаецца як застарэласць: факт, які быў зберагнуты пра работадавця чалавека, застаецца актуальным пакуль ён не зменіць работу, пасля чаго стае явнаа некорэктным. У апডেটе таксама опісваецца болей глыбокія форма гэтай проблемы. Большасць сістэм перазапісваюць змяны і ніколі не фіксуюць іх як эвалюцыю, таму знанні пра тое, што ў часе было правдой, знікае. LongMemEval працуе безпосерэдна з тэстамі апдэйтаў знанняў і часовага разумавання, а BEAM уключае катэгорыю пад назвай «расляжэнне працоў суперсачын».
Аднак ёсць адна застэрэжнае заўважэнне пры ранжыраванні. LoCoMo і LongMemEval не былі запусканы на локальным апаратным забезпечэнні. Выводы базуюцца на опублікованых рэзультатах тэстаў кожнага з інструментаў, ў іх дасягледах і на вышэазваным тэсце, які можна паўтарыць. Канкрэтныя показнікі вендараў ў фармаце бенчмарка ёсць самазаявленымі, таму ў ягоў выглядзе ўказываюцца як тверджэнні, а не як усталеныя факты.
У чым следзіць пераказаныя даныя, показваецца ад найкрашчага да найгоршага па рэзультатах тэста на суперсачыну.
1. Zep: змененыя факты стаюць запісямі, а не перазапісвамі
У сваім сэрцы Zep выкарыстоўвае Graphiti – граф знанняў, які берае ў расчыт час, а не проста скупку эмбедынгаў. Галоўная якосць – гэты граф ўдвойна-часовы. Кожная грань фіксуе як момент, калі ўздарыла якая-небудзь падзея, так і момент, калі сістэма пра ёю даведалася, пры чым кожныя зв’язкі маюць чыста вказаны перыод чыннасці.
Калі з’являецца пункт «зменілі на Rust», Graphiti не проста прыўязвае майжэ такі ж пункт па боку пункта «волію Python». Сістэма фіксуе такую суперсчэпку і заменяе стары пункт, а не выкарыстоўвае яго для выдалення: інформацыя пра Python атрымвае дату заканчэння і застаецца ў базе дадзэнняў. Запыт вяртае адпаведны адказ на сёньдзень, а ранейшую історыю все ўсё можна пераглядзець. Дызайн складаецца з трох паверхоў сабграфа: адна для сырых эпізодаў, адна для семантычных аб’ектаў і адна для кластэраў спяльнай аўдыторыі, што нечытаўна адгукваецца да таго, як люды раздзеляюць тое, што сталося, ад таго, што яны ведаюць. У стацыі Zep паказана, што ў тэстах DMR гэты прыстрой пераганяе MemGPT (94,8% проты 93,4%). У ўскладненых тэстах LongMemEval ён адзначае падвойныя прыросты у точнасці і прыблізна на 90% меншую затрымку адпаведзення па апэксу, чым у базовай версіі з полным кантэкстам.
Ўжыце яго тады, калі актуальнасць факту зменяе правы спосаб дзеяння: CRM, адказка на запыткі, адказка ў сферы здароў’я чы ўсё інша, што ёсць персаналізаваным працэсам на працягу калькі месцаў. Недзеянне ў такім случае ёсць явным. Рэалізацыя базы дадзеных у фармаце графа ўтварае значны аперацыйны тыраж для праекта, які плануецца выконваць у выявочны час.
2. Cognee: графічная памяць без адпаведнага керавання
Cognee – гэта версія на адкрытым кодзе той самай ідэі. Яна стварае граф знанняў на адной з неструктураваных інформацый, а пасля выкарыстоўвае зв’язкі межу элементамі, а таксама сэмантычную супаданасць вектараў для пошуку. Паколькі ёна мадэлюе элементы і спосаб іх з’яўлення ў зв’язках, у яе ёсць можлівасць вывесты, што новы факт пра адны элемент заменяе стары.
Калі все зроблена правільна, ён працюе. Другое месца відображае, як веліку частку тэмпаральных каналаў Cognee залішае корыстніку. Ён задае граф і каналы прыёму дадзей, а правілы таго, калі новы факт заменяе стары, павінны быць напісаны командай. Кожны, хто хочаць меморыю графа плюс абсалютны контроль, без кераваных служб, без платаў за кожны месца і з дадзеннямі, якія зберагаюцца ў ўласным сховішчы, пацініць у гэтым усю прыемнасць. Кожны, хто спадзяецца завершыць працу да пятніцы, пацініць, што гэта больш сэрцавае другая праца.
3. Mem0: працюе завдзяк вялікаму об’ёму запытанняў, адкрыта адзначана
Mem0 — гэта шырока выкарыстоўваны спецыяльны слой памяці. Ён пераважна толькі праходзіць даныя, але спосаб яго праходжэння мае важлівое значэнне. У гэтым працэсе не выкарыстоўваюцца графы. У замен тры сігналы аналізу праходзяць паралельна (семантычная супадзімасць, падбіранне ключоўых слоў за методам BM25 і падбіранне аб’ектаў) і сумарныя рэзультаты атрыбутуюцца рангамі. Падбіранне аб’ектаў зазвычай ёст той крок, які дапамагае новым фактам вырашыцца над застарэлымі.
Павінаванне аплодэнняў неабходна ў калькі напрамоў. Самы звярненні прымৱцоўства выяўляе, што проблемы застарэння даных і ідэнтыфікацыі межа сесіямі застаюцца нерашанымі. У прыкладзе LoCoMo показана рэзультатна цыфра 92,5, калі на адну запытку выкарыстоўваецца або-блізу 6 956 токэнаў, у працоўку з усімі історыямі запыткаў — або-блізу 26 000 токэнаў, што явна відбіваецца на вартасці апрацоўкі. Яго методыкі таксацыі таксама правільныя: кожны запіс атрыбутуецца ID карыстальніка, агента, сесіі або організацыі, таму адна база дадзеных можа сочыць за аднім пользоватэлем у розныя сесіі і водночас разлічваць розных корыстувачаў. Гэта ўзважаны стандартны варыянт, які доступны як у варыянцы кераванага хмарнага рашэння, як самастойнае рашэння на адкрытым кодзе, так і як локальны сервер MCP. Аднак перажыць тэст — не тое ж самае, што рашыць проблему, пра што яе создаталія чыста заявляюць.
4. Letta: рашае іншую проблему і берае на сябе адпаведнае адпаведнасць за гэтую
Letta выйшаў з MemGPT і запозычыў ідэю аператыўной сістэмы. Аркейв кантэксту выполняе ролю RAM: факты, якія часта патрэбны, застаюцца ў главным кантэксце, а рэшта пераводзіцца у зовнішню памяць; агент зміняе свою сябеўскую памяць праз вызыв функцый. Гэта падходзіць для сітуацый, калі размова перавырастае будзь-які аркейв кантэксту.
Распакоўка суперсчыненняў — не галоўная мета яго стварэння. Выбіраецца Rust чы Python залежна ад таго, чы агент перапісаў відпаведны блакат сябеўскай памяці, таму замена старых фактов — гэта дзеянне, якое трэба запрашваць, а не гарантыя з боку сістэмы. У кантролі кантэксту ён парадзівае, тады як тэмпаральная правда за прыродой праекту атрымвае толькі сярэдні статус.
5. LangChain Memory: інструментарый, а не адказ
LangChain адаптава класы памяці для буфероў, падсумакоў, аб’ектаў і графаў знанняў, пры чым усе гэта працюе на тым сховішчы, якое падключаецца. Можна супарадзіць гэта з коробкай з дзялянкамі. Тыпы буфера і падсумакоў негайна не праходзяць тэст, таму што яны накапліваюць або стыскаюць історыю дадзенняў і не рашаюць жадных суперсчытанняў.
Сістэму, якая праходзіць тэст, можна склadaць з элементаў, адпаведных аб’ектам і графам, але тады задача логікі часу лягае на таго, хто яе стварае, а фрэймворк проста забезпечывае неабходныя элементы. LlamaIndex Memory належыць да той жа катэгорыі — яна спрыяе запам’ятованню дакументаў, а не прымірэнню змінюючыхся фактов. Оба варыянты ўжыткавыя, але ні адны з іх не ўтвараюць памяцевай сістэмы, якой можна даваць вялікія адпаведальнасці ў першы ж дзень тэставання.
6. Чыстае сховішча вектараў: будзь ласка, не называйце гэта памяцю
Ўсімае гэта варыянт, якога трэба адхоўваць, хоць яго зазвычай выбіраюць у працоўнай сэрвісе: неапрануты індэкс Pinecone, pgvector або Chroma, запоўнены розмовамі. Гэта шар для зберагчэння, а не памяць. Няма ні інформацыі пра актуальнасць, ні прыорытэтаў, ні шляху падачы даных. Функцыя падшуквання вяртае колькісць найбліжэйшых рэзультатаў, і запыты „прыямоўляе Python“ і „перайшоў на Rust“ аба падаюцься падобна да запыту „які язык?“
У аналізе Mem0 спачатку крытыкуецца гэты інстынкт, калі історыя розмовы складаецца ў вікно кантэксту з надзеяй, што модэль будзе яе памяцаць. Команда, якая пад’яоўвала базу дадзеных вектараў безпосерэдна да свайго агента і называла гэта памяццю, будзе бачыць, як тэст на суперасункі ўсё часы выкананы неяксця. У працоўнай сэрвісе гэта выражаецца тым, што агент упорна цытуе факт, які корыстувач пацэрпіў ўжо тыдзень назад.
З чаго пачаць
Калі часавічна складова можа парадоксальна чынам змяніць правільны адказ, трэба выкорыстаць тэмпаральны падход: Zep — калі трэба адмацаваць задачу за вас, Cognee — калі прыемнейе волець граф. Калі патрэбна дышэчная, дастаткова для запам’ятовання інфармацыі між сэсіямі, а эпізоды застарэлых рэзультатаў ўзятыя за звычай, тады Mem0 ёсць найшырэшы варыянт. Бездакументны вектарны хранальнік мае сэнс толькі тады, калі патрэбен індэкс пошуку, а памяці няма.
Не кожны агент патрэбуе граф знанняў, і тут нічога такога не сказана. Бот-падтрымкі без стану, які забывае пра кліента між заявкамі, часта правы, калі так робіць. Тэмпаральны граф у такім случае будзе занадто складным рашэннем, а просты буфер, які часта крытыкуюць, ёсць правым выборам. Тэст мае значэнне толькі тады, калі агент павінен ведаць пра адну людзіну працоўваючы з часам. У такім случае трэба выбраць інструмент, які можа аддзеліць тое, што было сказана, ад таго, што ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё ўсё правда.
Супаўзялыя матэрыялы
- Памяць AI-агента ў 2026 годзе: Mem0, Letta, Zep і порэванне з платформамі воблака — Аналіз памяці агента ў 2026 годзе: тыпы памяці CoALA, Mem0, Letta, Zep, прыёмы хмарных платформ, крытэрыі ацэнкі, рызыкі фальсіфікацыі даных і які дызайн падходзіць для кожнай задачы.
- Чатыры стратэгіі памяці для AI-агентаў: Rolling Windows, FAISS і GraphRAG — Порэванне способаў надання памяці агенту на аднойчынных мовных мадэлях, ад повнай історыі дадзеных і сістэмы Rolling Windows да звёрнутых індэксаў, сэмантычнага пошуку FAISS і графа знанняў GraphRAG.