Шесть инструментов памяти агентов, оценённых по одному тесту: могут ли они справиться с изменённым фактом?
Шесть инструментов для хранения данных агентов сталкиваются с одним тестом: смогут ли они справиться с изменённой информацией? Zep, Cognee, Mem0, Letta, LangChain Memory и обычные векторные хранилища, а также место, которое занимает каждый из них.
Источники: I Compared 6 AI Agent Memory Tools. Three Fail One Test.
Представьте агента, которому полгода назад сказали, что Python — это вся идентичность пользователя. На прошлой неделе пользователь упомянул переход на Rust. Теперь кто-то спрашивает, на каком языке следует создать новый сервис. Простой хранилище векторов возвращает оба факта с одинаковой степенью уверенности, поскольку метод оценки сходства не учитывает, какое утверждение является актуальным.
Эта одна ошибка становится наиболее точным критерием для оценки инструментов памяти агентов. Шесть из них справились с этим тестом, а три — нет.
Тест из трех строк, который большинство систем памяти не могут пройти
Тест короткий: сохранить факт А, затем факт Б, который заменяет А. Сделать запрос по теме и посмотреть, какой факт будет возвращен.
Простое хранилище возвращает оба факта. Реальная система памяти отвечает, что речь идет о Rust, понимая, что Python теперь устарел. Разница между этими двумя способами поведения заставляет команды тратить целый квартал на разработку.
Боль ощутима и конкретна. Специалист по поддержке продолжал настаивать на годовом плане у клиента, который три недели назад перешел на месячный тариф. Информация о снижении уровня подписки, как и первоначальное предложение о повышении уровня, хранились в хранилище данных. Вариант с более высоким значением косинусного сходства был выбран агентом, и в итоге человеку пришлось извиняться. Никто не отправлял ошибочный код; система выполняла свои функции согласно замыслу, и именно в этом заключалась проблема.
Это далеко не единичная проблема. В настоящее время в этой области используются три эталона: LoCoMo с 1 540 вопросами, LongMemEval с 500 вопросами и более новый BEAM, работающий с объемами данных в один и десять миллионов токенов. У каждого из них есть отдельный механизм для обновления знаний или временных параметров. Стандартизированные тесты существуют именно потому, что именно в ситуациях противоречий системы начинают терять работоспособность.
В отчете Mem0 «State of AI Agent Memory 2026» проблема называется устареванием данных: информация о работодателе человека остается актуальной до тех пор, пока он не сменит работу, после чего она уже считается ошибочной. В отчете также описывается более серьезная форма этой проблемы. Большинство систем просто перезаписывают изменения, не регистрируя их как эволюцию информации, в результате чего знание о том, что что-то когда-то было истиной, исчезает. LongMemEval напрямую тестирует обновление знаний и способность к временному рассуждению, а BEAM включает категорию под названием «решение противоречий».
Прежде чем перейти к рейтингу, стоит отметить один нюанс: LoCoMo и LongMemEval не тестировались на локальном оборудовании. Вердикты основаны на опубликованных результатах тестирования каждого инструмента, его документации и вышеописанном повторяемом ручном тесте. Показатели, приводимые производителями, являются самооценками, поэтому здесь они представлены как утверждения, а не как установленные факты.
В следующем списке указаны инструменты в порядке убывания результатов по тесту на противоречия.
1. Zep: изменённый факт становится событием, а не перезаписью
В основе Zep лежит Graphiti — знаниевая сеть с учётом времени, а не просто набор векторных представлений. Ключевой особенностью является её двухвременной характер. Каждая рёбра фиксирует как момент происшествия, так и момент, когда система об этом узнала, причём каждая связь имеет чётко определённое окно действительности.
Когда появляется запись «перешел на Rust», Graphiti не просто добавляет почти идентичную запись рядом с «предпочитает Python». Система замечает это противоречие и удаляет старую запись, а не просто удаляет её: информация о Python получает дату окончания существования и остается в записях. При запросе возвращается ответ на сегодняшний день, но старую историю всё ещё можно просмотреть. Дизайн включает три уровня субграфов: один для сырых записей, один для семантических сущностей и один для групп сообществ, что отчасти отражает способ, которым люди разделяют произошедшее и то, что им известно. В статье Zep показано, что этот инструмент превосходит MemGPT в тесте DMR (94,8% против 93,4%). В более сложном тесте LongMemEval он демонстрирует улучшение точности на двузначные проценты, а время отклика на порядок меньше, чем у базового варианта с полным контекстом.
Используйте его тогда, когда актуальность факта влияет на необходимые действия: в CRM, в сфере здравоохранения, поддержки или в любой другой области, где требуется персонализированный подход на протяжении нескольких месяцев. Недостаток очевиден — управление графовой базой данных представляет собой серьезную нагрузку для проекта, реализуемого в выходные.
2. Cognee: графовая память без управляемого сервиса
Cognee — это версия на основе открытого кода той же концепции. Он создает граф знаний из неструктурированных данных, затем выполняет поиск, используя как связи между элементами, так и векторное сходство. Поскольку он моделирует сущности и их взаимосвязи, у него есть возможности для определения того, что новый факт о сущности заменяет старый.
При правильном подходе решение считается успешным. Второе место отражает объем временных структур данных, который Cognee оставляет у пользователя. Система предоставляет граф и механизмы ввода данных, в то время как правила замены старых данных на новые должны быть разработаны самой командой. Те, кто хочет иметь память в виде графа и полный контроль над данными, без использования управляемых сервисов, без дополнительных платежей за каждого пользователя и с сохранением данных в собственном хранилище, будут видеть в этом главное преимущество. Те же, кто надеется закончить работу к пятнице, сочтут это скорее дополнительной задачей.
3. Mem0: успех благодаря огромному объему операций по поиску, открыто признаваемый
Mem0 — это широко используемый специализированный слой памяти. В основном он просто передаёт данные, но способ этой передачи имеет важное значение. В процессе не задействуются графы. Вместо этого три сигнала поиска работают одновременно (семантическое сходство, сопоставление ключевых слов по алгоритму BM25 и сопоставление сущностей), а полученные в результате их совместной обработки данные ранжируются. Обычно именно шаг сопоставления сущностей позволяет выделить более актуальные факты среди устаревших.
Заслуги принадлежат нескольким сторонам. Сам отчёт поставщика признаёт, что проблемы с устареванием данных и идентификацией между сессиями остаются нерешёнными. При использовании LoCoMo показатель составляет 92,5 при примерно 6 956 токенах на запрос, тогда как при включении всей истории в контекст показатель достигает примерно 26 000 токенов, что явно сказывается на затратах на вывод результатов. Механизм определения объёма данных также работает эффективно: каждая запись сопровождается идентификатором пользователя, агента, сессии или организации, что позволяет одному хранилищу отслеживать действия одного пользователя в разных сессиях, сохраняя при этом разделение между пользователями. Это разумный стандарт, доступный в вариантах управляемых облачных решений, самостоятельной разработки с открытым исходным кодом или локального сервера MCP. Однако успешное прохождение тестов не означает решения проблемы, что авторы чётко указывают.
4. Letta: решает другую проблему, но берёт на себя ответственность за эту
Letta происходит от MemGPT и заимствует идею операционной системы. Окно контекста выполняет роль оперативной памяти: часто используемые факты остаются в основном контексте, остальное перемещается во внешнюю память, а агент изменяет свою собственную память путем вызова функций. Это подходит для ситуаций, когда диалог превышает объем любого окна контекста.
Решение противоречий не является основной целью его создания. Используется Rust или Python в зависимости от того, переписывал ли агент соответствующий блок памяти, поэтому замена старых фактов — это действие, требующее указаний, а не гарантия со стороны системы хранения. Управление контекстом — вот то, в чем он проявляет себя лучше всего, тогда как обработка временной достоверности по замыслу разработчиков осуществляется лишь на среднем уровне.
5. LangChain Memory: набор инструментов, а не ответ
LangChain предоставляет классы памяти для буферов, кратких сводок, сущностей и графов знаний, причем все они работают с тем хранилищем, которое подключено. Можно представить это как ящик с деталями. Типы памяти в виде буферов и кратких сводок сразу не проходят тест, поскольку они накапливают или сжимают историю операций и не решают возникающих конфликтов.
Успешную систему можно собрать из компонентов, связанных с сущностями и графами, но тогда задача построения временной логики ложится на разработчика, а фреймворк лишь предоставляет необходимые элементы. LlamaIndex Memory относится к той же категории — он ориентирован на хранение документов, а не на урегулирование меняющихся фактов. Оба инструмента могут служить своего рода «клеем», но ни один из них не является надежной системой памяти для использования сразу в тестах.
6. Простое векторное хранилище: пожалуйста, не называйте это памятью
Вот вариант, которого следует избегать, хотя он и является обычным выбором в производственных условиях: сырой индекс Pinecone, pgvector или Chroma, заполненный фрагментами диалогов. Это слой хранения, а не память. Отсутствуют информация о свежести данных, преемственности и происхождении информации. Метод встраивания поиска возвращает k ближайших аналогов, и как фразы «предпочитаю Python», так и «перешел на Rust» оказываются рядом с вопросом «Какой язык?»
В отчете Mem0 сначала критикуется такая рефлексия, при которой история диалогов скапливается в окне контекста в надежде, что модель сможет её запомнить. Команда, подключившая векторную базу данных непосредственно к своему агенту и назвавшая её памятью, будет видеть, как тест на наличие противоречий проваливается каждый раз. В производственных условиях это проявляется в том, что агент упорно цитирует факт, который пользователь исправил неделю назад.
С чего начать
Если свежесть информации может изменить правильный ответ, начните с временного подхода: используйте Zep, когда необходимо автоматически обработать запрос, и Cognee, когда предпочтительнее иметь контроль над графом. Если требуется недорогой способ с достаточно высокой точностью воспроизведения информации между сессиями, приемлемы случайные устаревшие результаты, тогда Mem0 — оптимальный выбор. Простой хранилище векторов имеет смысл только тогда, когда нужен индекс поиска, а памяти нет.
Не каждому агенту нужен граф знаний, и здесь ничего не говорит об обратном. Бот без состояния, который забывает о клиенте между обращениями, часто поступает правильно. В таких случаях использование временного графа будет чрезмерной сложностью, а простой буфер, часто высмеиваемый, — правильный выбор. Тесты важны только тогда, когда агент должен знать о человеке в течение времени. В такой ситуации выбирайте инструмент, способный различать сказанное и то, что остается верным.
Связанные материалы
- Память ИИ-агентов в 2026 году: сравнение Mem0, Letta, Zep и облачных платформ — Обзор памяти агентов в 2026 году: типы памяти CoALA, Mem0, Letta, Zep, облачные решения, критерии оценки, риски «отравления» данных и выбор оптимальной конфигурации для конкретной задачи.
- Четыре стратегии создания интеллектуальной памяти контекста для ИИ-агентов: «скользящие окна», FAISS и GraphRAG — Сравнение способов предоставления памяти агенту на основе больших языковых моделей, от полной истории операций и «скользящих окон» до обратных индексов, семантического поиска FAISS и графа знаний GraphRAG.