首页 / 文章

通过一项测试对六种智能体记忆工具进行排名:它们能否处理已被修改的事实?

六种智能体记忆工具面临一项测试:它们能否应对事实的变化?Zep、Cognee、Mem0、Letta、LangChain Memory以及普通的向量存储,以及它们各自的适用场景。

发布者:REACTAPP.TOP阅读约 7 分钟1609 词

来源: I Compared 6 AI Agent Memory Tools. Three Fail One Test.

想象这样一个智能体:半年前它被告知Python就是用户的全部身份标识。上周用户提到要转向Rust。现在又有人询问新服务应该用哪种语言构建。普通的向量存储会以相同的置信度返回这两条信息,因为嵌入相似度算法并不了解哪条陈述是当前的。

正是这一项测试成为了衡量智能体记忆工具的最佳标准。共有六款工具参与了测试,其中三款未能通过。

大多数记忆系统都无法通过的三行测试

测试很简单:存储事实A,再存储取代A的事实B,然后查询该主题,看会返回哪条事实。

普通存储会同时返回两条事实。而真正的记忆系统则会回答Rust,并明白Python现已成为历史。这两种行为之间的差异正是团队耗费大量时间去解决的难题。

这种痛苦是实实在在的。一名客服人员不断向一名三周前已改为按月付费的客户推销年度套餐。降级方案存储在向量数据库中,最初的升级方案也同样存在。由于那个“乐观”的旧方案在余弦相似度上略高一些,客服便将其推荐给了客户,最终不得不由人工出面道歉。其实并没有人故意引入错误——检索系统只是按设计正常工作,问题恰恰出在这里。

这绝非无关紧要的担忧。目前该领域有三种标准测试:包含1,540道题的LoCoMo、包含500道题的LongMemEval,以及较新的BEAM测试,后者分别以100万和1000万token为测试规模。每种测试都有专门用于跟踪时间变化或知识更新的部分。之所以要有标准化测试,正是因为在矛盾场景下,系统才会悄然出现故障。

Mem0发布的2026年AI智能体记忆状况报告将这一问题称为“过时性”:关于某人雇主的存储信息会一直有效,直到其更换工作,之后该信息就会被认定为错误。报告还描述了更严重的情况——大多数系统在信息发生变化时会直接覆盖原有数据,而不将其视为演变过程,从而导致曾经为真的知识消失。LongMemEval直接测试知识更新与时间推理能力,而BEAM则设有“矛盾解决”这一评估类别。

在给出排名之前需注意一点:LoCoMo和LongMemEval并未在本地硬件上重新运行。相关评估结果基于各工具公开的测试数据、文档以及上述可重复的手动测试。厂商提供的基准测试数据均为自行报告,因此此处仅作为声明呈现,而非既定事实。

以下排名是根据矛盾测试的结果从好到坏排列的。

1. Zep:变化的事实会形成事件,而非被覆盖

本质上,Zep运行的是Graphiti,这是一种具备时间感知能力的知识图谱,而非单纯的嵌入集合。其关键特性在于它是双时间性的——每条边都会记录事件发生的时间以及系统发现该事件的时间,而且每一种关系都配有明确的有效期。

当“转为 Rust”这一选项出现后,Graphiti 并不会简单地在“偏好 Python”旁边添加一个几乎相同的选项。它会察觉到这种冲突,选择保留旧选项而非直接删除它:关于 Python 的记录会标注结束日期并继续保存。查询时会返回当前的结果,同时仍可查看之前的历史记录。该设计包含三层子图,分别用于存储原始事件、语义实体以及社区群体,大致反映了人们将发生的事情与已知信息分开存储的方式。在 Zep 的论文中,它在 DMR 测试基准上的表现优于 MemGPT(94.8% 对比 93.4%)。在更严格的 LongMemEval 测试中,它的准确率提升了两位数,且响应延迟比全上下文基准低约 90%。

当事实的时效性决定了应采取的不同行动时,就可以使用它:比如客户关系管理、健康监测、客户支持,或是任何需要长期跟踪的个性化服务。其缺点显而易见——对于一个周末项目而言,运行图数据库会带来相当大的运营负担。

2. Cognee:无需托管服务的图存储方案

Cognee是同一理念的开源版本。它能够从非结构化数据中构建知识图谱,随后通过关系遍历或向量相似度来检索信息。由于它能模拟实体及其之间的关联,因此具备判断某个实体的新事实是否取代旧事实的能力。

如果实施得当,它就能通过测试。第二名的成绩反映了Cognee为用户保留了多少临时性连接机制。它提供了图表和数据摄取管道,而关于何时用新数据替换旧数据的规则则需由团队自行编写。那些希望拥有图表存储功能并实现完全控制、无需托管服务、没有按座位收费且数据能存储在自己服务器上的人,会认为这正是它的最大优势。而那些期望在周五前完成工作的人,则会发现这更像是一项额外的任务。

3. Mem0:凭借庞大的检索量轻松过关,官方也予以承认

Mem0是一种广泛使用的专用记忆层。它主要负责信息传递,但其传递方式颇具参考价值。该过程不涉及任何图结构,而是让三个检索信号并行运行(语义相似度、BM25关键词匹配以及实体匹配),随后对综合结果进行排序。通常情况下,实体匹配这一环节能让最新的事实优于过时的信息。

在多个方面都值得肯定。该供应商的官方报告也承认,数据过时问题和跨会话身份识别问题仍未解决。在LoCoMo模型中,每次查询使用约6,956个标记,得分率为92.5;而若将所有历史数据都纳入上下文,则标记数约为26,000,这直接体现在推理成本上。其设计范围也相当合理:每次写入数据都会标注用户、代理、会话或组织ID,这样同一个存储系统就能跟踪同一用户的不同会话数据,同时区分不同的用户。它提供了托管云服务、开源自托管版本以及本地MCP服务器等多种形式,是合理的默认选择。不过,通过测试并不等同于解决了问题,其开发者也明确指出了这一点。

4. Letta:解决了不同的问题,却为这个问题背了黑锅

Letta源自MemGPT,并借鉴了操作系统的设计理念。上下文窗口起着RAM的作用:频繁使用的事实保留在主上下文中,其余内容则被移至外部存储,智能体通过调用函数来更新自身的内存。这种机制适用于对话内容超出任何上下文窗口容量的情况。

它并非为解决矛盾而设计。是否使用Rust或Python取决于智能体是否重新编写了相关的记忆块,因此替换旧事实需要通过特定指令来实现,而非存储系统能自动保证的功能。它在上下文管理方面表现优异,而时间相关的真实性则仅得到一般程度的处理。

5. LangChain Memory:工具箱而非答案

LangChain提供了用于缓冲区、摘要、实体和知识图谱的记忆类功能,这些功能均可通过连接的存储系统来运行。可以将其视为一堆零部件。库存缓冲区和摘要类型立刻就未能通过测试,因为它们要么堆积要么压缩历史记录,且都无法解决冲突。

虽然可以用实体和图谱相关组件构建出能通过测试的系统,但此时时间逻辑部分需要由开发者自行实现,框架仅提供了基础构件。LlamaIndex Memory也属于同一类,它更侧重于存储文档,而非处理不断变化的事实。两者都有一定的实用价值,但都不足以在初期测试中作为可靠的记忆系统使用。

6. 纯向量存储:请勿将其称为记忆系统

虽然这是常见的生产环境选择,但这里有一个应当避免的方案:使用原始的 Pinecone、pgvector 或 Chroma 索引来存储对话内容。那只是存储层,而非内存。此类方案缺乏时间顺序、内容替换记录以及来源追溯功能。嵌入搜索功能只会返回最接近的 k 个结果,“偏好 Python”和“转而使用 Rust”这类查询都会被归类在“使用哪种语言?”附近。

Mem0 的报告首先指出了这种惯性思维的问题——人们将对话历史堆放在上下文窗口中,期望模型能够记住这些内容。那些直接将向量数据库与智能体相连并称其为内存的团队,每次都会遇到矛盾检测失败的情况。在实际生产环境中,这表现为智能体始终引用用户一周前就已纠正的事实。

从何处开始

如果时间因素会改变正确答案,那就采用基于时间的方法:当需要为用户处理任务时选择Zep,而当更适合拥有知识图谱时则选择Cognee。如果要求是低成本、各会话间有足够好的召回率,偶尔出现过时结果也能接受,那么Mem0是最佳选择。只有在需要搜索索引而非内存时,单纯的向量存储才有意义。

并非每个智能体都需要知识图谱,文中也没有相反的说明。那些在处理不同工单时会忘记客户信息的无状态客服机器人,这样做往往是正确的。在这种情况下使用时间图谱属于过度设计,而备受诟病的普通缓冲区才是正确选择。只有当智能体需要随时间了解某个人的情况时,测试才具有意义。在这种情形下,应选择能够区分已说过的内容与仍然有效的内容的工具。

相关阅读

  • 根据结果评估语音智能体:一种三层测试框架 — 传统的文本指标无法检测到那些更新顺序错误或留下过时数据的语音智能体。建议构建一个包含三层结构、六个评估维度以及发布控制机制的测试框架。