AI智能体的四种记忆策略:滚动窗口、FAISS与GraphRAG
比较为大型语言模型代理提供记忆的多种方式,包括完整历史记录与滚动窗口、倒排索引、FAISS语义搜索以及GraphRAG知识图谱。
仅由大语言模型和几款工具构成的智能体在某种程度上也能发挥作用。使其具备可靠性与个性化特性的,是记忆功能——即存储先前对话与上下文的信息,让智能体随着时间推移给出更准确的回答。记忆还能确保上下文在多次交互中得以延续,即便多个智能体共同完成一项任务时也是如此,这样系统就能始终掌握用户的真实需求。
结合相关背景信息与当前输入,智能体可以选择几种应对方式:调用工具、向用户提问以获取更多信息,或直接回复。正是记忆功能让它从单纯的被动响应者转变为始终如一的助手。
以下是四种记忆策略,按简单程度到功能强大程度排序:发送完整历史记录、滚动窗口机制、对过往消息的相似度搜索,以及知识图谱。
选项1:发送全部历史记录
目前的基础模型能够处理非常大的上下文窗口。例如,GPT-5.4系列的最大上下文长度可达105万个标记,足以容纳整个代码库或大量文档集。这就使得一种省力的方法变得诱人:将之前所有消息,甚至来自多个会话的消息,都附加到每个新请求中,再让注意力机制负责处理这些信息。
messages: Annotated[List[BaseMessage], add_messages]
它的构建较为简单,适合处理短期任务。但随着对话长度的增加,问题会逐渐累积:
- 过多的无关上下文可能会让模型不堪重负。
- 注意力机制缺乏透明度,因此输出结果可能不一致。
- 工程师难以解释为何几乎相同的输入会得到不同的回复。
- 每轮对话的标记使用量都会增加,成本也随之上升。
- 更长的上下文需要更多的处理时间,从而导致延迟增加。
随着对话历史的增长,每次查询的成本和延迟都会持续上升,在实际应用中这种方案会变得浪费资源且难以管理。
选项2:滚动上下文窗口
另一种方法是限制可传输的最新交互数量。这就是滚动上下文窗口,其大小可以根据消息数量或标记数来设定。
仅包含最新的 N 次交互能让开发者更好地控制令牌消耗,降低延迟并实现可预测的费用支出。这种方式适用于主要由近期对话驱动的任务。不过,当智能体需要更旧或长期存在的事实时,过短的窗口会导致理解不完整并产生错误结果。
WINDOW_SIZE = 6
#Added a wrapper method for return window messages
def rolling_add_messages(old, new):
combined = add_messages(old, new)
return combined[-WINDOW_SIZE:]
class AgentState(TypedDict):
messages: Annotated[List[BaseMessage], rolling_add_messages]
选项3:先按词汇检索,再按含义检索
倒排索引是一种为实现极快速的全文搜索而设计的数据结构。它能够将词汇或数字直接映射到它们在一个或多个文档中出现的位置。
将其应用于聊天记录意味着先对历史消息进行索引,然后筛选出与新查询中的词汇最匹配的内容。模型仅获取匹配的部分内容,这虽然大幅减少了上下文信息,但依然保留了相关内容,即便这些内容来自对话的早期阶段。
其缺点在于仅进行字面匹配。同一个概念可以用不同的词汇表达,这会导致上下文信息缺失并引发错误推测,类似的问题也可能得到截然不同的答案。基本的索引可以这样构建和查询:
def build_inverted_index(messages):
index = defaultdict(set)
for i, msg in enumerate(messages):
words = msg.lower().split()
for word in words:
index[word].add(i)
return index
def search_context(query, index, messages):
query_words = query.lower().split()
matched_ids = set()
for word in query_words:
if word in index:
matched_ids.update(index[word])
return [messages[i] for i in matched_ids]
语义搜索通过理解意图和含义而非仅关键词来消除这一缺陷。它能够减少错误生成,使答案更加可靠。其处理流程如下:句子被拆分为词元,随后通过轻量级嵌入模型将这些词元转换为向量。每个词元向量会根据其邻近向量进行调整,所有词元向量最终会被整合为整个句子的单一向量。这些向量存储在向量数据库中。
查询语句也会经过相同的转换过程,然后通过余弦相似度与存储的向量进行比对,余弦相似度是指两个向量之间夹角的余弦值。接近0.9的分数表示含义极为相似,而低于0.3的分数通常意味着两者无关。应用程序可以自行设定阈值,之后最匹配的结果会被传递给基础模型。
该示例代码将一个小型预训练的Sentence Transformers模型与内存向量数据库FAISS结合使用,从而根据语义检索上下文。
from sentence_transformers import SentenceTransformer
import faiss
import numpy as np
# Sample data
sentences = [
"schedule meeting tomorrow",
"send project report",
"prepare meeting agenda"
]
# Load embedding model
model = SentenceTransformer("all-MiniLM-L6-v2")
# Convert sentences into vectors
embeddings = model.encode(sentences)
# Create FAISS index
index = faiss.IndexFlatL2(embeddings.shape[1])
index.add(np.array(embeddings))
# Search
query = "plan meeting"
query_vector = model.encode([query])
distances, indices = index.search(np.array(query_vector), k=2)
print([sentences[i] for i in indices[0]])
如果没有这样的检索功能,每次查询都得从零开始,忽略之前的对话内容,从而导致体验单薄且缺乏个性。而有了它,系统会在收到查询时搜索过往互动中语义相近的上下文。上下文窗口会被划分,以便同时容纳最新的对话内容和检索到的历史记录。这样,智能体就能根据用户的偏好及之前的对话来回应,使体验更加连贯和熟悉。实际上,先前获取的知识可作为经验,用来优化当前的回答。
选项4:结合GraphRAG的知识图谱
当知识分散在各种互动或文档中时,找到合适的上下文就会变得困难。纯粹的语义搜索可能只能捕捉到部分所需信息,还会忽略那些用词不同但逻辑上相关的细节。
以“为何付款被延迟?”这个问题为例,语义搜索可能会找到关于付款延迟或交易待处理的记录,但却可能忽略“财务团队的审批尚未完成”或“合规性验证未结束”这样的信息。这些原因都能解释付款延迟,但其表述与问题本身关联度很低,仅靠相似度匹配是无法找到的。
GraphRAG可以解决这个问题。它将信息建模为图结构,每个文档或概念都是节点,而它们之间的关联则表现为边,从而实现更有序、更具连贯性的信息检索。不过这样做也有成本:由于需要随着新信息的出现而实时更新图结构,因此会带来较高的计算负担和设计难度。
构建知识图谱通常需要经历四个步骤:
- 确定节点,即实体或概念。
- 确定它们之间的关联关系。
- 定义本体,即图的结构与模式。
- 为图填充数据。
通过这种方式得到的结构能够提供比单纯基于相似性更丰富、关联更紧密的上下文,且遗漏的连接更少。
Microsoft的GraphRAG库可以自动检测内容中的实体与关联关系,并构建出相应的图结构。
第一步:搭建项目环境。安装GraphRAG并初始化一个工作目录。
pip install graphrag
graphrag init --root ./graphrag_demo
该命令会生成一个包含 input/、settings.yaml 和 prompts/ 的文件夹。原始文档存放在 input/ 中。
第二步,构建图结构。索引命令会提取实体、查找关联关系,并构建图结构。
graphrag index --root ./graphrag_demo
第三步,进行查询。随后即可对生成的图表进行查询。
graphrag query \
— root ./graphrag_demo \
— method global \
“Why was the payment delayed?”
该系统能够整合图结构中的相关上下文,从而实现多跳推理,而不仅仅依赖语义相似性。
各组成部分的协同方式
要打造精准且个性化的智能体,仅靠关键词匹配或孤立的相似性检测是不够的。倒排索引可高效筛选上下文,语义搜索则能保留用户的真实意图,但二者都可能忽略分散在多条知识中的关联关系。GraphRAG通过将信息组织为相互关联的实体与关系,填补了这一空白,使得推理能够在不同上下文之间跳跃,而非仅收集外观相似的片段。这使智能体从单纯的表面信息检索转向理解概念之间的内在关联。
滚动窗口、语义搜索、体验记忆与图检索相结合,能够生成能够回忆相关细节并对其进行推理的智能体,从而提供更完整的答案、减少幻觉,并带来更加稳定且个性化的体验。智能体记忆正从存储信息转向连接知识,这一转变使得人工智能助手能够从仅理解上下文发展到具备上下文推理能力。