Spring AI中的会话感知RAG与CompressionQueryTransformer
通过使用两个ChatClient构建器,在查询进入向量存储之前,利用聊天历史重新编写问题,从而修正Spring AI RAG聊天中那些模糊的后续问题。
RAG聊天机器人只有在检索系统能够理解整个对话内容而非仅最新消息时才能发挥最佳效果。Spring AI可以将相关的聊天历史整合到发送给向量存储的查询中,这样后续问题就能获取到正确的上下文。
后续问题
想象一个基于2026年NFL规则手册构建的RAG聊天应用。第一个问题是询问“髋部下压擒抱”的定义。QuestionAnswerAdvisor会将该问题文本直接发送到向量存储,最相似的片段会被检索出来并附加到提示词中,随后大语言模型就会写出定义。到目前为止一切正常。
下一条消息仅仅是“会有处罚吗?”这个人知道讨论的主题仍然是“胯下撞人”动作。而向量存储则不知道。在大型语言模型看到任何内容之前,存储系统仅收到这四个词。如果运气好的话,它会返回与“胯下撞人”相关的信息;更有可能的是,它会返回与无关动作相关的处罚规定。对话式RAG通常存在这种缺陷:人们会连续提问而不重新说明上下文,而检索步骤则没有记忆之前对话的内容。
实现方法
从无需独立向量数据库的现有RAG方案开始,在application.properties文件中将rag.document.url属性设置为NFL在其运营网站上发布的规则手册PDF的地址:
rag.document.url=file:///Users/habuma/Documents/ops-2026-NFL-Rulebook-FINAL.pdf
然后直接运行该应用程序,询问有关下压式擒抱的相关内容。一次会话的流程如下:
How can I help?
> What is a hip drop tackle?
- A hip-drop tackle is a foul defined as when a player (a) grabs or wraps the
runner with one or both arms and then (b) unweights himself by swiveling and
dropping his hips and/or lower body, landing on and/or trapping the runner's
leg(s) at or below the knee. Penalty: Loss of 15 yards and an automatic first
down.
> Is there a penalty?
- I can't answer that from the provided context. The excerpt you gave
contains general penalties for unsportsmanlike conduct, personal fouls,
enforcement spots, and related rules (many unsportsmanlike/personal-foul
penalties are 15 yards, sometimes with disqualification or an automatic first
down), but it does not define a "hip drop tackle" or state a specific penalty
for it.
从检索到的上下文中无法找到第二个问题的答案。该系统从未搜索过与“下腰擒抱”相关的信息,只查询过那个模糊的判罚问题。回复中确实提到了擒抱动作,这表明聊天记录保留了相关上下文。问题在于检索系统并未看到这些历史记录。因此需要一种方法将相关历史记录纳入向量存储查询中,而 Spring AI 提供了这样的解决方案。
另一种顾问
QuestionAnswerAdvisor 并非 Spring AI 中唯一的 RAG 顾问。RetrievalAugmentationAdvisor 的灵活性更高,几乎允许用户自定义每一个检索阶段。其中一个扩展点就是查询转换器,它能在查询到达存储系统之前对其进行重写。
该配方使用了CompressionQueryTransformer。尽管名字如此,它并不仅仅是为了缩短查询语句,而是将其重写为一种简洁且自包含的形式,从而保留对话中所有重要的信息。这样一来,向量存储系统就能接收到更有意义的查询。
该转换器被定义为一种bean:
@Bean
QueryTransformer queryTransformer(
@Qualifier("queryCompressionChatClientBuilder") ChatClient.Builder chatClientBuilder) {
return CompressionQueryTransformer.builder()
.chatClientBuilder(chatClientBuilder)
.build();
}
它要求大型语言模型根据当前问题与聊天历史构建更优的查询语句,因此会注入一个ChatClient.Builder。该注入的构建器带有@Qualifier注解。如果在聊天循环中重复使用同一个构建器,就会产生循环依赖;将它们分开处理则可以让压缩与回答使用不同的模型。
在这里,OpenAI已经提供了这两种构建器,因此无需像Anthropic或Ollama那样的额外服务,但仍需定义两个独立的ChatClient.Builder bean:
@Bean
@Primary
ChatClient.Builder openAiChatClientBuilder(
OpenAiChatModel openAiChatModel,
ObjectProvider<ChatClientBuilderCustomizer> customizers) {
return applyCustomizers(
ChatClient.builder(openAiChatModel),
customizers
);
}
@Bean
@Qualifier("queryCompressionChatClientBuilder")
ChatClient.Builder compressionChatClientBuilder(
OpenAiChatModel openAiChatModel) {
return ChatClient.builder(openAiChatModel)
.defaultOptions(OpenAiChatOptions.builder()
.model("gpt-5-nano"));
}
private ChatClient.Builder applyCustomizers(
ChatClient.Builder builder,
ObjectProvider<ChatClientBuilderCustomizer> customizers) {
customizers.orderedStream()
.forEach(customizer -> customizer.customize(builder));
return builder;
}
其设置与早期使用多个模型的方案类似。第一个构建器会替换 Spring AI 自动配置的构建器,这样已注册的 ChatClientBuilderCustomizer 依然能够生效,这是通过将构建器及自定义器传递给 applyCustomizers() 辅助方法来实现的。该构建器被标记为 @Primary,因此在没有 @Qualifier 指定其他构建器时它即为默认选择。第二个构建器则用于查询压缩。重写查询的工作量很小,因此像 gpt-5-nano 这样体积小、成本低的模型就很合适,不过实际上任何模型都可以使用。
在有了变换器及其专用构建器之后,QuestionAnswerAdvisor 可以被 RetrievalAugmentationAdvisor 取代,后者是通过 ChatClientBuilderCustomizer 进行配置的:
@Bean
ChatClientBuilderCustomizer addRagAdvisor(
QueryTransformer queryTransformer,
VectorStore vectorStore) {
return builder -> {
var ragAdvisor = RetrievalAugmentationAdvisor.builder()
.documentRetriever(VectorStoreDocumentRetriever.builder()
.vectorStore(vectorStore)
.build())
.queryTransformers(queryTransformer)
.build();
builder.defaultAdvisors(ragAdvisor);
};
}
这种建议器需要稍多的配置,但能提供更大的控制力。首先需要一个文档检索器,此处为从注入的VectorStore中获取匹配结果的VectorStoreDocumentRetriever。关键在于queryTransformers()方法的调用,它会接收CompressionQueryTransformer Bean。从那以后,所有发送到该存储的查询都会首先被重写,以包含相关的对话上下文,从而大幅提升检索到正确文档的概率。
再次进行相同对话
重复这次对话会得到不同的结果:
How can I help?
> What is a hip drop tackle?
- A hip-drop tackle is when a player (a) grabs the runner with one or both
hands or wraps the runner with both arms, and (b) unweights himself by
swiveling and dropping his hips and/or lower body, landing on and/or trapping
the runner's leg(s) at or below the knee. Penalty: Loss of 15 yards and an
automatic first down.
> Is there a penalty?
- Yes. Loss of 15 yards and an automatic first down (the player may be
disqualified if the action is flagrant).
该应用解释了这种擒抱方式,也正确回答了后续问题,尽管用户再也没有提及“髋部下压擒抱”。
差异在于传入向量存储的查询内容。目前Spring AI不会记录重写后的文本,因此最快的查看方式是在CompressionQueryTransformer.transform()方法内的return行设置断点。那里会显示两次重写结果:
- 第一个问题被扩展成了一个更长的问题,询问什么是髋部下压擒抱、哪种运动会使用这种技巧、具体如何实施,以及其合法性和安全性方面的问题。
- 原本模糊的罚分问题则被细化成了一个完整的问题,询问美式橄榄球是否会对髋部下压擒抱进行罚分,如果会的话罚多少码,以及是否可以直接获得第一次进攻权。
第二次重写解释了这一改进。原本模糊的问题被替换为一个完整且独立的查询,其中包含了历史记录中的上下文信息,因此系统返回的是关于“低腰擒抱”的相关内容,而非其他动作的罚球信息。
有趣的是,第一个查询也被重写了。虽然它并不依赖于之前的查询,但变换器仍将其扩展为更具描述性的问题,从而通过更清晰的意图提升检索效果。
这正是CompressionQueryTransformer的价值所在。用户无需在每次追问时重复所有内容,可以自然地交流,而系统则能收到所需的具体且丰富的查询信息。
这仅仅是 RetrievalAugmentationAdvisor 能实现功能的一个示例。查询转换只是该流程中的一个扩展点,文档检索、检索到的文档的后处理、查询扩展等其他环节也同样可以自定义。
需考虑的权衡因素
查询压缩并非无需成本。现在每次用户操作都会在检索开始前触发额外的 LLM 调用,这会增加延迟并产生一定的费用。正因如此,该系统为变换器设计了专门的小型模型:重写任务较短且规则明确,通常由紧凑型模型即可完成,而主模型则保留用于生成最终答案。
由于重写后的查询默认不会被记录,因此在调试时值得添加自定义的日志功能或临时断点。快速查看几组原始查询与重写后的查询对比,就能判断变换器是否丢失了细节,或是用猜测内容填充了查询,比如上面第一个例子中的运动项目名称。如果检索结果的质量异常,首先应该检查重写后的文本。