使用 Spring AI 和 Pinecone 在 RAG 中重新排序:将一个答案的排名从第4位提升到第1位
使用 Spring AI 和 Pinecone 在 RAG 中进行重新排序:在人力资源手册的案例中,对比普通向量搜索与添加 BGE 重新排序步骤的效果,其中一个被隐藏的答案的排名从第4位上升到了第1位。
来源: Reranking in RAG: The Spring AI and Pinecone Implementation
在某个企业搜索工具中输入一个问题后,会返回五个结果。这些结果看似都相关,但真正能回答问题的那个结果却排在第三位,位于两段仅包含部分相同词汇的文字之后。搜索系统理解了文字的表面内容,却未能完全领会其真实含义。正是这种“看似相关”与“真正相关”之间的细微差距,才有了重新排序技术的存在——向量搜索找到的只是表面相似的文本,而非一定能解答问题的文本。
接下来的内容将这一理念转化为可运行的代码。两种搜索路径并行处理同一份文档,这样就能观察两者之间的差异,而无需盲目信赖某一种结果。事实证明,这种差异比预期要大。
实验
该测试特意设计为以隐藏的答案为核心。真实的HR手册会被拆分成多个小部分,然后提出一个问题,其答案位于没人会首先想到的章节中。接下来会通过两种方式寻找答案:第一种是寻找与问题表述相似的内容;第二种则是对同样的内容进行逐一评估,根据最能回答问题的内容重新排序。正是通过展示同一问题在不同排序下的差异,才体现了该测试的精髓。
依赖环境与前提条件
该程序在Java 21环境下运行,使用的框架为Spring Boot 3.5.14和Spring AI 1.0.8。嵌入模型来自OpenAI的text-embedding-3-small。Pinecone同时承担向量存储和托管的重排API功能,而用于重排的模型为bge-reranker-v2-m3。
为何也要使用 Pinecone 进行重排序呢?Spring AI 的 VectorStore 不支持重排序功能,因此这是唯一需要跳出抽象层、直接调用 Pinecone 的原始 Java SDK 来执行单次重排序操作的场景。
首先需要准备三样东西。其一是一个 Pinecone 账户,该账户中需存在维度为 1536 的索引,这一数值与嵌入模型的输出相匹配。其二是一个 OpenAI API 密钥,用于生成嵌入向量。其三则是用于管理依赖关系的 Gradle 工具。
准备手册
搜索需要先有数据,因此必须将手册分割成多个部分并加载到 Pinecone 中。一个 /ingest 接口即可完成这一流程:该接口会读取文件,将其切割成每段300个标记的片段并存储为向量,同时通过重复检测机制避免重复处理时再次插入所有数据。文件位于 src/main/resources/docs/abc_company_employee_handbook.txt。事先快速浏览一下会很有帮助,尤其是关于远程办公的部分,其中包含了一些较难解答的问题。
两个接口
同一个查询可以通过两个从外部看几乎相同的接口来提交:
GET /api/search/without-reranking?query=your question here
GET /api/search/with-reranking?query=your question here
第一种是简单的基线方法。它直接查询向量数据库,获取最接近的匹配结果,并按接收顺序返回,不进行额外判断。第二种方法在第一步之后增加了额外步骤:它将相同的片段传递给重排模型,判断哪些片段真正能回答问题,然后根据判断结果重新排序这些片段后再返回。
两种方法的返回结果结构相同,仅有顺序不同,而顺序正是关键所在。真正有趣的处理工作发生在控制器之下的一层,即RetrievalService中。
路径1:普通相似度搜索
这里的理念是简化流程:直接查询向量数据库以获取最接近的片段,接受返回的结果后即可结束,无需进一步处理。有一个方法负责执行检索操作:
private List<Document> retrieveTopK(String query) {
return handbookVectorStore.similaritySearch(
SearchRequest.builder().query(query).topK(topK).build());
}
在配置中,topK的值为5,因此会选取余弦相似度最高的五个片段。这就是整个检索过程。每个片段都会附带向量存储系统自带的相似度得分,用以显示其在含义上与查询内容的接近程度。
问题就出在“含义”这一标准上。某段文字虽然与问题非常接近,却未必能回答该问题。病假相关条款被藏在远程办公政策之中,因此周围的远程办公相关文本看起来就像是极佳的匹配项,而相似度搜索仅依据这种接近程度进行排序,根本不会检查这些文本是否真的能回应问题。最终得到的只是一份不错的候选列表,却无法判断哪个条目才是真正答案,而第二种方法则能给出这样的判断。
方法2:增加重排步骤
目前的目的是找出哪些片段真正能回答这个问题。该路径的起始部分完全相同,执行相同的搜索并获取相同的片段:
List<Document> hits = retrieveTopK(query);
这些正是第一个接口所使用的那五个完全相同的片段,是故意重复使用的。若在此进行不同的搜索,将无法为比较两个结果提供任何合理的依据。
接着是重新排序的过程。Spring AI无能为力,因为其向量存储根本不知道什么是重新排序,所以代码会直接调用Pinecone提供的托管模型:
return pinecone.getInferenceClient().rerank(
rerankModel, // bge-reranker-v2-m3
query,
documents, // the same five chunks
List.of("content"), // the text to judge
topN, // keep the best 3
true,
Map.of("truncate", "END"));
那是对托管模型的真实请求,而非在本地进行的快捷操作。重排序器会读取问题以及每个文本片段,并评估该片段对问题的回应程度。相比之下,相似度搜索则是比较预先计算好的向量,而不会将两段文本并排读取。
设想让重排序器处理五段文本并选出最佳的三段。它不会直接返回文本,而是给出各片段在行中的位置,例如先给出第4段,然后是第1段,接着是第5段,以此标明各片段的位置。最后一步会将这些位置转换回实际的文本片段。当模型指出第4段时,代码会回到原始列表中,取出第4个片段并提取其文本及对应的评分。
Document original = hits.get(ranked.getIndex());
results.add(toChunkResult(original, ranked.getScore().doubleValue()));
一个细微的变化是:现在显示的分数是重排分数,即该文本片段回答问题的质量,而非之前的相似度分数。虽然仍是同一个文本片段,但其旁边的数字代表的含义却完全不同。这种含义的转变正是整个设计的核心。
观察差异
用同一个问题分别测试两个系统并查看控制台输出。所选问题很好地隐藏了答案:在家办公时生病后应该怎么做?
在普通搜索中,五个文本片段会按相似度顺序列出并附上分数。真正能回答问题的第6个片段仅获得37.5%的分数,排在第4位。在其前面的三个片段讨论的是居家办公或病假相关内容,由于与查询词的词汇重合度更高,因此得分更高。尽管它是唯一一个完整的答案,但其排名却是最弱的匹配项之一。
在重新排序后的结果中,仍使用相同的五个文本片段,模型会评估每个片段是否能回答该问题。输出结果会标注相关性等级以及排名变动的说明。其中一个答案片段的相似度高达95.6%,被标记为“完美匹配”,排名从第四位跃升至第一位;而另外两个相似度分别为20.4%和6.2%的片段则被归类为“匹配度较低”。还有一个细节值得注意:在初始相似度排名中位居首位的第5个片段,未能进入重新排序后的前三名。相似度评分支持它,但相关性评分却将其排除在外。
核心要点
向量搜索可找到接近正确答案的候选项,再通过重排序确定最终结果。将候选列表传递给能够将问题及每个文本片段视为一对来处理的模型,往往能决定用户是会信任所见结果还是继续滚动浏览。在私有文档上进行的演示也显示了相同的效果,即各文本片段在排序中的位置会上下移动。