超越相似度搜索:基于S3向量的RAG元数据过滤技术
Amazon S3 Vectors 上 RAG 的元数据过滤:过滤值从何而来,分类器何时被启用,以及可过滤与不可过滤的元数据。
来源: Beyond Similarity Search: Metadata Filtering for RAG with Amazon S3 Vectors
语义搜索是RAG最出色的功能。人们无需像文档那样组织问题表述,系统只需匹配含义即可呈现相关内容。但相似的内容并不总是用户想要的。
想象一家在线商店,其知识库涵盖了产品、配送、保修、退货、支付及账户等相关信息。有顾客询问损坏的商品在30天后是否可以退换。虽然有多份文档提到了损坏、退款、保修或时间限制,这些在向量搜索中看似都相关,但只有部分文档能回答该问题。元数据过滤可以起到帮助作用,但首先必须确定过滤值的来源。
过滤值的来源
有时应用本身就已经知道答案。比如在退货帮助页面上提出该问题的顾客,会直接为你提供对应类别,无需额外调用模型。
User Question +Known Application Context
↓
category = returns
↓
Vector Search
选定的产品、地区、语言或应用板块可以承担相同的功能。
其他系统仅有用户的输入内容。普通的聊天机器人会处于空白状态,没有任何提示告诉它正确的类别是退货。在规模较小、范围明确的知识库中,这种情况并无大碍:可以直接进行无过滤的普通语义搜索。
User Question
↓
Query Embedding
↓
Vector Search
↓
Relevant Results
随着数据量的增加,相关主题会逐渐重叠。退货、保修、退款以及损坏商品等问题也会变得难以区分。此时,在检索之前加入简单的查询理解或分类步骤会有所帮助。系统本身已经知晓各类类别(退货、保修、运输、支付),而轻量级模型、规则或大型语言模型则可以帮其判断最可能的类别。
User Question
↓
Query Understanding
↓
returns
↓
Vector Search
↓
category = returns
那一步需要时间和成本,因此不要仅仅因为存在过滤功能就将其加入每个RAG应用中。如果普通的语义搜索已经能够满足需求,那就保持流程的简洁性。
还需注意一点:当分类器缺乏确定性时,不要强行归类。有损坏的物品可能既涉及退货又涉及保修,此时应同时进行搜索或跳过过滤步骤。错误的过滤可能会掩盖那份包含答案的文档。目标并非对所有内容都进行过滤,而是在有可靠依据时才进行过滤。
用向量存储元数据
只有当元数据与嵌入向量一同存储时,过滤功能才能发挥作用。退货政策的相关内容中可能包含文档名称、类别、地区和状态等信息。
{
"document_name": "Return Policy",
"category": "returns",
"region": "us",
"status": "active",
"chunk_text": "Damaged products can be returned within the allowed return period."
}
这两种功能承担不同的任务。嵌入模型用于捕捉含义,因此“send an item back”和“return a product”这类表达会被归为相近类别。而元数据则用于标识内容所属的类别:此处为退货相关,区域为美国,文档状态为有效。
查询过滤
普通的 Amazon S3 Vectors 查询会在整个索引中查找最接近的向量。
const result = await s3Vectors.send(
new QueryVectorsCommand({
vectorBucketName: "rag-demo-vectors",
indexName: "store-knowledge",
queryVector: {
float32: queryEmbedding,
},
topK: 5,
returnMetadata: true,
returnDistance: true,
})
);
如果您确定该搜索结果应保留在返回结果中,请将该条件直接放在查询语句中。
const result = await s3Vectors.send(
new QueryVectorsCommand({
vectorBucketName: "rag-demo-vectors",
indexName: "store-knowledge",
queryVector: {
float32: queryEmbedding,
},
topK: 5,
filter: {
category: "returns",
},
returnMetadata: true,
returnDistance: true,
})
);
现在,查询会结合这两种信号。
(Meaning of the Question + category = returns)
↓
Amazon S3 Vectors
↓
Relevant Return Information
S3 Vectors会同时考虑元数据条件与相似度,因此它会寻找既相似又符合条件的向量,而非先获取最接近的匹配项再丢弃不需要的。当一个数据库包含许多相关主题时,这种方式非常有用。
可过滤字段与不可过滤字段
并非所有字段都适合搜索。类别、地区和状态是很好的过滤条件,因为它们能帮助缩小检索范围。
{
"category": "returns",
"region": "us",
"status": "active"
}
在 S3 Vectors 中,除非另有说明,否则元数据默认是可过滤的。较大的文本片段及类似上下文最好保持不可过滤状态,因为您希望在获取结果时能同时得到它们,而无需对它们进行过滤。
{
"chunk_text": "Damaged products can be returned within the allowed return period."
}
metadataConfiguration: {
nonFilterableMetadataKeys: ["chunk_text"],
}
当请求元数据时,相关文本仍会返回。一个记忆方法:可过滤的元数据能缩小搜索范围,而不可过滤的元数据则会在之后返回你所需的内容。
多个条件
通常一个条件就足够了。如果你知道更多条件,可以将它们组合起来,例如仅筛选活跃的美国返回内容。
filter: {
$and: [
{
category: {
$eq: "returns",
},
},
{
region: {
$eq: "us",
},
},
{
status: {
$eq: "active",
},
},
],
}
当问题涉及退货或保修时,使用 $in。
filter: {
category: {
$in: ["returns", "warranty"],
},
}
S3 Vectors还提供了$or、$exists以及多种比较运算符。大多数RAG应用只需一到两个条件即可。
在数据导入时规划元数据
在导入文档时就考虑元数据的问题,会使其使用起来更加方便。以存储示例而言,一个简单的结构可能就足够了。
{
"document_name": "Return Policy",
"category": "returns",
"region": "us",
"status": "active",
"chunk_text": "..."
}
无需在每个向量中都包含所有可能的细节。先思考某个字段是否真的能帮助后续检索。如果它无法缩小搜索范围,那很可能就没必要设置过滤功能。
两者的结合方式
元数据并不能替代语义搜索。相似度能够捕捉问题的含义,而元数据则能在明确答案来源时提供有用的参考边界。
User Question
↓
(Semantic Similarity + Reliable Metadata Context)
↓
Amazon S3 Vectors
↓
More Focused Results
关键在于可靠性。如果应用已经知道类别、地区或产品信息,过滤操作就会简单且有效。如果仅拥有问题本身,则需先判断仅依靠相似度是否足够。对于数据量较大或噪声较多的情况,查询理解功能可以先找出有用的元数据,而对于不确定的结果,采用更广泛的搜索方式比使用错误的过滤条件更为稳妥。
有一个实用的测试方法可以帮助判断是否真的需要分类器:收集二十个真实问题,分别使用带类别过滤和不带类别过滤的方式进行处理,然后手动比较最相关的结果。如果未经过过滤的答案几乎每次都能指向正确的文档,那就无需额外添加过滤步骤。如果相关类别会互相干扰,这就表明需要加入过滤功能,而这二十个问题则可作为后续调整的回归测试集。
## 结语
向量相似度很重要,因为人们很少会完全重复文档中的原话,但真实的知识库中包含大量相关类型的信息,而元数据能为语义搜索提供额外的上下文。并非每个查询都需要过滤器或额外的模型调用,可以直接使用已有的元数据,只有在确实有必要时才添加分类功能。重点不在于增加复杂性,而在于当你有足够信息判断搜索位置时,能让搜索在正确的地方进行。