Amazon S3 Vectors上RAG的租户隔离机制:为何ARN如此重要
为何在Amazon S3 Vectors上,带有独立ARN的租户级索引比元数据过滤器更能实现符合GDPR要求的RAG隔离、数据驻留控制、数据删除、审计追踪及数据来源追溯功能。
来源: Multi-Tenant RAG on Amazon S3 Vectors - Part 1: The Isolation Model
想象一款面向欧盟公共机构的SaaS产品。每个客户都是独立的GDPR数据控制方,内置的助手会依据该客户自身的资料——如案件档案、内部指南以及适用的法律——来回答问题。其背后是一个拥有数百个用户的RAG系统,在那里,错误的回答不仅仅是尴尬的问题,而是无人察觉的数据泄露行为。
问题就出在这里。一个共享的向量索引存储着所有租户的相关数据。B租户的客服人员询问有关工作能力下降补贴的资格标准。在相似度最高的匹配结果中,有来自A租户申请人病历记录的片段,因为相似度搜索会将这类表述视为同一主题,而不管是谁写的。模型给出了正确答案并列出了数据来源,其中第三个来源是另一个机构保存的某位公民的医疗记录。调用返回HTTP 200状态码,所有监控面板都显示正常。
这些都不是模型本身的问题。模型只是按照给定的指令行事。真正值得探讨的是它被赋予了什么数据,以及由谁来确保这些数据的准确性。
要求
从保护数据的法律出发,思考既然数据以向量索引中的数据块形式存在而非表格中的行形式,检索系统需要满足哪些要求。最终可得出六项要求,每一项都可以表述为可测试的内容,并能向审计员展示:隔离性、驻留性、可删除性、可审计性、来源追溯性以及合理限制。
其中两项常常被混淆。来源追溯性是从结果反向追溯,向用户显示该结果来自何处;而可审计性则是从数据本身反向追溯,事后告诉审计员谁读取过该数据。同样是同一系统,但方向截然相反。
为何一个用户很简单,而数百个用户却很困难
对于单个用户,前五项要求几乎可以毫不费力地满足。但在一个索引中存在数百个用户时,只有当应用程序代码完全正确时才能满足这些要求,而且每一种错误都会以不同的方式导致问题。
- 隔离性实际上仅表现为每个查询都附带一个
WHERE tenant_id = ?条件。即便忽略这一条件,错误租户的数据仍可能被检索到;或者由于程序漏洞导致该条件被修改,搜索依然会进行。 - 驻留区域则简化为所有人都属于同一个区域。那些合同指定其他区域的租户,就需要为单个客户单独搭建一个存储实例并支付相应费用,而实际上这类合同往往只会有附加说明。
- 可删除性意味着要找到并删除带有特定租户和文档标签的数据块。删除操作的可靠性完全取决于标签或搜索机制的准确性,而近似最近邻搜索也无法证明某数据确实不存在。
tenant标签。许多租户都会拥有名为“Benefit guidance 2026”的文档,因此只有附带对应租户信息时,引用才具有真实性,而错误的标签看起来会与正确的标签毫无区别。解决方法是所有向量存储文档都已建议的:为每个租户创建独立的分区、集合、索引或架构。剩下的问题在于哪种租户隔离方式能满足上述要求,因为并非所有方式都适用。通常人们会以成本作为反对理由,但这其实是后续才需要考虑的问题。
划定界限的三个位置
租户边界可以存在于三个位置,它们在执行者以及失效方式上存在差异。
应用代码中的过滤器
索引是共享的,每个向量都携带tenant_id元数据,且每个查询都会基于此进行过滤。
await client.send(new QueryVectorsCommand({
indexArn: SHARED_INDEX,
queryVector: { float32: embedding },
topK: 10,
filter: { tenant_id: { $eq: "org-b" } }, // ← the boundary
}));
你的代码是唯一的执行者。当它出错时,系统会返回带有HTTP 200状态的合理响应,进程之外的任何部分都无法拒绝该响应或记录错误。
应用程序代码所选择的结构
每个租户都有自己独立的索引、表格、模式或集合,应用程序会自行选择使用哪一个。
const index = indexFor(session.tenantId); // ← the boundary
await client.send(new QueryVectorsCommand({ indexArn: index, ... }));
权限管控分为两部分:一部分是用于选择索引的代码,另一部分则是数据库中配置的权限设置。如果indexFor返回了错误的值,查询就会使用其他租户的索引,从而返回错误客户的数据,同样会返回HTTP 200状态码。这种方式虽然没有过滤器那么明显,但错误程度是一样的。在Postgres中采用每个租户独立的架构时,数据库本身会拒绝来自错误架构的读取请求,这有助于避免问题。不过权限仍然属于该团队所有,而云服务提供商会将整个集群视为一项资源,不会针对每个租户进行拒绝处理或记录日志。
提供商管控的资源
每个租户都有一个属于自己的索引,这是一种一级云资源,拥有独立的ARN,调用方的凭证恰好对应其中之一。
{
"Version": "2012-10-17",
"Statement": [{
"Effect": "Allow",
"Action": ["s3vectors:QueryVectors", "s3vectors:GetVectors"],
"Resource": "arn:aws:s3vectors:eu-west-1:123456789012:bucket/kb-eu-west-1/index/org-b"
}]
}
IAM会在每次调用时、服务启动之前就执行这一检查。同样的indexFor错误现在会引发AccessDeniedException,且不会返回任何结果,同时CloudTrail会记录针对所请求ARN的拒绝尝试。故障的严重程度会随着规模扩大而愈发明显。第三级需要从存储中获取一个容易忽略的属性:租户单元必须拥有ARN。
为何ARN能解决这个问题
每个IAM语句都是对某个资源的操作,而该资源要么是ARN,要么是通配符。IAM只能保护那些具有ARN的资源,CloudTrail也遵循相同规则,通过记录针对资源ARN的API调用来进行监控。
Amazon S3 Vectors 为每个索引分配一个形如 arn:aws:s3vectors:::bucket//index/ 的 ARN。所有的数据平面操作(PutVectors、QueryVectors、GetVectors、DeleteVectors 和 ListVectors)都会被视为针对该 ARN 的 IAM 操作,并作为对应的 CloudTrail 数据事件被记录下来。这一设计将租户边界从第二层提升到了第三层。
资源模型与六项要求
S3 Vectors是一种存储桶类型,而非数据库。向量存储桶的构造与普通S3存储桶类似,且仅存在于一个区域中。其内部包含索引,每个索引负责指定一个维度、选择距离度量方式,并列出无法进行过滤的元数据键。索引用于存储向量,每个向量都将调用者指定的键与浮点数数组及元数据关联起来,其中部分元数据是可以被过滤的。QueryVectors接口会返回距离最近的top-k个向量及其对应的元数据。
// Tenant onboarding = one call. No capacity to choose.
await client.send(new CreateIndexCommand({
vectorBucketName: "kb-eu-west-1",
indexName: "org-b",
dataType: "float32",
dimension: 1024, // Titan Text Embeddings V2
distanceMetric: "cosine",
metadataConfiguration: {
nonFilterableMetadataKeys: ["chunk_text"], // stored and returned, never scanned or filtered
},
}));
引入租户仅需一次通话,且无法进行选择。以下是各项要求在模型中的对应方式。
- 隔离性:每个租户对应一个索引。凭证指向该索引的ARN,因此无论应用程序提出何种请求,查询都无法实际到达其他索引。
- 驻留地:区域信息已嵌入索引ARN中。为每个服务区域保留一个向量存储桶,并在对应名称的存储桶中创建租户的索引。对于需要欧盟运营分区的合同,AWS欧洲主权云也提供S3 Vectors服务。列出每个存储桶的索引即可生成驻留地报告。
DeleteVectors,再执行返回空结果的GetVectors,强一致性确保这种“无结果”状态能够立即被确认。而删除整个租户只需执行一次DeleteIndex即可。边界不具备的功能
第三层决定了哪些租户可以访问哪些数据。它不涉及租户内部的角色划分、模型如何处理受限文档的存在状态,也不涉及不同语言之间的质量差异问题。这些都是应用程序需要解决的范畴,且占据了大部分开发时间。所示代码仅为示例,使用了 AWS SDK for JavaScript v3,因此参数名称需以当前版本的 SDK 为准,而租户、区域和账户 ID 均为占位符。
相关阅读
- 在 Amazon S3 Vectors 上构建多租户 RAG:流程详解 —— 基于 S3 Vectors 的租户级索引设计:受限的 STS 凭证、基于键的数据删除、CloudTrail 审计功能,以及仍存在于应用程序代码中的隔离限制。