首页 / 文章

Amazon S3 Vectors上RAG的租户隔离机制:为何ARN如此重要

为何在Amazon S3 Vectors上,带有独立ARN的租户级索引比元数据过滤器更能实现符合GDPR要求的RAG隔离、数据驻留控制、数据删除、审计追踪及数据来源追溯功能。

发布者:REACTAPP.TOP阅读约 7 分钟1602 词

来源: Multi-Tenant RAG on Amazon S3 Vectors - Part 1: The Isolation Model

想象一款面向欧盟公共机构的SaaS产品。每个客户都是独立的GDPR数据控制方,内置的助手会依据该客户自身的资料——如案件档案、内部指南以及适用的法律——来回答问题。其背后是一个拥有数百个用户的RAG系统,在那里,错误的回答不仅仅是尴尬的问题,而是无人察觉的数据泄露行为。

问题就出在这里。一个共享的向量索引存储着所有租户的相关数据。B租户的客服人员询问有关工作能力下降补贴的资格标准。在相似度最高的匹配结果中,有来自A租户申请人病历记录的片段,因为相似度搜索会将这类表述视为同一主题,而不管是谁写的。模型给出了正确答案并列出了数据来源,其中第三个来源是另一个机构保存的某位公民的医疗记录。调用返回HTTP 200状态码,所有监控面板都显示正常。

这些都不是模型本身的问题。模型只是按照给定的指令行事。真正值得探讨的是它被赋予了什么数据,以及由谁来确保这些数据的准确性。

要求

从保护数据的法律出发,思考既然数据以向量索引中的数据块形式存在而非表格中的行形式,检索系统需要满足哪些要求。最终可得出六项要求,每一项都可以表述为可测试的内容,并能向审计员展示:隔离性、驻留性、可删除性、可审计性、来源追溯性以及合理限制。

其中两项常常被混淆。来源追溯性是从结果反向追溯,向用户显示该结果来自何处;而可审计性则是从数据本身反向追溯,事后告诉审计员谁读取过该数据。同样是同一系统,但方向截然相反。

为何一个用户很简单,而数百个用户却很困难

对于单个用户,前五项要求几乎可以毫不费力地满足。但在一个索引中存在数百个用户时,只有当应用程序代码完全正确时才能满足这些要求,而且每一种错误都会以不同的方式导致问题。

  • 隔离性实际上仅表现为每个查询都附带一个WHERE tenant_id = ?条件。即便忽略这一条件,错误租户的数据仍可能被检索到;或者由于程序漏洞导致该条件被修改,搜索依然会进行。
  • 驻留区域则简化为所有人都属于同一个区域。那些合同指定其他区域的租户,就需要为单个客户单独搭建一个存储实例并支付相应费用,而实际上这类合同往往只会有附加说明。
  • 可删除性意味着要找到并删除带有特定租户和文档标签的数据块。删除操作的可靠性完全取决于标签或搜索机制的准确性,而近似最近邻搜索也无法证明某数据确实不存在。
  • 可审计性依赖于应用程序日志。服务提供方可以记录索引被查询过这一事实,但无法知晓返回的是哪些数据块,因为租户只是请求中的数值而非独立资源。只有应用程序自身的日志才掌握相关信息,而这正是备受质疑的部分。
  • 来源追溯性则取决于在数据导入时添加的tenant标签。许多租户都会拥有名为“Benefit guidance 2026”的文档,因此只有附带对应租户信息时,引用才具有真实性,而错误的标签看起来会与正确的标签毫无区别。
  • 解决方法是所有向量存储文档都已建议的:为每个租户创建独立的分区、集合、索引或架构。剩下的问题在于哪种租户隔离方式能满足上述要求,因为并非所有方式都适用。通常人们会以成本作为反对理由,但这其实是后续才需要考虑的问题。

    划定界限的三个位置

    租户边界可以存在于三个位置,它们在执行者以及失效方式上存在差异。

    应用代码中的过滤器

    索引是共享的,每个向量都携带tenant_id元数据,且每个查询都会基于此进行过滤。

    await client.send(new QueryVectorsCommand({
      indexArn: SHARED_INDEX,
      queryVector: { float32: embedding },
      topK: 10,
      filter: { tenant_id: { $eq: "org-b" } },   // ← the boundary
    }));
    

    你的代码是唯一的执行者。当它出错时,系统会返回带有HTTP 200状态的合理响应,进程之外的任何部分都无法拒绝该响应或记录错误。

    应用程序代码所选择的结构

    每个租户都有自己独立的索引、表格、模式或集合,应用程序会自行选择使用哪一个。

    const index = indexFor(session.tenantId);           // ← the boundary
    await client.send(new QueryVectorsCommand({ indexArn: index, ... }));
    

    权限管控分为两部分:一部分是用于选择索引的代码,另一部分则是数据库中配置的权限设置。如果indexFor返回了错误的值,查询就会使用其他租户的索引,从而返回错误客户的数据,同样会返回HTTP 200状态码。这种方式虽然没有过滤器那么明显,但错误程度是一样的。在Postgres中采用每个租户独立的架构时,数据库本身会拒绝来自错误架构的读取请求,这有助于避免问题。不过权限仍然属于该团队所有,而云服务提供商会将整个集群视为一项资源,不会针对每个租户进行拒绝处理或记录日志。

    提供商管控的资源

    每个租户都有一个属于自己的索引,这是一种一级云资源,拥有独立的ARN,调用方的凭证恰好对应其中之一。

    {
      "Version": "2012-10-17",
      "Statement": [{
        "Effect": "Allow",
        "Action": ["s3vectors:QueryVectors", "s3vectors:GetVectors"],
        "Resource": "arn:aws:s3vectors:eu-west-1:123456789012:bucket/kb-eu-west-1/index/org-b"
      }]
    }
    

    IAM会在每次调用时、服务启动之前就执行这一检查。同样的indexFor错误现在会引发AccessDeniedException,且不会返回任何结果,同时CloudTrail会记录针对所请求ARN的拒绝尝试。故障的严重程度会随着规模扩大而愈发明显。第三级需要从存储中获取一个容易忽略的属性:租户单元必须拥有ARN。

    为何ARN能解决这个问题

    每个IAM语句都是对某个资源的操作,而该资源要么是ARN,要么是通配符。IAM只能保护那些具有ARN的资源,CloudTrail也遵循相同规则,通过记录针对资源ARN的API调用来进行监控。

    Amazon S3 Vectors 为每个索引分配一个形如 arn:aws:s3vectors:::bucket//index/ 的 ARN。所有的数据平面操作(PutVectors、QueryVectors、GetVectors、DeleteVectors 和 ListVectors)都会被视为针对该 ARN 的 IAM 操作,并作为对应的 CloudTrail 数据事件被记录下来。这一设计将租户边界从第二层提升到了第三层。

    资源模型与六项要求

    S3 Vectors是一种存储桶类型,而非数据库。向量存储桶的构造与普通S3存储桶类似,且仅存在于一个区域中。其内部包含索引,每个索引负责指定一个维度、选择距离度量方式,并列出无法进行过滤的元数据键。索引用于存储向量,每个向量都将调用者指定的键与浮点数数组及元数据关联起来,其中部分元数据是可以被过滤的。QueryVectors接口会返回距离最近的top-k个向量及其对应的元数据。

    // Tenant onboarding = one call. No capacity to choose.
    await client.send(new CreateIndexCommand({
      vectorBucketName: "kb-eu-west-1",
      indexName: "org-b",
      dataType: "float32",
      dimension: 1024,                          // Titan Text Embeddings V2
      distanceMetric: "cosine",
      metadataConfiguration: {
        nonFilterableMetadataKeys: ["chunk_text"],   // stored and returned, never scanned or filtered
      },
    }));
    

    引入租户仅需一次通话,且无法进行选择。以下是各项要求在模型中的对应方式。

    1. 隔离性:每个租户对应一个索引。凭证指向该索引的ARN,因此无论应用程序提出何种请求,查询都无法实际到达其他索引。
    2. 驻留地:区域信息已嵌入索引ARN中。为每个服务区域保留一个向量存储桶,并在对应名称的存储桶中创建租户的索引。对于需要欧盟运营分区的合同,AWS欧洲主权云也提供S3 Vectors服务。列出每个存储桶的索引即可生成驻留地报告。
  • 可删除性:由于写入方选择使用向量键,这些键可由文档ID生成并在数据导入时被记录下来。删除文档的操作流程为先执行DeleteVectors,再执行返回空结果的GetVectors,强一致性确保这种“无结果”状态能够立即被确认。而删除整个租户只需执行一次DeleteIndex即可。
  • 可审计性:为索引资源类型启用CloudTrail数据事件功能,可记录每次调用的发起者、时间、对应的索引ARN以及操作结果。要查询谁读取了租户A,只需根据该租户的ARN进行过滤即可。
  • 来源:从租户B的索引中返回的任何内容按设计都属于B的,因此无需添加租户标签。文档ID和版本是可在引用中查看的可过滤元数据。片段文本则作为不可过滤的元数据存储,并与向量一起返回,这意味着被引用的段落正是模型实际接收到的内容。
  • 诚实限制:保持不变,因为模型位于边界之后。
  • 边界不具备的功能

    第三层决定了哪些租户可以访问哪些数据。它不涉及租户内部的角色划分、模型如何处理受限文档的存在状态,也不涉及不同语言之间的质量差异问题。这些都是应用程序需要解决的范畴,且占据了大部分开发时间。所示代码仅为示例,使用了 AWS SDK for JavaScript v3,因此参数名称需以当前版本的 SDK 为准,而租户、区域和账户 ID 均为占位符。

    相关阅读

  • RAG的混合搜索:BM25、向量与互反排名融合的实际应用 —— 为何仅使用向量的RAG会丢失精确标识符,RRF如何将BM25与嵌入向量融合,混合搜索在何种情况下表现不佳,以及为何元数据过滤应先于融合步骤进行。
  • 为何我们存储向量而非您的文档——这一说法几乎从不成立 —— 检索系统会将您的文本与其嵌入向量存储在一起。了解分块机制的原理、隐私声明为何具有误导性,以及能解决该问题的三个关键问题。