Startseite / Artikel

Isolation von Mietern für RAG in Amazon S3 Vectors: Warum das ARN wichtig ist.

Warum ein Mieter-spezifischer Index mit eigenem ARN die Metadatenfilter bei der GDPR-konformen Isolation, Residenz, Löschung, Prüfung und Herkunftsbestimmung in Amazon S3 Vectors übertrifft.

Verlag: REACTAPP.TOP7 Min. Lesezeit1602 Wörter

Quellen: Multi-Tenant RAG on Amazon S3 Vectors - Part 1: The Isolation Model

Stellen Sie sich ein SaaS-Produkt vor, das sich an öffentliche Behörden in der EU richtet. Jeder Kunde ist ein eigenständiger DSGVO-Datenschutzbeauftragter, und der integrierte Assistent antwortet auf der Grundlage der eigenen Unterlagen dieses Kunden: Fallakten, interne Richtlinien sowie geltende Gesetze. Hinter diesem System steht ein RAG-System mit Hunderten von Nutzern, wobei eine falsche Antwort nicht nur peinlich ist – es handelt sich dabei um einen Verstoß, der von niemandem bemerkt wird.

So geht es schief. Ein gemeinsamer Vektorindex speichert die Datenblöcke aller Mieter. Ein Sachbearbeiter beim Mieter B fragt nach den Eignungskriterien für eine Leistung bei eingeschränkter Arbeitsfähigkeit. Zu den am nächsten liegenden Ergebnissen gehören Datenblöcke aus den Aktennotizen eines Antragstellers beim Mieter A, da eine Ähnlichkeitssuche diesen Ausdruck unabhängig davon als ein einziges Thema betrachtet, wer ihn geschrieben hat. Das Modell antwortet korrekt und listet seine Quellen auf; Quelle drei ist die Krankengeschichte eines Bürgers, die von einer anderen Organisation geführt wird. Der Anruf liefert HTTP 200 zurück und alle Dashboards bleiben grün.

Keines davon ist ein Problem des Modells. Das Modell hat getan, wofür es programmiert wurde. Die eigentlichen Fragen lauten, was ihm mitgeteilt wird und wer dafür sorgt.

Anforderungen

Beginnen Sie mit den Gesetzen zum Schutz von Daten und fragen Sie, was jedes davon von einem Abrufsystem verlangt – schließlich befinden sich die Daten nun als Blöcke in einem Vektorindex und nicht mehr als Zeilen in einer Tabelle. Es ergeben sich sechs Anforderungen, von denen jede als etwas formuliert werden kann, das getestet und einem Prüfer vorgelegt werden kann: Isolation, Residenz, Löschbarkeit, Prüfbarkeit, Herkunft sowie ehrliche Grenzen.

Zwei dieser Anforderungen werden oft verwechselt. Die Herkunft gibt Auskunft darüber, woher eine Antwort stammt, und zeigt dem Benutzer dies auf dem Bildschirm an. Die Prüfbarkeit hingegen bezieht sich auf die Daten selbst und informiert nachträglich einen Prüfer darüber, wer sie gelesen hat. Dasselbe System, entgegengesetzte Richtungen.

Warum ein Nutzer einfach ist und Hunderte nicht

Bei einem einzigen Nutzer erfüllen sich die ersten fünf Anforderungen fast automatisch. Bei Hunderten von Nutzern in einem Index gelten sie nur dann, wenn der Anwendungscode perfekt ist – und jede dieser Anforderungen versagt auf ihre eigene Weise.

  • Isolation reduziert sich auf eine WHERE tenant_id = ?-Klausel, die jeder Abfrage zugeordnet ist. Wenn diese weggelassen wird, wird der falsche Mieter berücksichtigt, oder ein Fehler überschreibt sie – die Suche findet dennoch statt.
  • Residency führt dazu, dass für alle nur noch eine Region gilt. Ein Mieter, dessen Vertrag eine andere Region angibt, benötigt einen zweiten Speicher, der für einen einzelnen Kunden dimensioniert und abgerechnet wird; in der Praxis erhält der Vertrag lediglich eine Fußnote.
  • Deletability bedeutet, dass Blöcke gefunden und gelöscht werden müssen, die mit einem Mieter und Dokument versehen sind. Die Löschung ist nur so gut wie die Tags oder die Suche, und eine annähernde Nachbarsuchfunktion kann nicht beweisen, dass etwas fehlt.
  • Audierbarkeit stützt sich auf das Anwendungsprotokoll. Der Anbieter kann festhalten, dass nach dem Index gesucht wurde, aber nicht, welche Datenblöcke zurückgegeben wurden, da der Mieter ein Wert innerhalb der Anfrage und kein Ressourcentyp war. Nur das eigene Protokoll der Anwendung kennt diese Informationen – und genau dieses Protokoll steht im Verdacht.
  • Ursprungsbestimmung hängt von einem tenant-Tag ab, der bei der Eingabe erstellt wird. Viele Mieter haben ein Dokument mit dem Titel „Benefit guidance 2026“, weshalb eine Angabe nur dann korrekt ist, wenn der entsprechende Mieter mit angegeben ist; ein falscher Tag sieht dem richtigen ähnlich.
  • Die Lösung ist bereits in der Dokumentation jeder Vektordatenbank vorgeschlagen: Eine Partition, Sammlung, Index oder Struktur pro Mieter. Die weitere Frage ist, welche Art von grenzbestimmung pro Mieter den oben genannten Anforderungen entspricht – schließlich tut das nicht jede Art. Der übliche Einwand bezüglich der Kosten taucht erst danach auf.

    Drei Stellen, an denen die Grenze gezogen wird

    Die Grenze eines Mieters kann an drei Stellen definiert werden, wobei sich die Umsetzung sowie die möglichen Fehlerquellen unterscheiden.

    Ein Filter im Anwendungscode

    Der Index wird gemeinsam genutzt, jeder Vektor enthält Metadaten mit tenant_id und jede Abfrage filtert daraufhin.

    await client.send(new QueryVectorsCommand({
      indexArn: SHARED_INDEX,
      queryVector: { float32: embedding },
      topK: 10,
      filter: { tenant_id: { $eq: "org-b" } },   // ← the boundary
    }));
    

    Ihr Code ist der einzige Vollstrecker. Wenn er versagt, ergibt sich eine plausible Antwort mit HTTP 200, und nichts außerhalb des Prozesses kann den Fehler ablehnen oder aufzeichnen.

    Struktur, die vom Anwendungscode ausgewählt wird

    Jeder Mieter erhält seinen eigenen Index, Tabelle, Schema oder Datensatz, und die Anwendung entscheidet, welchen zu verwenden.

    const index = indexFor(session.tenantId);           // ← the boundary
    await client.send(new QueryVectorsCommand({ indexArn: index, ... }));
    

    Die Durchsetzung erfolgt durch den Code, der den Index auswählt, sowie durch die auf der Datenbank konfigurierten Berechtigungen. Wenn indexFor den falschen Wert zurückgibt, wird die Abfrage gegen den Index eines anderen Kunden durchgeführt und liefern die Daten des falschen Kunden – ebenfalls mit HTTP 200. Das ist zwar weniger auffällig als ein Filter, doch genauso fehlerhaft. Bei einem Schema pro Kunden in Postgres weigert sich die Datenbank selbst, Leseanfragen aus dem falschen Schema zu bearbeiten, was hilft. Die Berechtigung bleibt jedoch weiterhin beim jeweiligen Team, und der Cloud-Anbieter betrachtet einen Cluster als eine einzige Ressource, wodurch er nichts ablehnen und nichts pro Kunde protokollieren muss.

    Eine von dem Anbieter durchgesetzte Ressource

    Jeder Kunde verfügt über einen Index, der als erstklassige Cloud-Ressource mit eigenem ARN gilt, und die Anmeldeinformationen des Aufrufers beziehen sich genau auf einen dieser Indexe.

    {
      "Version": "2012-10-17",
      "Statement": [{
        "Effect": "Allow",
        "Action": ["s3vectors:QueryVectors", "s3vectors:GetVectors"],
        "Resource": "arn:aws:s3vectors:eu-west-1:123456789012:bucket/kb-eu-west-1/index/org-b"
      }]
    }
    

    IAM setzt dies bei jedem Aufruf durch, noch bevor der Dienst gestartet wird. Derselbe indexFor-Fehler führt nun zu einer AccessDeniedException und es wird nichts zurückgegeben, während CloudTrail den abgelehnten Versuch im Zusammenhang mit dem angeforderten ARN aufzeichnet. Je weiter man auf dieser Skala voranschreitet, desto offensichtlicher wird ein Fehler. Auf der dritten Ebene ist eine Eigenschaft aus dem Store erforderlich, die leicht übersehen werden kann: Die Mieteinheit muss einen ARN haben.

    Warum der ARN die Lösung ist

    Jede IAM-Anweisung ist eine Aktion auf einer Ressource, und diese Ressource ist entweder ein ARN oder ein Wildcard. IAM kann nur solche Ressourcen schützen, die einen ARN haben, und CloudTrail folgt derselben Regel, indem es API-Aufrufe im Zusammenhang mit den Ressourcen-ARNs aufzeichnet.

    Amazon S3 Vectors verleiht jedem Index einen ARN im Format arn:aws:s3vectors:<region>:<account>:bucket/<bucket>/index/<index>. Alle Datenflächenoperationen (PutVectors, QueryVectors, GetVectors, DeleteVectors und ListVectors) gelten als IAM-Aktionen an diesem ARN sowie als CloudTrail-Datenereignisse, die damit verbunden werden. Dadurch rückt die Trennung zwischen den Nutzern vom zweiten in den dritten Ebenebereich.

    Das Ressourcenmodell und die sechs Anforderungen

    S3 Vectors ist eine Art Speicherkorb, kein Datenbanktyp. Ein Vektorkorb wird ähnlich wie ein gewöhnlicher S3-Korb erstellt und befindet sich in einer Region. Darin befinden sich Indizes, wobei jeder Index eine Dimension festlegt, eine Abstandsmetrik auswählt und auflistet, welche Metadaten Schlüssel nicht gefiltert werden können. Ein Index speichert Vektoren, wobei jeder Vector einen vom Aufrufer gewählten Schlüssel mit einem Float-Array sowie Metadaten verbindet, von denen einige filterbar sind. Der Aufruf QueryVectors gibt die k nächstgelegenen Vektoren zusammen mit diesem Metadaten zurück.

    // Tenant onboarding = one call. No capacity to choose.
    await client.send(new CreateIndexCommand({
      vectorBucketName: "kb-eu-west-1",
      indexName: "org-b",
      dataType: "float32",
      dimension: 1024,                          // Titan Text Embeddings V2
      distanceMetric: "cosine",
      metadataConfiguration: {
        nonFilterableMetadataKeys: ["chunk_text"],   // stored and returned, never scanned or filtered
      },
    }));
    

    Die Onboarding-Prozedur für einen Mieter erfolgt per einziger Anruf, wobei keine Auswahlmöglichkeit besteht. So entsprechen die Anforderungen dem Modell.

    1. Isolation: Jeder Mieter wird einem Index zugeordnet. Die Anmeldeinformationen verweisen auf den ARN dieses Index, sodass eine Abfrage physisch nicht auf einem anderen Index landen kann, unabhängig von den Anfragen der Anwendung.
    2. Residenz: Die Region ist im Index-ARN enthalten. Für jede bediente Region wird ein Vector-Bucket verwendet, und der Index des Mieters wird in dem Bucket erstellt, der seinem Vertragsnamen entspricht. Für Verträge, die eine in der EU betriebene Partition benötigen, bietet der AWS European Sovereign Cloud ebenfalls S3 Vectors an. Die Auflistung der Indexe jedes Buckets ergibt den Residenzbericht.
  • Löschbarkeit: Da der Ersteller Vektor-Schlüssel wählt, können diese aus der Dokument-ID erstellt und bei der Eingabe protokolliert werden. Das Löschen eines Dokuments erfolgt dann durch DeleteVectors gefolgt von GetVectors, das nichts zurückgibt; die starke Konsistenz sorgt dafür, dass diese Abwesenheit umgehend zuverlässig ist. Das Entfernen eines gesamten Mieters erfordert nur einen DeleteIndex.
  • Auditorierbarkeit: Die Aktivierung von CloudTrail-Datenereignissen für den Index-Ressourcentyp bedeutet, dass jede Aufrufprotokollierung festhält, wer ihn durchgeführt hat, wann, gegenüber welchem Index-ARN und mit welchem Ergebnis. Um herauszufinden, wer Mieter A gelesen hat, reicht es aus, nach dem ARN dieses Mieters zu filtern.
  • Ursprung: Alles, was aus dem Index von Mieter B zurückkommt, gehört per Konstruktion zu B, daher ist ein Mieter-Tag nicht notwendig. Die Dokument-ID und Version sind filterbare Metadaten, die in der Zitation angezeigt werden. Der Textabschnitt wird als nicht filterbares Metadaten gespeichert und zusammen mit dem Vektor zurückgegeben, was bedeutet, dass der zitierte Abschnitt der ist, den das Modell tatsächlich erhalten hat.
  • Ehrliche Grenzen: Unverändert, da das Modell sich unterhalb der Grenze befindet.
  • Was die Grenze nicht tut

    Die dritte Ebene legt fest, welcher Mieter auf welche Daten zugreifen kann. Sie umfasst nicht die Rollen innerhalb eines Mieters, wie ein Modell mit dem reinen Vorhandensein eines eingeschränkten Dokuments umgeht, noch die Qualität der Antworten in verschiedenen Sprachen. Das sind Anwendungsfragen, die den größten Teil der Entwicklungszeit in Anspruch nehmen. Der gezeigte Code dient nur zur Veranschaulichung und verwendet das AWS SDK for JavaScript v3; daher sollten die Parameternamen mit dem aktuellen SDK abgeglichen werden. Mieter, Regionen und Kontoinformationen sind Platzhalter.