Strona główna / Artykuły

Izolacja najemców w RAG w Amazon S3 Vectors: Dlaczego ARN ma znaczenie

Dlaczego indeks dla każdego najemcy z własnym ARN jest lepszy od filtrów metadanych pod względem izolacji, rezydencji, usuwania danych, audytu i śledzenia pochodzenia w standardzie GDPR w Amazon S3 Vectors.

Wydawca: REACTAPP.TOP7 min czytania1602 słów

Źródła: Multi-Tenant RAG on Amazon S3 Vectors - Part 1: The Isolation Model

Załóżmy produkt typu SaaS skierowany do instytucji publicznych w UE. Każdy klient jest odrębnym administratorem danych zgodnie z GDPR, a wbudowany asystent odpowiada na podstawie materiałów należących bezpośrednio do tego klienta: akt spraw, wewnętrznych wytycznych oraz obowiązujących przepisów prawa. Za nim znajduje się system RAG z setkami użytkowników, gdzie błędna odpowiedź to nie tylko kłopot – to naruszenie, którego nikt nie zauważy.

Oto jak to się źle kończy. Jeden wspólny indeks wektorowy przechowuje wszystkie fragmenty danych każdego najemcy. Pracownik zajmujący się sprawami najemcy B pyta o kryteria uprawniające do świadczenia przy zmniejszonej zdolności do pracy. Wśród najbliższych wyników znajdują się fragmenty z notatek dotyczących sprawy aplikanta z najemcy A, ponieważ wyszukiwanie podobieństw traktuje tę frazę jako jeden temat, niezależnie od tego, kto ją napisał. Model odpowiada poprawnie i wymienia swoje źródła, a trzecim źródłem jest historia medyczna obywatela przechowywana przez inną organizację. Rozmowa kończy się kodem HTTP 200, a wszystkie panele kontrolne pozostają w kolorze zielonym.

To nie jest problem modelu – model zrobił to, co mu zostało poleczone. Prawdziwe pytania dotyczą tego, co mu jest dostarczane i kto to kontroluje.

Wymagania

Wychodząc od przepisów chroniących dane, należy zastanowić się, co każdy z nich wymaga od systemu wyszukiwania, skoro dane znajdują się teraz w postaci fragmentów w indeksie wektorowym, a nie już w wierszach tabeli. Wynika sześć wymagań, z których każde można sformułować w taki sposób, by można je było przetestować i przedstawić audytorowi: izolacja, rezydencja, możliwość usunięcia, możliwość audytu, pochodzenie danych oraz uczciwe ograniczenia.

Dwa z nich są często mylone. Pochodzenie danych pokazuje, skąd pochodzi odpowiedź, informując użytkownika na ekranie o jej źródle. Możliwość audytu natomiast analizuje same dane i później informuje audytora, kto je przeczytał. To ten sam system, ale różne kierunki analizy.

Dlaczego jeden użytkownik to proste, a setki – nie

W przypadku jednego użytkownika pierwsze pięć wymagań jest niemal bezkosztowe. Gdy w jednym indeksie znajduje się setki użytkowników, są one spełniane tylko wtedy, gdy kod aplikacji jest idealny, a każdy z nich powoduje problemy na swój sposób.

  • Izolacja sprowadza się do klauzuli WHERE tenant_id = ? dołączonej do każdej zapytania. Nawet jeśli zostanie pominięta, błędnie wybrany zostanie tenant, lub błąd może to zmienić, ale wyszukiwanie nadal ma miejsce.
  • Rezydencja sprowadza się do jednego regionu dla wszystkich. Tenant, którego umowa dotyczy innego regionu, wymaga drugiego magazynu dostosowanego rozmiarem i opłacanego jak dla jednego klienta, a w praktyce umowa otrzymuje przypis na dole strony.
  • Możliwość usunięcia polega na znajdowaniu i usuwaniu fragmentów oznaczonych tenantem i dokumentem. Usunięcie jest tak skuteczne, jak tylko tagi lub wyszukiwanie, a przybliżone wyszukiwanie najbliższego sąsiada nie może potwierdzić braku czegoś.
  • Możliwość audytu opiera się na dzienniku aplikacji. Dostawca może odnotować, że zapytano o indeks, ale nie określić, które fragmenty zostały zwrócone, ponieważ użytkownik był wartością w żądaniu, a nie zasobem. Tylko własny dziennik aplikacji o tym wie, i to właśnie on jest przedmiotem wątpliwości.
  • Pochodzenie zależy od tagu tenant dodanego podczas importu danych. Wielu użytkowników będzie miało dokument o nazwie „Benefit guidance 2026”, więc odniesienie do niego jest prawidłowe tylko wtedy, gdy do niego dołączony jest odpowiedni użytkownik, a błędny tag wygląda identycznie jak prawidłowy.
  • Rozwiązaniem jest to, co już zaleca dokumentacja każdego magazynu wektorowego: podział na partycje, kolekcje, indeksy lub schematy dla każdego użytkownika. Pozostaje pytanie, jaki rodzaj granicy dla poszczególnych użytkowników spełnia powyższe wymagania, ponieważ nie każdy z nich je spełnia. Koszt, co jest typowym zarzutem, pojawia się później.

    Trzy miejsca, gdzie należy wyznaczyć granicę

    Granica wynajmującego może istnieć w trzech miejscach, a różnią się one tym, kto je egzekwuje oraz w jaki sposób mogą zostać złamane.

    Filtr w kodzie aplikacji

    Indeks jest współdzielony, każdy wektor zawiera metadane tenant_id, a każde zapytanie filtrowane jest na ich podstawie.

    await client.send(new QueryVectorsCommand({
      indexArn: SHARED_INDEX,
      queryVector: { float32: embedding },
      topK: 10,
      filter: { tenant_id: { $eq: "org-b" } },   // ← the boundary
    }));
    

    Twój kod jest jedynym narzędziem do egzekwowania zasad. Gdy zawiedzie, rezultatem jest wiarygodna odpowiedź z kodem HTTP 200, a nic poza tym procesem nie może odrzucić tej odpowiedzi ani zarejestrować błędu.

    Struktura wybierana przez kod aplikacji

    Każdy użytkownik otrzymuje swój własny indeks, tabelę, schemat lub zbiór, a aplikacja decyduje, który z nich użyć.

    const index = indexFor(session.tenantId);           // ← the boundary
    await client.send(new QueryVectorsCommand({ indexArn: index, ... }));
    

    Wymuszanie jest rozdzielone pomiędzy kod, który wybiera indeks, a w przypadku bazy danych – uprawnieniami, które zostały skonfigurowane. Jeśli indexFor zwróci niewłaściłą wartość, zapytanie zostanie wykonane wobec indeksu innego użytkownika i zwróci dane niewłaściwego klienta, ponownie z kodem HTTP 200. Jest to mniej widoczne niż filtr, ale równie błędne. W przypadku schematu dla każdego użytkownika w Postgresie sama baza danych odrzuca odczyt z niewłaściwego schematu, co pomaga. Uprawnienia pozostają jednak własnością zespołu, a dostawca chmury traktuje jeden klastr jako jeden zasób, nie mając nic do odrzucenia ani nic do zapisywania dla poszczególnych użytkowników.

    Zasób, który wymusza dostawca

    Każdy użytkownik ma indeks, który stanowi zasób chmurowy pierwszej klasy z własnym ARN, a dane uwierzytelniające żądającego odnoszą się dokładnie do jednego z nich.

    {
      "Version": "2012-10-17",
      "Statement": [{
        "Effect": "Allow",
        "Action": ["s3vectors:QueryVectors", "s3vectors:GetVectors"],
        "Resource": "arn:aws:s3vectors:eu-west-1:123456789012:bucket/kb-eu-west-1/index/org-b"
      }]
    }
    

    IAM egzekwuje to przy każdym połączeniu, jeszcze przed uruchomieniem usługi. Ten sam błąd indexFor teraz skutkuje wywołaniem AccessDeniedException i nic nie jest zwracane, podczas gdy CloudTrail rejestruje odrzuconą próbę w odniesieniu do zapytanego ARN. Im wyżej na tej skali, tym głośniejszy staje się błąd. Trzeci poziom wymaga jednej właściwości z magazynu, której łatwo nie zauważyć: jednostka wynajmu musi mieć ARN.

    Dlaczego to ARN rozstrzyga sprawę

    Każde oświadczenie IAM to działanie na zasobie, a zasób to ARN lub znak zastępczy. IAM może chronić tylko te elementy, które mają ARN, a CloudTrail stosuje tę samą zasadę, rejestrując wywołania API w odniesieniu do ARN zasobów.

    Amazon S3 Vectors przypisuje każdemu indeksowi ARN o strukturze arn:aws:s3vectors:<region>:<account>:bucket/<bucket>/index/<index>. Wszystkie operacje na poziomie danych (PutVectors, QueryVectors, GetVectors, DeleteVectors oraz ListVectors) są traktowane jako działania IAM dotyczące tego ARN oraz jako zdarzenia danych CloudTrail zapisane w jego związku. Dzięki temu granica między użytkownikami przenosi się z drugiego na trzeci poziom.

    Model zasobów i sześć wymagań

    S3 Vectors to typ pojemnika przechowawczego, a nie baza danych. Pojemnik wektorowy jest tworzony w podobny sposób jak zwykły pojemnik S3 i znajduje się w jednym regionie. W jego wnętrzu znajdują się indeksy, z których każdy określa wymiar, wybiera miarę odległości oraz wskazuje, jakie klucze metadanych nie mogą być filtrowane. Indeks przechowuje wektory, a każdy wektor łączy wybrany przez użytkownika klucz z tablicą liczb zmiennoprzecinkowych oraz metadanymi, z których część może być filtrowana. Wywołanie QueryVectors zwraca k-k najbliższych wektorów wraz z tymi metadanymi.

    // Tenant onboarding = one call. No capacity to choose.
    await client.send(new CreateIndexCommand({
      vectorBucketName: "kb-eu-west-1",
      indexName: "org-b",
      dataType: "float32",
      dimension: 1024,                          // Titan Text Embeddings V2
      distanceMetric: "cosine",
      metadataConfiguration: {
        nonFilterableMetadataKeys: ["chunk_text"],   // stored and returned, never scanned or filtered
      },
    }));
    

    Proces włączania najemcy polega na jednym połączeniu telefonicznym i nie ma możliwości wyboru. Oto jak wymagania odpowiadają temu modelowi.

    1. Izolacja: każdy najemca odpowiada jednemu indeksowi. Dane uwierzytelniające wskazują na ARN tego indeksu, więc zapytanie fizycznie nie może trafić do innego indeksu, niezależnie od żądań aplikacji.
    2. Rezydencja: region jest wbudowany w ARN indeksu. Należy utrzymywać jeden kosz wektorów na każdy obsługiwany region oraz tworzyć indeks najemcy w koszu odpowiadającym nazwie jego umowy. Dla umów wymagających partycji działającej w UE, AWS European Sovereign Cloud oferuje również S3 Vectors. Wykazanie indeksów z każdego kosza pozwala na stworzenie raportu o rezydencji.
  • Możliwość usunięcia: ponieważ autor wybiera klucze wektorowe, można je utworzyć na podstawie identyfikatora dokumentu i zarejestrować podczas jego dodawania. Usunięcie dokumentu polega wtedy na wywołaniu DeleteVectors, a następnie GetVectors, który nie zwraca żadnych danych, a silna spójność gwarantuje natychmiastową wiarygodność tej braki.
  • Możliwość audytu: włączenie zdarzeń danych CloudTrail dla typu zasobu indeksu oznacza, że każde wezwanie rejestruje, kto je wykonał, kiedy, w odniesieniu do którego ARN indeksu i z jakim wynikiem. Aby dowiedzieć się, kto przeczytał tenanta A, wystarczy przefiltrować dane według ARN tego tenanta.
  • Pochodzenie: wszystko, co wraca z indeksu najemcy B, z definicji należy do B, więc nie jest potrzebna żadna etykieta najemcy. Identyfikator dokumentu i wersja to metadane filtrowalne pokazywane w cytacie. Tekst fragmentu jest przechowywany jako metadane niefiltrowalne i zwracany wraz z wektorem, co oznacza, że to właśnie ten fragment został faktycznie otrzymany przez model.
  • Ograniczenia związane z uczciwością: bez zmian, ponieważ model znajduje się poniżej granicy.
  • Czego granica nie robi

    Trzeci poziom określa, który użytkownik może uzyskać dostęp do jakich danych. Nie obejmuje on ról w ramach jednego użytkownika, sposobu, w jaki model radzi sobie z samym istnieniem ograniczonego dokumentu, ani jakości odpowiedzi w różnych językach. To kwestie związane z aplikacją, które pochłaniają większość czasu poświęconego na pracę inżynierską. Pokazany kod ma charakter ilustracyjny i wykorzystuje AWS SDK for JavaScript v3, dlatego nazwy parametrów należy sprawdzić w odniesieniu do aktualnej wersji SDK, a nazwy użytkowników, regionów oraz identyfikatory kont są tylko placeholderami.