Izolacja najemców w RAG w Amazon S3 Vectors: Dlaczego ARN ma znaczenie
Dlaczego indeks dla każdego najemcy z własnym ARN jest lepszy od filtrów metadanych pod względem izolacji, rezydencji, usuwania danych, audytu i śledzenia pochodzenia w standardzie GDPR w Amazon S3 Vectors.
Źródła: Multi-Tenant RAG on Amazon S3 Vectors - Part 1: The Isolation Model
Załóżmy produkt typu SaaS skierowany do instytucji publicznych w UE. Każdy klient jest odrębnym administratorem danych zgodnie z GDPR, a wbudowany asystent odpowiada na podstawie materiałów należących bezpośrednio do tego klienta: akt spraw, wewnętrznych wytycznych oraz obowiązujących przepisów prawa. Za nim znajduje się system RAG z setkami użytkowników, gdzie błędna odpowiedź to nie tylko kłopot – to naruszenie, którego nikt nie zauważy.
Oto jak to się źle kończy. Jeden wspólny indeks wektorowy przechowuje wszystkie fragmenty danych każdego najemcy. Pracownik zajmujący się sprawami najemcy B pyta o kryteria uprawniające do świadczenia przy zmniejszonej zdolności do pracy. Wśród najbliższych wyników znajdują się fragmenty z notatek dotyczących sprawy aplikanta z najemcy A, ponieważ wyszukiwanie podobieństw traktuje tę frazę jako jeden temat, niezależnie od tego, kto ją napisał. Model odpowiada poprawnie i wymienia swoje źródła, a trzecim źródłem jest historia medyczna obywatela przechowywana przez inną organizację. Rozmowa kończy się kodem HTTP 200, a wszystkie panele kontrolne pozostają w kolorze zielonym.
To nie jest problem modelu – model zrobił to, co mu zostało poleczone. Prawdziwe pytania dotyczą tego, co mu jest dostarczane i kto to kontroluje.
Wymagania
Wychodząc od przepisów chroniących dane, należy zastanowić się, co każdy z nich wymaga od systemu wyszukiwania, skoro dane znajdują się teraz w postaci fragmentów w indeksie wektorowym, a nie już w wierszach tabeli. Wynika sześć wymagań, z których każde można sformułować w taki sposób, by można je było przetestować i przedstawić audytorowi: izolacja, rezydencja, możliwość usunięcia, możliwość audytu, pochodzenie danych oraz uczciwe ograniczenia.
Dwa z nich są często mylone. Pochodzenie danych pokazuje, skąd pochodzi odpowiedź, informując użytkownika na ekranie o jej źródle. Możliwość audytu natomiast analizuje same dane i później informuje audytora, kto je przeczytał. To ten sam system, ale różne kierunki analizy.
Dlaczego jeden użytkownik to proste, a setki – nie
W przypadku jednego użytkownika pierwsze pięć wymagań jest niemal bezkosztowe. Gdy w jednym indeksie znajduje się setki użytkowników, są one spełniane tylko wtedy, gdy kod aplikacji jest idealny, a każdy z nich powoduje problemy na swój sposób.
- Izolacja sprowadza się do klauzuli
WHERE tenant_id = ?dołączonej do każdej zapytania. Nawet jeśli zostanie pominięta, błędnie wybrany zostanie tenant, lub błąd może to zmienić, ale wyszukiwanie nadal ma miejsce. - Rezydencja sprowadza się do jednego regionu dla wszystkich. Tenant, którego umowa dotyczy innego regionu, wymaga drugiego magazynu dostosowanego rozmiarem i opłacanego jak dla jednego klienta, a w praktyce umowa otrzymuje przypis na dole strony.
- Możliwość usunięcia polega na znajdowaniu i usuwaniu fragmentów oznaczonych tenantem i dokumentem. Usunięcie jest tak skuteczne, jak tylko tagi lub wyszukiwanie, a przybliżone wyszukiwanie najbliższego sąsiada nie może potwierdzić braku czegoś.
tenant dodanego podczas importu danych. Wielu użytkowników będzie miało dokument o nazwie „Benefit guidance 2026”, więc odniesienie do niego jest prawidłowe tylko wtedy, gdy do niego dołączony jest odpowiedni użytkownik, a błędny tag wygląda identycznie jak prawidłowy.Rozwiązaniem jest to, co już zaleca dokumentacja każdego magazynu wektorowego: podział na partycje, kolekcje, indeksy lub schematy dla każdego użytkownika. Pozostaje pytanie, jaki rodzaj granicy dla poszczególnych użytkowników spełnia powyższe wymagania, ponieważ nie każdy z nich je spełnia. Koszt, co jest typowym zarzutem, pojawia się później.
Trzy miejsca, gdzie należy wyznaczyć granicę
Granica wynajmującego może istnieć w trzech miejscach, a różnią się one tym, kto je egzekwuje oraz w jaki sposób mogą zostać złamane.
Filtr w kodzie aplikacji
Indeks jest współdzielony, każdy wektor zawiera metadane tenant_id, a każde zapytanie filtrowane jest na ich podstawie.
await client.send(new QueryVectorsCommand({
indexArn: SHARED_INDEX,
queryVector: { float32: embedding },
topK: 10,
filter: { tenant_id: { $eq: "org-b" } }, // ← the boundary
}));
Twój kod jest jedynym narzędziem do egzekwowania zasad. Gdy zawiedzie, rezultatem jest wiarygodna odpowiedź z kodem HTTP 200, a nic poza tym procesem nie może odrzucić tej odpowiedzi ani zarejestrować błędu.
Struktura wybierana przez kod aplikacji
Każdy użytkownik otrzymuje swój własny indeks, tabelę, schemat lub zbiór, a aplikacja decyduje, który z nich użyć.
const index = indexFor(session.tenantId); // ← the boundary
await client.send(new QueryVectorsCommand({ indexArn: index, ... }));
Wymuszanie jest rozdzielone pomiędzy kod, który wybiera indeks, a w przypadku bazy danych – uprawnieniami, które zostały skonfigurowane. Jeśli indexFor zwróci niewłaściłą wartość, zapytanie zostanie wykonane wobec indeksu innego użytkownika i zwróci dane niewłaściwego klienta, ponownie z kodem HTTP 200. Jest to mniej widoczne niż filtr, ale równie błędne. W przypadku schematu dla każdego użytkownika w Postgresie sama baza danych odrzuca odczyt z niewłaściwego schematu, co pomaga. Uprawnienia pozostają jednak własnością zespołu, a dostawca chmury traktuje jeden klastr jako jeden zasób, nie mając nic do odrzucenia ani nic do zapisywania dla poszczególnych użytkowników.
Zasób, który wymusza dostawca
Każdy użytkownik ma indeks, który stanowi zasób chmurowy pierwszej klasy z własnym ARN, a dane uwierzytelniające żądającego odnoszą się dokładnie do jednego z nich.
{
"Version": "2012-10-17",
"Statement": [{
"Effect": "Allow",
"Action": ["s3vectors:QueryVectors", "s3vectors:GetVectors"],
"Resource": "arn:aws:s3vectors:eu-west-1:123456789012:bucket/kb-eu-west-1/index/org-b"
}]
}
IAM egzekwuje to przy każdym połączeniu, jeszcze przed uruchomieniem usługi. Ten sam błąd indexFor teraz skutkuje wywołaniem AccessDeniedException i nic nie jest zwracane, podczas gdy CloudTrail rejestruje odrzuconą próbę w odniesieniu do zapytanego ARN. Im wyżej na tej skali, tym głośniejszy staje się błąd. Trzeci poziom wymaga jednej właściwości z magazynu, której łatwo nie zauważyć: jednostka wynajmu musi mieć ARN.
Dlaczego to ARN rozstrzyga sprawę
Każde oświadczenie IAM to działanie na zasobie, a zasób to ARN lub znak zastępczy. IAM może chronić tylko te elementy, które mają ARN, a CloudTrail stosuje tę samą zasadę, rejestrując wywołania API w odniesieniu do ARN zasobów.
Amazon S3 Vectors przypisuje każdemu indeksowi ARN o strukturze arn:aws:s3vectors:<region>:<account>:bucket/<bucket>/index/<index>. Wszystkie operacje na poziomie danych (PutVectors, QueryVectors, GetVectors, DeleteVectors oraz ListVectors) są traktowane jako działania IAM dotyczące tego ARN oraz jako zdarzenia danych CloudTrail zapisane w jego związku. Dzięki temu granica między użytkownikami przenosi się z drugiego na trzeci poziom.
Model zasobów i sześć wymagań
S3 Vectors to typ pojemnika przechowawczego, a nie baza danych. Pojemnik wektorowy jest tworzony w podobny sposób jak zwykły pojemnik S3 i znajduje się w jednym regionie. W jego wnętrzu znajdują się indeksy, z których każdy określa wymiar, wybiera miarę odległości oraz wskazuje, jakie klucze metadanych nie mogą być filtrowane. Indeks przechowuje wektory, a każdy wektor łączy wybrany przez użytkownika klucz z tablicą liczb zmiennoprzecinkowych oraz metadanymi, z których część może być filtrowana. Wywołanie QueryVectors zwraca k-k najbliższych wektorów wraz z tymi metadanymi.
// Tenant onboarding = one call. No capacity to choose.
await client.send(new CreateIndexCommand({
vectorBucketName: "kb-eu-west-1",
indexName: "org-b",
dataType: "float32",
dimension: 1024, // Titan Text Embeddings V2
distanceMetric: "cosine",
metadataConfiguration: {
nonFilterableMetadataKeys: ["chunk_text"], // stored and returned, never scanned or filtered
},
}));
Proces włączania najemcy polega na jednym połączeniu telefonicznym i nie ma możliwości wyboru. Oto jak wymagania odpowiadają temu modelowi.
- Izolacja: każdy najemca odpowiada jednemu indeksowi. Dane uwierzytelniające wskazują na ARN tego indeksu, więc zapytanie fizycznie nie może trafić do innego indeksu, niezależnie od żądań aplikacji.
- Rezydencja: region jest wbudowany w ARN indeksu. Należy utrzymywać jeden kosz wektorów na każdy obsługiwany region oraz tworzyć indeks najemcy w koszu odpowiadającym nazwie jego umowy. Dla umów wymagających partycji działającej w UE, AWS European Sovereign Cloud oferuje również S3 Vectors. Wykazanie indeksów z każdego kosza pozwala na stworzenie raportu o rezydencji.
DeleteVectors, a następnie GetVectors, który nie zwraca żadnych danych, a silna spójność gwarantuje natychmiastową wiarygodność tej braki.Czego granica nie robi
Trzeci poziom określa, który użytkownik może uzyskać dostęp do jakich danych. Nie obejmuje on ról w ramach jednego użytkownika, sposobu, w jaki model radzi sobie z samym istnieniem ograniczonego dokumentu, ani jakości odpowiedzi w różnych językach. To kwestie związane z aplikacją, które pochłaniają większość czasu poświęconego na pracę inżynierską. Pokazany kod ma charakter ilustracyjny i wykorzystuje AWS SDK for JavaScript v3, dlatego nazwy parametrów należy sprawdzić w odniesieniu do aktualnej wersji SDK, a nazwy użytkowników, regionów oraz identyfikatory kont są tylko placeholderami.