Ізоляція орендарів для RAG у Amazon S3 Vectors: чому важливий ARN.
Чому індекс для кожного орендаря з власним ARN краще за фільтри метаданих для забезпечення ізоляції, резидентності, видалення, аудиту та простежуваності на рівні GDPR у Amazon S3 Vectors.
Джерела: Multi-Tenant RAG on Amazon S3 Vectors - Part 1: The Isolation Model
Уявіть собі продукт типу SaaS, призначений для державних установ ЄС. Кожен клієнт є окремим контролером даних згідно з GDPR, а вбудований асистент відповідає на основі власних матеріалів цього клієнта: справових документів, внутрішніх інструкцій та чинного законодавства. За цим стоїть система RAG із сотнями користувачів, і там неправильна відповідь — це не просто незручність. Це порушення, якого ніхто не помічає.
Ось як виникають проблеми. Один спільний індекс векторів зберігає всі фрагменти інформації кожного користувача. Спеціаліст з обробки заяв від користувача B запитує, які є критерії отримання допомоги для осіб із зниженою працездатністю. Серед найбільш схожих результатів опиняються фрагменти з записів справа заявника від користувача A, адже пошук за схожістю розглядає цей фразу як одну тему, незалежно від того, хто її написав. Модель правильно відповідає та наводить джерела інформації; третім джерелом є медична історія громадянина, яка зберігається в іншій організації. Дзвінок завершується кодом HTTP 200, і всі панелі керування залишаються у зеленому статусі.
Усе це не є проблемою моделі. Модель виконала те, що їй було доручено. Справжніми питаннями є те, що саме їй надається інформація та хто це контролює.
Вимоги
Почніть з законів, які захищають дані, та з’ясуйте, що кожен з них вимагає від системи пошуку, адже тепер дані зберігаються у вигляді фрагментів у векторному індексі, а не у вигляді рядків у таблиці. Виникає шість вимог, кожну з яких можна сформулювати так, щоб її можна було перевірити та представити аудиторові: ізоляція, резидентність, можливість видалення, підзвітність, походження та чесні обмеження.
Дві з цих вимог часто плутають. Походження вказує на джерело даного результату та повідомляє користувачеві на екрані, звідки він походить. Підзвітність вказує на самі дані та повідомляє аудиторові пізніше, хто їх читав. Це одна й та сама система, але протилежні напрямки.
Чому один користувач — це просто, а сотні — ні
З одним користувачем перші п’ять вимог майже автоматично дотримуються. Але при сотнях користувачів у одному індексі вони дотримуються лише за умови, що код програми абсолютно правильний, причому кожен з цих користувачів створює свої проблеми.
- Ізоляція зводиться до клозу
WHERE tenant_id = ?, який додається до кожного запиту. Якщо його пропустити, буде обраний неправильний користувач, або через баг цей клоз може бути змінений, проте пошук все одно відбудеться. - Резидентство зводиться до одного регіону для всіх. Користувач, чий контракт передбачає інший регіон, потребує другого сховища, розмір та оплата якого відповідають одному клієнту; на практиці такий контракт має лише примітку.
- Видаленість полягає у пошуку та видаленні фрагментів, позначених ідентифікатором користувача та документом. Ефективність видалення залежить від якості тегів чи алгоритму пошуку, а приблизний пошук найближчого сусіда не може підтвердити відсутність чогось.
tenant, який додається під час введення даних. Багато користувачів матимуть документ під назвою „Benefit guidance 2026“, тому посилання є достовірним лише за наявності відповідного користувача, а неправильний тег виглядає ідентично до правильного.Рішенням є те, що вже рекомендується в документації кожного сховища векторних даних: розділення на партіції, колекції, індекси чи схеми для кожного користувача. Залишається питання про те, який тип меж для кожного користувача відповідає вищезазначеним вимогам, адже не кожен тип підходить. Кошти, як зазвичай, є основною перешкодою, але про них йдеться пізніше.
Три місця для встановлення меж
Межі орендаря можуть знаходитися у трьох місцях, і вони відрізняються тим, хто їх застосовує та як вони можуть не спрацювати.
Фільтр у коді додатку
Індекс є спільним, кожен вектор містить метадані tenant_id, і кожен запит фільтрується за ними.
await client.send(new QueryVectorsCommand({
indexArn: SHARED_INDEX,
queryVector: { float32: embedding },
topK: 10,
filter: { tenant_id: { $eq: "org-b" } }, // ← the boundary
}));
Ваш код є єдиним механізмом контролю. Коли він зазнає невдачі, результатом є правдоподібна відповідь з кодом HTTP 200, і ніщо ззовні процесу не може відхилити її чи зафіксувати помилку.
Структура, яку обирає код додатку
Кожен користувач отримує власний індекс, таблицю, схему чи колекцію, а додаток вирішує, яку з них використати.
const index = indexFor(session.tenantId); // ← the boundary
await client.send(new QueryVectorsCommand({ indexArn: index, ... }));
Забезпечення дотримання правил розділене між кодом, який вибирає індекс, та наявними у базі даних правами доступу. Якщо indexFor повертає неправильне значення, запит виконується щодо індексу іншого користувача, і повертаються дані неправильного клієнта, знову з кодом HTTP 200. Це менш помітно, ніж використання фільтра, але так само помилково. За наявності схеми для кожного користувача в Postgres сама база даних відмовляє у читанні з неправильної схеми, що допомагає. Проте права доступу все одно належать команді, а постачальник хмарних послуг розглядає один кластер як один ресурс, тож немає нічого, що можна було б відмовити чи задокументувати окремо для кожного користувача.
Ресурс, який контролюється постачальником
Кожен користувач має індекс, який є ресурсом хмарних послуг першого класу з власним ARN, і облікові дані запитувача відповідають саме одному з них.
{
"Version": "2012-10-17",
"Statement": [{
"Effect": "Allow",
"Action": ["s3vectors:QueryVectors", "s3vectors:GetVectors"],
"Resource": "arn:aws:s3vectors:eu-west-1:123456789012:bucket/kb-eu-west-1/index/org-b"
}]
}
IAM застосовує це правило під час кожного виклику, ще до того, як послуга почне працювати. Та сама помилка indexFor тепер призводить до виникнення AccessDeniedException, і нічого не повертається, тоді як CloudTrail фіксує відхилену спробу щодо запитаного ARN. Чим далі ми рухаємося по цій ієрархії, тим помітнішою стає несправність. На третьому рівні потрібна одна властивість з бази даних, яку легко пропустити: одиниця оренди має мати ARN.
Чому саме ARN вирішує це питання
Кожне речення IAM — це дія щодо ресурсу, а ресурсом є ARN або шаблон. IAM може захищати лише ті об’єкти, які мають ARN, і CloudTrail дотримується того ж правила, фіксуючи виклики API щодо ARN ресурсів.
Amazon S3 Vectors надає кожному індексу ARN у форматі arn:aws:s3vectors:<region>:<account>:bucket/<bucket>/index/<index>. Усі операції з обробкою даних (PutVectors, QueryVectors, GetVectors, DeleteVectors та ListVectors) вважаються діями IAM щодо цього ARN та подіями даних CloudTrail, зареєстрованими для нього. Ця деталь піднімає межу тенанта з другого на третій рівень.
Модель ресурсів та шість вимог
S3 Vectors — це тип контейнера для зберігання, а не база даних. Контейнер векторів створюється приблизно так само, як звичайний контейнер S3, і знаходиться в одному регіоні. Усередині нього розташовані індекси; кожен індекс визначає певний вимір, обирає метрику відстані та вказує, які ключі метаданих не можна фільтрувати. Індекс зберігає вектори, причому кожен вектор поєднує ключ, обраний користувачем, з масивом чисел типу float та метаданими, частина з яких піддається фільтрації. Функція QueryVectors повертає k найближчих векторів разом із відповідними метаданими.
// Tenant onboarding = one call. No capacity to choose.
await client.send(new CreateIndexCommand({
vectorBucketName: "kb-eu-west-1",
indexName: "org-b",
dataType: "float32",
dimension: 1024, // Titan Text Embeddings V2
distanceMetric: "cosine",
metadataConfiguration: {
nonFilterableMetadataKeys: ["chunk_text"], // stored and returned, never scanned or filtered
},
}));
Інтеграція орендаря здійснюється за допомогою одного дзвінка без можливості вибору. Ось як вимоги відповідають цій моделі.
- Ізоляція: кожен орендар відповідає одному індексу. Креденціали вказують на ARN цього індексу, тому запит фізично не може потрапити до іншого індексу, незалежно від запиту застосунку.
- Резидентство: регіон вбудований у ARN індексу. Зберігайте по одному векторному бакету на кожен обслуговуваний регіон та створюйте індекс орендаря у бакеті, назва якого збігається з назвою його контракту. Для контрактів, які потребують розділення, що працює в ЄС, AWS European Sovereign Cloud також пропонує S3 Vectors. Список індексів кожного бакета дозволяє створити звіт про резидентство.
DeleteVectors, а потім — GetVectors, який не повертає жодних даних; завдяки сильній консистентності ця відсутність даних є негайно надійною. Для видалення всього тенанта достатньо однієї операції DeleteIndex.Що не робить межа
Третій рівень визначає, який орендар може отримати доступ до яких даних. Він не охоплює ролі всередині орендаря, те, як модель поводиться з простим існуванням обмеженого документа, чи якість відповідей у різних мовах. Це проблеми самого додатку, і саме вони займають більшу частину часу на розробку. Показаний код є ілюстративним та використовує AWS SDK для JavaScript v3, тому назви параметрів слід перевіряти з поточною версією SDK, а ідентифікатори орендарів, регіонів та облікових записів є замінниками.
Пов’язана література
- Створення системи Multi-Tenant RAG на Amazon S3 Vectors: концепція та підхід — проектування індексу для кожного орендаря на S3 Vectors: обмежені облікові дані STS, видалення даних за ключами, аудит через CloudTrail та обмеження ізоляції, які все ще існують у коді додатку.
- Гібридний пошук у RAG: практичне застосування фузії BM25, векторів та коефіцієнта взаємності — Чому RAG, що використовує лише вектори, втрачає точні ідентифікатори, як RRF поєднує BM25 з ембеддингами, де гібридний пошук дає гірші результати та чому фільтри метаданих мають передувати фузії. —
- Чому ми зберігаємо вектори, а не ваші документи: це майже ніколи не є правдою — Системи пошуку зберігають ваш текст поруч із його ембеддингами. Дізнайтеся, як працює розділення на частини, чому інформація про конфіденційність вводить в оману, та три ключові запитання до постачальників, які дають відповідь.