Изоляция арендаторов для RAG в Amazon S3 Vectors: почему важен ARN.
Почему индекс для каждого арендатора с собственным ARN превосходит фильтры метаданных для обеспечения изоляции, размещения, удаления, аудита и прослеживаемости данных уровня GDPR в Amazon S3 Vectors.
Источники: Multi-Tenant RAG on Amazon S3 Vectors - Part 1: The Isolation Model
Представьте себе продукт типа SaaS, предназначенный для государственных органов в ЕС. Каждый клиент является отдельным контролером данных в соответствии с GDPR, а встроенный ассистент отвечает на вопросы, основываясь на собственных материалах клиента: деловых документах, внутренних рекомендациях и действующем законодательстве. За всем этим стоит система RAG с сотнями пользователей, и здесь неверный ответ — это не просто неловкость, а нарушение, которого никто не замечает.
Вот как происходит ошибка. Один общий векторный индекс хранит все данные по каждому арендатору. Сотрудник, работающий с делом арендатора B, спрашивает, каковы критерии отбора для льготы, предусматривающей снижение рабочей способности. Среди наиболее близких по сходству результатов оказываются данные из медицинских записей заявителя арендатора A, поскольку поиск по сходству рассматривает эту фразу как единую тему, независимо от того, кто её написал. Модель отвечает правильно и указывает источники информации; третьим источником является медицинская история гражданина, хранящаяся в другой организации. Запрос возвращает код HTTP 200, и все панели управления остаются в зеленом цвете.
Ничто из этого не является проблемой модели. Модель сделала то, что ей было поручено. Настоящие вопросы заключаются в том, что именно ей предоставляется, и кто контролирует это.
Требования
Начните с законов, защищающих данные, и определите, что каждый из них требует от системы поиска, учитывая, что теперь данные хранятся в виде фрагментов в векторном индексе, а не в виде строк в таблице. Выделяются шесть требований, каждое из которых можно сформулировать так, чтобы его можно было проверить и представить аудитору: изоляция, проживание данных, возможность удаления, аудитируемость, происхождение данных и честные ограничения.
Два из этих требований часто путают. Происхождение данных позволяет определить, откуда они взялись, показывая пользователю на экране источник. Аудитируемость позволяет выяснить, кто читал данные, анализируя сами данные после их обработки. Это одна и та же система, но противоположные направления анализа.
Почему один арендатор — это просто, а сотни — нет
При наличии одного арендатора первые пять требований выполняются практически автоматически. Однако при наличии сотен арендаторов в одном индексе они соблюдаются только в том случае, если код приложения абсолютно корректен, причем каждый из арендаторов создает свои особые проблемы.
- Изоляция сводится к условию
WHERE tenant_id = ?, присоединяемому к каждому запросу. Даже при его отсутствии или при наличии ошибки, изменяющей его содержимое, поиск всё равно происходит. - Резидентство приводит к тому, что для всех пользователей используется один регион. Если в контракте тенанта указан другой регион, требуется второй хранилище, рассчитанное на одного клиента, и на практике к контракту добавляется примечание.
- Возможность удаления означает поиск и удаление данных, помеченных идентификаторами тенанта и документа. Эффективность удаления зависит от качества меток и алгоритмов поиска, причем приблизительный поиск по ближайшему соседу не может подтвердить отсутствие данных.
tenant, указанного при вводе данных. У многих арендаторов может быть документ под названием «Руководство по льготам 2026», поэтому цитата считается достоверной только при наличии указания арендатора; неверный тег выглядит точно так же, как и верный.Решение заключается в том, что уже рекомендуется в документации любого хранилища векторов: наличие разделения на партиторы, коллекции, индексы или схемы для каждого арендатора. Остается вопрос о том, какой тип разделения соответствует вышеуказанным требованиям, поскольку не каждый тип им их удовлетворяет. Вопрос стоимости, как обычно, возникает позже.
Три места для установления границы
Граница арендатора может находиться в трех местах, и они отличаются тем, кто их соблюдает, и тем, как происходит их нарушение.
Фильтр в коде приложения
Индекс является общим; каждый вектор содержит метаданные tenant_id, и каждый запрос фильтруется на его основе.
await client.send(new QueryVectorsCommand({
indexArn: SHARED_INDEX,
queryVector: { float32: embedding },
topK: 10,
filter: { tenant_id: { $eq: "org-b" } }, // ← the boundary
}));
Ваш код является единственным механизмом контроля. При его сбое в качестве результата возвращается правдоподобный ответ с кодом HTTP 200, и ничто вне процесса не может отклонить его или зафиксировать ошибку.
Структура, которую выбирает код приложения
Каждый арендатор получает свой собственный индекс, таблицу, схему или коллекцию, и приложение определяет, какую из них использовать.
const index = indexFor(session.tenantId); // ← the boundary
await client.send(new QueryVectorsCommand({ indexArn: index, ... }));
Реализация контроля разделена между кодом, отвечающим за выбор индекса, и наличием соответствующих разрешений, настроенных в базе данных. Если функция indexFor возвращает неверное значение, запрос обрабатывается по индексу другого арендатора, в результате чего возвращаются данные неверного клиента, причем с кодом ответа HTTP 200. Это менее заметно, чем использование фильтров, но так же ошибочно. При наличии схемы для каждого арендатора в Postgres сама база данных отклоняет запросы к неверной схеме, что помогает. Однако разрешения по-прежнему принадлежат команде, а провайдер облачных услуг рассматривает весь кластер как единый ресурс, поэтому у него нет возможности отклонять запросы или вести логи по отдельным арендаторам.
Ресурс, контроль над которым осуществляет провайдер
У каждого арендатора есть индекс, являющийся первоклассным облачным ресурсом с собственным ARN, и учетные данные вызывающего пользователя соответствуют именно одному из них.
{
"Version": "2012-10-17",
"Statement": [{
"Effect": "Allow",
"Action": ["s3vectors:QueryVectors", "s3vectors:GetVectors"],
"Resource": "arn:aws:s3vectors:eu-west-1:123456789012:bucket/kb-eu-west-1/index/org-b"
}]
}
IAM применяет это правило при каждом вызове, ещё до запуска сервиса. Та же ошибка indexFor теперь приводит к возникновению исключения AccessDeniedException, и ничего не возвращается, в то время как CloudTrail фиксирует отклонённую попытку для указанного ARN. Чем дальше происходит эта цепочка действий, тем заметнее становится сбой. На третьем уровне требуется одно свойство из хранилища, которое легко упустить: единица аренды должна иметь ARN.
Почему ARN решает проблему
Каждое заявление IAM представляет собой действие над ресурсом, причём этот ресурс — это ARN или звёздочка-маска. IAM может защищать только те объекты, у которых есть ARN, и CloudTrail следует тому же правилу, фиксируя вызовы API для ARN ресурсов.
Amazon S3 Vectors присваивает каждому индексу ARN в формате arn:aws:s3vectors:<region>:<account>:bucket/<bucket>/index/<index>. Все операции с данными (PutVectors, QueryVectors, GetVectors, DeleteVectors и ListVectors) считаются действиями IAM в отношении этого ARN, а также событиями данных CloudTrail, зарегистрированными для него. Благодаря этому границы тенантов перемещаются с второго на третий уровень.
Модель ресурсов и шесть требований
S3 Vectors — это тип контейнера хранения, а не база данных. Контейнер векторов создается примерно так же, как обычный контейнер S3, и находится в одном регионе. Внутри него располагаются индексы; каждый индекс определяет определенную размерность, выбирает метрику расстояния и указывает, по каким ключам метаданных нельзя выполнять фильтрацию. Индекс хранит векторы, причем каждый вектор соединяет ключ, выбранный пользователем, с массивом чисел с плавающей точкой и метаданными, часть из которых поддается фильтрации. Вызов QueryVectors возвращает k ближайших векторов вместе с соответствующими метаданными.
// Tenant onboarding = one call. No capacity to choose.
await client.send(new CreateIndexCommand({
vectorBucketName: "kb-eu-west-1",
indexName: "org-b",
dataType: "float32",
dimension: 1024, // Titan Text Embeddings V2
distanceMetric: "cosine",
metadataConfiguration: {
nonFilterableMetadataKeys: ["chunk_text"], // stored and returned, never scanned or filtered
},
}));
Процесс ввода арендатора в систему заключается в одном звонке без возможности выбора. Вот как требования соотносятся с моделью.
- Изоляция: каждый арендатор соответствует одному индексу. Учетные данные указывают на ARN этого индекса, поэтому запрос физически не может попасть в другой индекс, независимо от запросов приложения.
- Резидентство: регион закодирован в ARN индекса. Для каждого обслуживаемого региона сохраняется по одному векторному бакету, и индекс арендатора создается в бакете, соответствующем названию его контракта. Для контрактов, требующих разделения данных в регионе ЕС, AWS European Sovereign Cloud также предоставляет сервис S3 Vectors. Список индексов каждого бакета формирует отчет о резидентстве.
DeleteVectors, затем — GetVectors, который возвращает ничего, а строгая согласованность обеспечивает немедленную надежность этого отсутствия данных. Для удаления всего тенанта достаточно одной операции DeleteIndex.Чего не делает граница
Третий уровень определяет, какой арендатор может получить доступ к каким данным. Он не охватывает роли внутри арендатора, то, как модель обрабатывает сам факт наличия ограниченного документа, или качество ответов на разных языках. Это проблемы приложения, и на их решение тратится большая часть времени инженеров. Представленный код носит иллюстративный характер и использует AWS SDK для JavaScript v3; поэтому названия параметров следует проверять с учетом текущей версии SDK, а арендаторы, регионы и идентификаторы счетов являются местоимениями.
Связанные материалы
- Создание системы Multi-Tenant RAG на Amazon S3 Vectors: архитектура pipeline — дизайн индекса для каждого арендатора в S3 Vectors: узкоспециализированные учетные данные STS, удаление данных по ключам, аудит через CloudTrail и ограничения изоляции, которые по-прежнему присутствуют в коде приложения.
- Гибридный поиск в RAG: практическое применение BM25, векторов и метода взаимного рангинга — почему RAG, основанный исключительно на векторах, теряет точные идентификаторы, как метод RRF объединяет BM25 с эмбеддингами, в каких случаях гибридный поиск дает низкую производительность и почему фильтры метаданных должны применяться до объединения данных. —
- Почему мы храним векторы, а не ваши документы: почему это почти никогда не верно — системы поиска хранят ваш текст рядом с его эмбеддингами. Узнайте, как работает разбиение на чанки, почему мифы о конфиденциальности вводят в заблуждение, и три ключевых вопроса, которые помогут разобраться в ситуации.