Главная / Статьи

Изоляция арендаторов для RAG в Amazon S3 Vectors: почему важен ARN.

Почему индекс для каждого арендатора с собственным ARN превосходит фильтры метаданных для обеспечения изоляции, размещения, удаления, аудита и прослеживаемости данных уровня GDPR в Amazon S3 Vectors.

Издатель: REACTAPP.TOP7 мин чтения1602 слов

Источники: Multi-Tenant RAG on Amazon S3 Vectors - Part 1: The Isolation Model

Представьте себе продукт типа SaaS, предназначенный для государственных органов в ЕС. Каждый клиент является отдельным контролером данных в соответствии с GDPR, а встроенный ассистент отвечает на вопросы, основываясь на собственных материалах клиента: деловых документах, внутренних рекомендациях и действующем законодательстве. За всем этим стоит система RAG с сотнями пользователей, и здесь неверный ответ — это не просто неловкость, а нарушение, которого никто не замечает.

Вот как происходит ошибка. Один общий векторный индекс хранит все данные по каждому арендатору. Сотрудник, работающий с делом арендатора B, спрашивает, каковы критерии отбора для льготы, предусматривающей снижение рабочей способности. Среди наиболее близких по сходству результатов оказываются данные из медицинских записей заявителя арендатора A, поскольку поиск по сходству рассматривает эту фразу как единую тему, независимо от того, кто её написал. Модель отвечает правильно и указывает источники информации; третьим источником является медицинская история гражданина, хранящаяся в другой организации. Запрос возвращает код HTTP 200, и все панели управления остаются в зеленом цвете.

Ничто из этого не является проблемой модели. Модель сделала то, что ей было поручено. Настоящие вопросы заключаются в том, что именно ей предоставляется, и кто контролирует это.

Требования

Начните с законов, защищающих данные, и определите, что каждый из них требует от системы поиска, учитывая, что теперь данные хранятся в виде фрагментов в векторном индексе, а не в виде строк в таблице. Выделяются шесть требований, каждое из которых можно сформулировать так, чтобы его можно было проверить и представить аудитору: изоляция, проживание данных, возможность удаления, аудитируемость, происхождение данных и честные ограничения.

Два из этих требований часто путают. Происхождение данных позволяет определить, откуда они взялись, показывая пользователю на экране источник. Аудитируемость позволяет выяснить, кто читал данные, анализируя сами данные после их обработки. Это одна и та же система, но противоположные направления анализа.

Почему один арендатор — это просто, а сотни — нет

При наличии одного арендатора первые пять требований выполняются практически автоматически. Однако при наличии сотен арендаторов в одном индексе они соблюдаются только в том случае, если код приложения абсолютно корректен, причем каждый из арендаторов создает свои особые проблемы.

  • Изоляция сводится к условию WHERE tenant_id = ?, присоединяемому к каждому запросу. Даже при его отсутствии или при наличии ошибки, изменяющей его содержимое, поиск всё равно происходит.
  • Резидентство приводит к тому, что для всех пользователей используется один регион. Если в контракте тенанта указан другой регион, требуется второй хранилище, рассчитанное на одного клиента, и на практике к контракту добавляется примечание.
  • Возможность удаления означает поиск и удаление данных, помеченных идентификаторами тенанта и документа. Эффективность удаления зависит от качества меток и алгоритмов поиска, причем приблизительный поиск по ближайшему соседу не может подтвердить отсутствие данных.
  • Проверяемость основывается на журнале приложения. Провайдер может зафиксировать, что производился запрос к индексу, но не может определить, какие именно части данных были возвращены, поскольку арендатор представлял собой значение внутри запроса, а не отдельный ресурс. Только собственный журнал приложения об этом знает, и именно он находится под подозрением.
  • Происхождение зависит от тега tenant, указанного при вводе данных. У многих арендаторов может быть документ под названием «Руководство по льготам 2026», поэтому цитата считается достоверной только при наличии указания арендатора; неверный тег выглядит точно так же, как и верный.
  • Решение заключается в том, что уже рекомендуется в документации любого хранилища векторов: наличие разделения на партиторы, коллекции, индексы или схемы для каждого арендатора. Остается вопрос о том, какой тип разделения соответствует вышеуказанным требованиям, поскольку не каждый тип им их удовлетворяет. Вопрос стоимости, как обычно, возникает позже.

    Три места для установления границы

    Граница арендатора может находиться в трех местах, и они отличаются тем, кто их соблюдает, и тем, как происходит их нарушение.

    Фильтр в коде приложения

    Индекс является общим; каждый вектор содержит метаданные tenant_id, и каждый запрос фильтруется на его основе.

    await client.send(new QueryVectorsCommand({
      indexArn: SHARED_INDEX,
      queryVector: { float32: embedding },
      topK: 10,
      filter: { tenant_id: { $eq: "org-b" } },   // ← the boundary
    }));
    

    Ваш код является единственным механизмом контроля. При его сбое в качестве результата возвращается правдоподобный ответ с кодом HTTP 200, и ничто вне процесса не может отклонить его или зафиксировать ошибку.

    Структура, которую выбирает код приложения

    Каждый арендатор получает свой собственный индекс, таблицу, схему или коллекцию, и приложение определяет, какую из них использовать.

    const index = indexFor(session.tenantId);           // ← the boundary
    await client.send(new QueryVectorsCommand({ indexArn: index, ... }));
    

    Реализация контроля разделена между кодом, отвечающим за выбор индекса, и наличием соответствующих разрешений, настроенных в базе данных. Если функция indexFor возвращает неверное значение, запрос обрабатывается по индексу другого арендатора, в результате чего возвращаются данные неверного клиента, причем с кодом ответа HTTP 200. Это менее заметно, чем использование фильтров, но так же ошибочно. При наличии схемы для каждого арендатора в Postgres сама база данных отклоняет запросы к неверной схеме, что помогает. Однако разрешения по-прежнему принадлежат команде, а провайдер облачных услуг рассматривает весь кластер как единый ресурс, поэтому у него нет возможности отклонять запросы или вести логи по отдельным арендаторам.

    Ресурс, контроль над которым осуществляет провайдер

    У каждого арендатора есть индекс, являющийся первоклассным облачным ресурсом с собственным ARN, и учетные данные вызывающего пользователя соответствуют именно одному из них.

    {
      "Version": "2012-10-17",
      "Statement": [{
        "Effect": "Allow",
        "Action": ["s3vectors:QueryVectors", "s3vectors:GetVectors"],
        "Resource": "arn:aws:s3vectors:eu-west-1:123456789012:bucket/kb-eu-west-1/index/org-b"
      }]
    }
    

    IAM применяет это правило при каждом вызове, ещё до запуска сервиса. Та же ошибка indexFor теперь приводит к возникновению исключения AccessDeniedException, и ничего не возвращается, в то время как CloudTrail фиксирует отклонённую попытку для указанного ARN. Чем дальше происходит эта цепочка действий, тем заметнее становится сбой. На третьем уровне требуется одно свойство из хранилища, которое легко упустить: единица аренды должна иметь ARN.

    Почему ARN решает проблему

    Каждое заявление IAM представляет собой действие над ресурсом, причём этот ресурс — это ARN или звёздочка-маска. IAM может защищать только те объекты, у которых есть ARN, и CloudTrail следует тому же правилу, фиксируя вызовы API для ARN ресурсов.

    Amazon S3 Vectors присваивает каждому индексу ARN в формате arn:aws:s3vectors:<region>:<account>:bucket/<bucket>/index/<index>. Все операции с данными (PutVectors, QueryVectors, GetVectors, DeleteVectors и ListVectors) считаются действиями IAM в отношении этого ARN, а также событиями данных CloudTrail, зарегистрированными для него. Благодаря этому границы тенантов перемещаются с второго на третий уровень.

    Модель ресурсов и шесть требований

    S3 Vectors — это тип контейнера хранения, а не база данных. Контейнер векторов создается примерно так же, как обычный контейнер S3, и находится в одном регионе. Внутри него располагаются индексы; каждый индекс определяет определенную размерность, выбирает метрику расстояния и указывает, по каким ключам метаданных нельзя выполнять фильтрацию. Индекс хранит векторы, причем каждый вектор соединяет ключ, выбранный пользователем, с массивом чисел с плавающей точкой и метаданными, часть из которых поддается фильтрации. Вызов QueryVectors возвращает k ближайших векторов вместе с соответствующими метаданными.

    // Tenant onboarding = one call. No capacity to choose.
    await client.send(new CreateIndexCommand({
      vectorBucketName: "kb-eu-west-1",
      indexName: "org-b",
      dataType: "float32",
      dimension: 1024,                          // Titan Text Embeddings V2
      distanceMetric: "cosine",
      metadataConfiguration: {
        nonFilterableMetadataKeys: ["chunk_text"],   // stored and returned, never scanned or filtered
      },
    }));
    

    Процесс ввода арендатора в систему заключается в одном звонке без возможности выбора. Вот как требования соотносятся с моделью.

    1. Изоляция: каждый арендатор соответствует одному индексу. Учетные данные указывают на ARN этого индекса, поэтому запрос физически не может попасть в другой индекс, независимо от запросов приложения.
    2. Резидентство: регион закодирован в ARN индекса. Для каждого обслуживаемого региона сохраняется по одному векторному бакету, и индекс арендатора создается в бакете, соответствующем названию его контракта. Для контрактов, требующих разделения данных в регионе ЕС, AWS European Sovereign Cloud также предоставляет сервис S3 Vectors. Список индексов каждого бакета формирует отчет о резидентстве.
  • Возможность удаления: поскольку автор использует векторные ключи, их можно сгенерировать на основе идентификатора документа и зарегистрировать при его вводе. Для удаления документа сначала выполняется операция DeleteVectors, затем — GetVectors, который возвращает ничего, а строгая согласованность обеспечивает немедленную надежность этого отсутствия данных. Для удаления всего тенанта достаточно одной операции DeleteIndex.
  • Возможность аудита: включение событий данных CloudTrail для типа ресурса индекса позволяет записывать информацию о каждом вызове: кто его совершил, когда, по какому ARN индекса и с каким результатом. Чтобы узнать, кто прочитал тенант A, достаточно выполнить фильтрацию по его ARN.
  • Происхождение: всё, что возвращается из индекса арендатора B, по своей сути принадлежит B, поэтому тег арендатора не требуется. Идентификатор документа и версия — это фильтруемые метаданные, отображаемые в цитате. Текст фрагмента хранится как нифильтруемые метаданные и возвращается вместе с вектором, что означает, что цитируемый отрывок — это именно тот, который фактически получил модель.
  • Ограничения честности: остаются без изменений, поскольку модель находится ниже по потоку данных от границы.
  • Чего не делает граница

    Третий уровень определяет, какой арендатор может получить доступ к каким данным. Он не охватывает роли внутри арендатора, то, как модель обрабатывает сам факт наличия ограниченного документа, или качество ответов на разных языках. Это проблемы приложения, и на их решение тратится большая часть времени инженеров. Представленный код носит иллюстративный характер и использует AWS SDK для JavaScript v3; поэтому названия параметров следует проверять с учетом текущей версии SDK, а арендаторы, регионы и идентификаторы счетов являются местоимениями.

    Связанные материалы