Головна / Статті

Ізоляція орендарів для RAG у Amazon S3 Vectors: чому важливий ARN.

Чому індекс для кожного орендаря з власним ARN краще за фільтри метаданих для забезпечення ізоляції, резидентності, видалення, аудиту та простежуваності на рівні GDPR у Amazon S3 Vectors.

Видавець: REACTAPP.TOP7 хв читання1602 слів

Джерела: Multi-Tenant RAG on Amazon S3 Vectors - Part 1: The Isolation Model

Уявіть собі продукт типу SaaS, призначений для державних установ ЄС. Кожен клієнт є окремим контролером даних згідно з GDPR, а вбудований асистент відповідає на основі власних матеріалів цього клієнта: справових документів, внутрішніх інструкцій та чинного законодавства. За цим стоїть система RAG із сотнями користувачів, і там неправильна відповідь — це не просто незручність. Це порушення, якого ніхто не помічає.

Ось як виникають проблеми. Один спільний індекс векторів зберігає всі фрагменти інформації кожного користувача. Спеціаліст з обробки заяв від користувача B запитує, які є критерії отримання допомоги для осіб із зниженою працездатністю. Серед найбільш схожих результатів опиняються фрагменти з записів справа заявника від користувача A, адже пошук за схожістю розглядає цей фразу як одну тему, незалежно від того, хто її написав. Модель правильно відповідає та наводить джерела інформації; третім джерелом є медична історія громадянина, яка зберігається в іншій організації. Дзвінок завершується кодом HTTP 200, і всі панелі керування залишаються у зеленому статусі.

Усе це не є проблемою моделі. Модель виконала те, що їй було доручено. Справжніми питаннями є те, що саме їй надається інформація та хто це контролює.

Вимоги

Почніть з законів, які захищають дані, та з’ясуйте, що кожен з них вимагає від системи пошуку, адже тепер дані зберігаються у вигляді фрагментів у векторному індексі, а не у вигляді рядків у таблиці. Виникає шість вимог, кожну з яких можна сформулювати так, щоб її можна було перевірити та представити аудиторові: ізоляція, резидентність, можливість видалення, підзвітність, походження та чесні обмеження.

Дві з цих вимог часто плутають. Походження вказує на джерело даного результату та повідомляє користувачеві на екрані, звідки він походить. Підзвітність вказує на самі дані та повідомляє аудиторові пізніше, хто їх читав. Це одна й та сама система, але протилежні напрямки.

Чому один користувач — це просто, а сотні — ні

З одним користувачем перші п’ять вимог майже автоматично дотримуються. Але при сотнях користувачів у одному індексі вони дотримуються лише за умови, що код програми абсолютно правильний, причому кожен з цих користувачів створює свої проблеми.

  • Ізоляція зводиться до клозу WHERE tenant_id = ?, який додається до кожного запиту. Якщо його пропустити, буде обраний неправильний користувач, або через баг цей клоз може бути змінений, проте пошук все одно відбудеться.
  • Резидентство зводиться до одного регіону для всіх. Користувач, чий контракт передбачає інший регіон, потребує другого сховища, розмір та оплата якого відповідають одному клієнту; на практиці такий контракт має лише примітку.
  • Видаленість полягає у пошуку та видаленні фрагментів, позначених ідентифікатором користувача та документом. Ефективність видалення залежить від якості тегів чи алгоритму пошуку, а приблизний пошук найближчого сусіда не може підтвердити відсутність чогось.
  • Підзвітність ґрунтується на журналі діяльності додатку. Постачальник може зафіксувати, що відбувалося запит до індексу, але не може визначити, які саме частини даних були отримані, оскільки користувач був значенням у запиті, а не ресурсом. Лише власний журнал додатку знає цю інформацію, і саме він опиняється під підозрою.
  • Походження залежить від тега tenant, який додається під час введення даних. Багато користувачів матимуть документ під назвою „Benefit guidance 2026“, тому посилання є достовірним лише за наявності відповідного користувача, а неправильний тег виглядає ідентично до правильного.
  • Рішенням є те, що вже рекомендується в документації кожного сховища векторних даних: розділення на партіції, колекції, індекси чи схеми для кожного користувача. Залишається питання про те, який тип меж для кожного користувача відповідає вищезазначеним вимогам, адже не кожен тип підходить. Кошти, як зазвичай, є основною перешкодою, але про них йдеться пізніше.

    Три місця для встановлення меж

    Межі орендаря можуть знаходитися у трьох місцях, і вони відрізняються тим, хто їх застосовує та як вони можуть не спрацювати.

    Фільтр у коді додатку

    Індекс є спільним, кожен вектор містить метадані tenant_id, і кожен запит фільтрується за ними.

    await client.send(new QueryVectorsCommand({
      indexArn: SHARED_INDEX,
      queryVector: { float32: embedding },
      topK: 10,
      filter: { tenant_id: { $eq: "org-b" } },   // ← the boundary
    }));
    

    Ваш код є єдиним механізмом контролю. Коли він зазнає невдачі, результатом є правдоподібна відповідь з кодом HTTP 200, і ніщо ззовні процесу не може відхилити її чи зафіксувати помилку.

    Структура, яку обирає код додатку

    Кожен користувач отримує власний індекс, таблицю, схему чи колекцію, а додаток вирішує, яку з них використати.

    const index = indexFor(session.tenantId);           // ← the boundary
    await client.send(new QueryVectorsCommand({ indexArn: index, ... }));
    

    Забезпечення дотримання правил розділене між кодом, який вибирає індекс, та наявними у базі даних правами доступу. Якщо indexFor повертає неправильне значення, запит виконується щодо індексу іншого користувача, і повертаються дані неправильного клієнта, знову з кодом HTTP 200. Це менш помітно, ніж використання фільтра, але так само помилково. За наявності схеми для кожного користувача в Postgres сама база даних відмовляє у читанні з неправильної схеми, що допомагає. Проте права доступу все одно належать команді, а постачальник хмарних послуг розглядає один кластер як один ресурс, тож немає нічого, що можна було б відмовити чи задокументувати окремо для кожного користувача.

    Ресурс, який контролюється постачальником

    Кожен користувач має індекс, який є ресурсом хмарних послуг першого класу з власним ARN, і облікові дані запитувача відповідають саме одному з них.

    {
      "Version": "2012-10-17",
      "Statement": [{
        "Effect": "Allow",
        "Action": ["s3vectors:QueryVectors", "s3vectors:GetVectors"],
        "Resource": "arn:aws:s3vectors:eu-west-1:123456789012:bucket/kb-eu-west-1/index/org-b"
      }]
    }
    

    IAM застосовує це правило під час кожного виклику, ще до того, як послуга почне працювати. Та сама помилка indexFor тепер призводить до виникнення AccessDeniedException, і нічого не повертається, тоді як CloudTrail фіксує відхилену спробу щодо запитаного ARN. Чим далі ми рухаємося по цій ієрархії, тим помітнішою стає несправність. На третьому рівні потрібна одна властивість з бази даних, яку легко пропустити: одиниця оренди має мати ARN.

    Чому саме ARN вирішує це питання

    Кожне речення IAM — це дія щодо ресурсу, а ресурсом є ARN або шаблон. IAM може захищати лише ті об’єкти, які мають ARN, і CloudTrail дотримується того ж правила, фіксуючи виклики API щодо ARN ресурсів.

    Amazon S3 Vectors надає кожному індексу ARN у форматі arn:aws:s3vectors:<region>:<account>:bucket/<bucket>/index/<index>. Усі операції з обробкою даних (PutVectors, QueryVectors, GetVectors, DeleteVectors та ListVectors) вважаються діями IAM щодо цього ARN та подіями даних CloudTrail, зареєстрованими для нього. Ця деталь піднімає межу тенанта з другого на третій рівень.

    Модель ресурсів та шість вимог

    S3 Vectors — це тип контейнера для зберігання, а не база даних. Контейнер векторів створюється приблизно так само, як звичайний контейнер S3, і знаходиться в одному регіоні. Усередині нього розташовані індекси; кожен індекс визначає певний вимір, обирає метрику відстані та вказує, які ключі метаданих не можна фільтрувати. Індекс зберігає вектори, причому кожен вектор поєднує ключ, обраний користувачем, з масивом чисел типу float та метаданими, частина з яких піддається фільтрації. Функція QueryVectors повертає k найближчих векторів разом із відповідними метаданими.

    // Tenant onboarding = one call. No capacity to choose.
    await client.send(new CreateIndexCommand({
      vectorBucketName: "kb-eu-west-1",
      indexName: "org-b",
      dataType: "float32",
      dimension: 1024,                          // Titan Text Embeddings V2
      distanceMetric: "cosine",
      metadataConfiguration: {
        nonFilterableMetadataKeys: ["chunk_text"],   // stored and returned, never scanned or filtered
      },
    }));
    

    Інтеграція орендаря здійснюється за допомогою одного дзвінка без можливості вибору. Ось як вимоги відповідають цій моделі.

    1. Ізоляція: кожен орендар відповідає одному індексу. Креденціали вказують на ARN цього індексу, тому запит фізично не може потрапити до іншого індексу, незалежно від запиту застосунку.
    2. Резидентство: регіон вбудований у ARN індексу. Зберігайте по одному векторному бакету на кожен обслуговуваний регіон та створюйте індекс орендаря у бакеті, назва якого збігається з назвою його контракту. Для контрактів, які потребують розділення, що працює в ЄС, AWS European Sovereign Cloud також пропонує S3 Vectors. Список індексів кожного бакета дозволяє створити звіт про резидентство.
  • Можливість видалення: оскільки автор вибирає векторні ключі, їх можна створити на основі ідентифікатора документа та задокументувати під час його внесення. Для видалення документа спочатку виконується операція DeleteVectors, а потім — GetVectors, який не повертає жодних даних; завдяки сильній консистентності ця відсутність даних є негайно надійною. Для видалення всього тенанта достатньо однієї операції DeleteIndex.
  • Можливість аудиту: увімкнення подій даних CloudTrail для типу ресурсу індексу означає, що кожен виклик фіксує, хто його виконав, коли, щодо якого ARN індексу та з яким результатом. Щоб дізнатися, хто читав тенант A, достатньо здійснити фільтрацію за його ARN.
  • Походження: все, що повертається з індексу орендаря B, за своєю суттю належить B, тому тег орендаря не потрібен. ID документа та версія — це метадані, які можна фільтрувати та відображаються у посиланні. Текст фрагмента зберігається як метадані, які не підлягають фільтрації, та повертається разом із вектором, що означає, що саме цей уривок було фактично отримано моделлю.
  • Обмеження чесності: залишилися незмінними, оскільки модель знаходиться нижче за межею.
  • Що не робить межа

    Третій рівень визначає, який орендар може отримати доступ до яких даних. Він не охоплює ролі всередині орендаря, те, як модель поводиться з простим існуванням обмеженого документа, чи якість відповідей у різних мовах. Це проблеми самого додатку, і саме вони займають більшу частину часу на розробку. Показаний код є ілюстративним та використовує AWS SDK для JavaScript v3, тому назви параметрів слід перевіряти з поточною версією SDK, а ідентифікатори орендарів, регіонів та облікових записів є замінниками.

    Пов’язана література