Галоўная / Артыкулы

Ізаляцыя кліентаў для RAG на Amazon S3 Vectors: чаму важны ARN

Чаму асобны індэкс з уласным ARN для кожнага кліента лепшы за фільтры па метаданых, калі патрэбна ізаляцыя RAG на ўзроўні GDPR: рэзідэнтнасць, выдаленне, аўдыт і паходжанне ў Amazon S3 Vectors.

Выдавец: REACTAPP.TOP7 хв чытання1602 слоў

Крыніцы: Multi-Tenant RAG on Amazon S3 Vectors - Part 1: The Isolation Model

Уявіце сабскрыпцыйны продукт на адміністрацыйныя цялі, прызначаны для дзеяння ў краінах ЕС. Кожны кліент ёсць самастоятэльным керавальнікам дакументаў па прынцыпах GDPR, а вбудованы асістэнт адпавядае на запыткі на адваротах самога кліента: у справах, внутрашніх інструкцыях і чынным законах. За ўсім гэтым стоіць сістэма RAG, якая обслужвае сотні кліентаў, і там неправільная адпаведзь не ёсць простая незгодаю — гэта ўраза, якой ніхто не зазначае.

Ёсць так, калі ўсё йдзе не так. Адны саюзны індэкс вектара храніць усі фрагменты дакументаў кожнага арэндніка. Спеціяліст па арэндніку B запытаеся, якія ёсць крытэрыя абліковання дапамогі для тых, хто мае зменшаны працэздатнасць. Серэд найбліжэйшых падабенняў ёсць фрагменты з запісаў арэндніка A, адколькі пошук падабенства спрацоўвае гэты выраз як адну тэму, незалежна ад таго, хто яго напісаў. Мадэль даўа правільную адпаведзь і перыяднуюць сваія джэрэлы; трэцім джэрэлам ёсць медычная історыя грамадзяніна, якая зберагаецца ў іншай арганізацыі. Званак вяртае код HTTP 200, і всі панелі керування застаюцца з зеленым колерам.

Нічыга з гэтага не ёсць проблемай модэлі. Модэль зрабіла тое, што яй было дадзена. Асалівыя запытанні — гэта ўсё, што яй даюць, і хто контролюе гэта.

Тэрэтарыі

Пачатакніце з законаў, які заходзяць даныя, і запытайцеся, калі даныя знаходзяцца ў віглядзе фрагментаў у вектарным індэксе, а не ў віглядзе радоў у табліцы, што кожны з іх выклікае ад сістэмы адзысквання. Выявляецца шасць трэбаванняў, і кожна з іх можа быць сформульавана як ўмоžненне для тэставання і прэдставлення аўдытару: ізоляцыя, рэзідэнція, можлівасць выдалення, аўдытабельнасць, праўядлівасць паходжання і чыстыя меры.

Два з іх часта плутаюць. Праўядлівасць паходжання аналізуе адпаведны адказ і паведамляе корыстніку на экране, звядзе ён прыйшоў. Аўдытабельнасць аналізуе самыя даныя і пазней паведамляе аўдытару, хто іх чытаў. Адна і тая ж сістэма, але працюе у працупакісных напрамках.

Чаму адна аддаўочная станцыя працюе лёгка, а сотні — ні

Калі ёсць адна аддаўочная станцыя, першыя пяць трэбавання выпалняюцца практычна без працы. Калі ж у аднам індэксе ёсць сотні аддаўочных станцый, яны выпалняюцца толькі тады, калі код прыкладнага програмнага забезпечэння ўсё абсалютна правільны, і кожна з аддаўочных станцый можа выклікваць проблемы по-свойму.

  • Ізоляцыя скарацьваецца да клазу WHERE tenant_id = ?, якая прыўязана да кожнага запіту. Калі яе не выкарыстоўваць, будзе выбраны неправі тэнант, або баг можа зменіць ўсё, пры чым пошук будзе продавацца.
  • Рэзідэнцыя прыводзіцца да таго, што для всіх выступае адна рэгія. Тэнант, чыяе кантракт назначае іншую рэгію, патрабуе другі хранальнік, розмір і плата за які будуць расчытваны як для адного кліента, а на практыцы кантракт стае проста прыміткай.
  • Магчымасць выдалення ператвараецца на пошук і выдаленне частак, пазначаных тэнантом і дакументам. Выдаленне ўсё толькі настолькі эфектыва, насколькі ўжо ёсць тагі або методы пошуку, а апрыксіматычны пошук за найбліжэйшым суседам не можа падтвердзіць, што ўсё ўсунуто.
  • Аўдытабельнасць базуецца на журнале прыемліцтва дадзенняў. Прадаўцы могу зафіксаваць, што быў выкананы запіт да індэкса, але не можаць пазначыць, канкрэтныя часткі дадзенняў былі вярнуты, адтолькі што „арэнднік“ быў значэннем у запытэ, а не рэсурсам. Толькі сэрвыс журналу самай прыемліцкай аплікацыі знае аб этым, і самэ гэты журнал ёсць прэдметам адзінакоў.
  • Паходжанне залежыць ад тага tenant, які задаецца пад час прыемліцтва дадзенняў. У багацох „арэнднікаў“ будзе дакумент пад назвай „Benefit guidance 2026“, таму цытата ёсць правядзёмай толькі тады, калі ёй супакоўваецца інформацыя пра конкрэтнага „арэндніка“; некарэктны таг выглядае так сама, як і правільны.
  • Раўёнак гэтым проблемам — гэта тое, чаму ў даскніках кожнага сховішча вектарных дадзенняў ўжо радзяцца: наявнасць партыцыі, калекцыі, індэкса аб схемы для кожнага „арэндніка“. Пастаноўляецца пытанне, які тып межы для кожнага „арэндніка“ падходзіць да вышэўказанага спіску, адтолькі што не кожны з іх падходзіць. Косцт — стандартны аргумент проты — выяўляецца пазней.

    Тры ўзгалінні, дзе можна паставіць межу

    Межа арэндніка можа знаходзіцца ў трох прыемох, і яны разніцяюцца тым, хто іх аплывае і як яны перастаюць дзейсніцца.

    Фільтр у кодзе прыемплэю

    Індэкс ўзаемна выкарыстоўваецца, кожны вектар несе метаданы tenant_id, і кожны запыт фільтруецца на ўсім гэтым.

    await client.send(new QueryVectorsCommand({
      indexArn: SHARED_INDEX,
      queryVector: { float32: embedding },
      topK: 10,
      filter: { tenant_id: { $eq: "org-b" } },   // ← the boundary
    }));
    

    Ваш код ўсё рашае. Калі ён не работае, рэзультатам яе ўзьмецца правядзімы адказ з кодам HTTP 200, і ніхто за межамы працэсу не можа адмовіць у цым чыстаць або запісаць адмылку.

    Структура, якую выбірае код прыемлівача

    Кожны корыстнік атрыбуецца савой індэксам, табелю, схемай чыста колекцыяй, і прыемлівач выбірае, якую з іх вікорыстаць.

    const index = indexFor(session.tenantId);           // ← the boundary
    await client.send(new QueryVectorsCommand({ indexArn: index, ... }));
    

    Выкананне правіл раздзелена между кодам, які выбіраюць індэкс, і, у разе вікорыстання базы дадзеных, тымі правамі, які былі настаўлены. Калі indexFor выбірае неправільную значэнне, запыт выкананы ўжо ў індэксе іншага корыстувальніка і вяртае даны няправільнага кліента, знову з кодам HTTP 200. Гэта менш помітна, чым фільтрацыя, але таксама неправільна. У разе наявнасці схемы для кожнага корыстувальніка ў Postgres, сама база дадзеных адмовляецца у вычытанні з неправільной схемы, што дапамагае. Аднак права застаюцца пры самай командзе, а прадаўцу хмарных послуг адзін кластэр віддаецца як адзін рэсурс, без можлівасці чаго-небудзь адмовіць чы запісваць па кожнаму корыстувальніку.

    Рэсурс, які контролюець прадаўцы

    Кожны корыстувальнік мае індэкс, які ўважаецца рэсурсам воблака першага класу з сае ARN, і крантэксты вызываючага апрацоўваюць самэльвае з іх.

    {
      "Version": "2012-10-17",
      "Statement": [{
        "Effect": "Allow",
        "Action": ["s3vectors:QueryVectors", "s3vectors:GetVectors"],
        "Resource": "arn:aws:s3vectors:eu-west-1:123456789012:bucket/kb-eu-west-1/index/org-b"
      }]
    }
    

    IAM выкананая гэта правіла ў кожным вызове, яшчэ перш чым запускаецца сервіс. Той самы баг indexFor цяпер прыводзіць да выйска AccessDeniedException і нічога не вяртаецца, тады як CloudTrail фіксуе адмовленую спробу па запрошаным ARN. Чым больш працюе сістэма, тым явней стае адмова. На трэцім роўні трэбаецца адна власцівасць з хранілнікі, якую лёгка працізіць: елемент арэнды павінен маты ARN.

    Чаму ARN рашае гэтыя проблемы

    Кожна запаведзь IAM — гэта дзеянне над рэсурсам, а рэсурс — гэта ARN або вайлдкард. IAM можа захацьваты толькі тыя элементы, якія маюць ARN, а CloudTrail таксама дапэўнюе гэта правіло, фіксуючы вызовы API па ARN рэсурсаў.

    Amazon S3 Vectors дае кожнаму індэксу ARN у фармаце arn:aws:s3vectors:<region>:<account>:bucket/<bucket>/index/<index>. Усі операцыі на рэвэрсе дадзеных (PutVectors, QueryVectors, GetVectors, DeleteVectors і ListVectors) лічыцца як дзеянні IAM па гэтым ARN і як запісаныя дадзеныя-падзеі CloudTrail па яго. Гэтыя дэталі паднімаюць межу тэнанта з другага на трэці роўень.

    Модэль рэсурса і шэсць трэбаванняў

    S3 Vectors — гэта тып кантэйнера для зберагчыка дадзейна, а не база дадзейна. Кантэйнер для вектараў ствараецца падобна звычнаму кантэйнеру S3 і знаходзіцца ў аднам рэгіоне. У яму знаходзяцца індэксы; кожны індэкс прызначае асоцыяваную высоту, выбірае метрыку адстані і пераказвае, якія ключы метададзейна не можна фільтрацыяваць. Індэкс зберагчыць вектары, прычым кожны вектар супараджае ключ, выбраны вызываючым, з масавым масівам і метададзейна, частка якога можа быць фільтрацыяваная. Выклік QueryVectors вяртае k найбліжэйшых вектараў разам з тымі метададзейнамі.

    // Tenant onboarding = one call. No capacity to choose.
    await client.send(new CreateIndexCommand({
      vectorBucketName: "kb-eu-west-1",
      indexName: "org-b",
      dataType: "float32",
      dimension: 1024,                          // Titan Text Embeddings V2
      distanceMetric: "cosine",
      metadataConfiguration: {
        nonFilterableMetadataKeys: ["chunk_text"],   // stored and returned, never scanned or filtered
      },
    }));
    

    Пры прыеме тэнэнта дастаткова адна тэлефонная кансацыя, і няма можлівасці выбіра. Чым саме спэцыяльныя трэбаванні паўтараюцца ў гэтым модэле.

    1. Ізоляцыя: кожны тэнэнт адпавядае аднаму індэксу. Кранты належнасці паказуюць ARN гэтага індэксу, таму запыт фізычна не можа паставіцца на іншы індэкс, незалежна ад таго, калі прасілае прыкладнае програма.
    2. Рэзідэнція: рэгіон ўжо ўключаны ў ARN індэксу. Для кожнага обслужванага рэгіону трэба зберагаць адзін вектарны бакет, і індэкс тэнэнта ствараецца ў бакеце, які па назве адпавядае яго контракту. Для контрактов, якім патрэбна партыцыя, керованая ў ЕС, AWS European Sovereign Cloud таксама праставляе S3 Vectors. Спісаванне індэксаў кожнага бакета дае атлас рэзідэнціі.
  • Магчымасць выдалення: калі аўтар выбірае вектарныя ключы, іх можна стварыць на адной з айдэнтаў документа і зазначыць пад час яго запісу. Ёжы дакумента адбываецца за дапамою DeleteVectors, пасля чаго выкананы GetVectors, які не вяртае нічога, а строгая супараднасць гарантуе, што такая відсутнасць будзе надзеяна негараздо. Выдаленне цэлага тэнанта адбываецца за дапамою адной функціі DeleteIndex.
  • Магчымасць аўдытавання: увімкненне падтрымкі дадзеных CloudTrail для тыпу рэсурса індэкса значыць, што кожны вызов фіксуе, хто і калі яго выканаў, пры якім ARN індэкса і з якім рэзультатам. Ёжы таго, хто чытаў тэнант А, выражаецца праз фільтрацыю па ARN гэтага тэнанта.
  • Параджэнс: все, што вяртаецца з індэкса арэндніка B, па сваім зместу належыць B, таму не патрэбны тэгі арэндніка. ID дакумента і версія — гэта метаданы, якія можна фільтрацыяваць і якія паказваюцца ў цітаце. Тэкст часткі зберагаецца як метаданы, якія не можна фільтрацыяваць, і вяртаецца разам з векторам, што означае, што цітаваны фрагмент — гэта той, які мадэль насправды запрацавала.
  • Межы чыстасці: не зменіліся, адколькі мадэль знаходзіцца ніжэй за межой.
  • Што не робіць межа

    Трэція гэтая гэнерацыя выявляе, які тэнант можа з’явіцца да якіх дадзеных. Яна не абарачва ролі ўнутрь тэнанта, тое, як модэль адносіцца да самай наявнасці обмежанага дакумента, або якасць адпаведзей у разных мовах. Гэтыя пытанні належаць да аплікацыі, і яны займаюць большую частку часу на разрабатках. Паказаны код мае ілюстратыўны характэр і выкарыстоўвае AWS SDK для JavaScript v3, таму назвы параметраў трэба пераканацца ў ўзэмплярэ сучаснага SDK, а тэнанты, рэгіоны і ідэнтыфікаторы аблікав являюцься месца для падставы.