Галоўная / Артыкулы

За межамі пошуку за сэмплярамі: фільтрацыя метаданоў для RAG з вектарамі S3

Фільтрацыя метаданоў для RAG на Amazon S3 Vectors: звыклія вялічыны фільтраў, калі класыфікатор здобывае сваё месца, і метаданы, якія можна фільтраўваць, і тыя, якія — ні.

Выдавец: REACTAPP.TOP6 хв чытання1277 слоў

Крыніцы: Beyond Similarity Search: Metadata Filtering for RAG with Amazon S3 Vectors

Семантычныя пошукі ўскладніваюць RAG. Людзям не трэба формулюваць запіты так, як гэта робяць дакументы. Сістэма паўтарае значэнне і прадае контэнт, які стосуецца схожай ідэі. Але схожасць не завжды достатнька, каб адпаведаць вашым патрабаванням.

Уявіце онлайн-магазін, чыя база знання включае інформацыю пра продукты, доставку, гаранціі, вярненне, адплата і рахункі. Купальнік запытаецца, чы можна вярнуць падпрацаваны артыкул пасля 30 дзён. Некалькі дакументаў згадваюць падпрацаванне, вярненне грошаў, гаранціі чы срокі, і всі яны здаюцца рэлевантнымі для вектарнага пошуку, пры тым толькі дзеякі даюць адпаведныя адказы. Фільтрацыя метаданых можа дапамогчы, але спачатку трэба вярнуцца да таго, звядзе крануецца значэнне фільтра.

Дзе крануецца фільтр

Інодзе сама прыкладка ведае адпаведныя даныя. Кліент на сторанцы дапамогі па вярненні, які ставі такі запыт, без дадатковых вызоваў модэля дае вам катэгорыю безкоштовна.

User Question +Known Application Context
      ↓
category = returns
      ↓
Vector Search

Выбраны продукт, рэгіон, мова або раздзел даплы можу выпалюваць тую ж роль.

Іншыя сістэмы маюць толькі словы корыстувальніка. Звычны чатбот апускаецца з порожнім экранам, і нічога не паведамляе яму, што правыя катэгорыя — returns. У маленькай, сфокусаванай базе знанняў гэта нормальна: можна выкорыстоваць просты семантычны пошук без жадных фільтраў.

User Question
      ↓
Query Embedding
      ↓
Vector Search
      ↓
Relevant Results

Калі база дадзейнаў расшырваецца, тэмы перакрываюцься. Варыянты вярнення, гарантыі, абдзяцкі і парадураныя тавары становяцца неразлічнымі. Тады невелікі крок з розумення запіту або класыфікацыі перад выкарыстоўванням дадзейнаў можа памагчы. Сістэма ужо знае своія сабе катагорыі (вярнення, гарантыя, доставка, адплата), і простая мадэль, правіла або LLM можа выбраць найбольш верагодныя варыянты.

User Question
      ↓
Query Understanding
      ↓
returns
      ↓
Vector Search
      ↓
category = returns

Эты крок выклікае вітраты часоў і грошэй, таму не трэба дадаваць яго ў кожныя прыкладнікі RAG толькі таму, што існуе фільтрацыя. Калі звычны семантычны пошук ужо працюе, залучыце просты прабег задачы.

Ішчо адна парада: калі класыфікатор не ўпевнены, не прымушвайце яго выбраць кантэкст. Прадукт, які знішчоўваўся, можа стосавацца як вярнення, так і гарантыі, таму шукайце ў обох варыянтах або праігноравайце фільтрацыю. Неправільны фільтр можа сховаць той самы дакумент, які меў адпаведзь. Мета — не фільтраваць усё, а фільтравацыя толькі тады, калі ёсць надзеяна прычына.

Зберагачэнне метаданых з вектарамі

Фільтрацыя працюе толькі тады, калі метаданы зберагаюцца разам з эмбедынгам. Частка з правіл вярнення можа міць назву дакумента, кантэкст, рэгіон і статус.

{
  "document_name": "Return Policy",
  "category": "returns",
  "region": "us",
  "status": "active",
  "chunk_text": "Damaged products can be returned within the allowed return period."
}

Эты два элементы выпалюю разныя функцыі. Функцыя embedding адбывае захаванне значэння, таму фразы „падаць айтэм назад“ і „вернуць продукт“ з’яўляюцца падобнымі. Метаданы паказваюць, дзе належыць кантэнт: тут, варынкі, рэгіон США, актыўны дакумент.

Фільтрацыя запіту

Звычны запіт Amazon S3 Vectors знаходзіць найбліжэйшыя вектары ў всім індэксе.

const result = await s3Vectors.send(
  new QueryVectorsCommand({
    vectorBucketName: "rag-demo-vectors",
    indexName: "store-knowledge",
    queryVector: {
      float32: queryEmbedding,
    },
    topK: 5,
    returnMetadata: true,
    returnDistance: true,
  })
);

Калі ві надзягаеце, што пошук мусіў бі залішытыся у рэзультах, тоці ту умову саме в пошукове запітане.

const result = await s3Vectors.send(
  new QueryVectorsCommand({
    vectorBucketName: "rag-demo-vectors",
    indexName: "store-knowledge",
    queryVector: {
      float32: queryEmbedding,
    },
    topK: 5,
    filter: {
      category: "returns",
    },
    returnMetadata: true,
    returnDistance: true,
  })
);

Гэтая запітанне спаўнае як сігналы.

(Meaning of the Question + category = returns)
        ↓
Amazon S3 Vectors
        ↓
Relevant Return Information

S3 Vectors ацэніць умовы метаданых разам з ступенем сэроднечнасці, таму ён шукае сэродныя вектары, якія таксама падходзяць, замест таго каб спачатку выбраць найбліжэйшыя рэзультаты і адмовіцца ад небажанных. Гэта дапамагае, калі база містыць багато супакойных тэм.

Поле, якія можна фільтрацыяваць, і тые, якія не можна

Не кожна польна трэба можна было шукаты. Катэгорыя, рэгіон і статус ўтвараюць хорашыя фільтры, таму што ўсёлякім чынам скаржаюць працэс пошуку.

{
  "category": "returns",
  "region": "us",
  "status": "active"
}

У S3 Vectors метаданы за замовчэнняем можна фільтруваць, калі толькі вы не заявілі іншае. Большыя фрагменты тэксту і падобны кантэкст лепшая залішаць нефільтруемымі, адколі вы хочаце, каб яны таксама былі ў выніку, але ніколі не фільтруваць іх.

{
  "chunk_text": "Damaged products can be returned within the allowed return period."
}
metadataConfiguration: {
  nonFilterableMetadataKeys: ["chunk_text"],
}

Тэкст адносова вяртаецца, калі запрашваюцца метаданы. Спосаб прыглядзець яго: фільтруемыя метаданы сузаюць пошук, а нефільтруемыя метаданы вяртаюць тое, што вы хачаце пазней.

Больш за адна умова

Частаючы аднай умовы ўсё ж дасягнаецца цялі. Калі вам вядома большая колькасць умов, сумавайце іх, напрыклад, толькі актыўны кантэнт з Паўнечы.

filter: {
  $and: [
    {
      category: {
        $eq: "returns",
      },
    },
    {
      region: {
        $eq: "us",
      },
    },
    {
      status: {
        $eq: "active",
      },
    },
  ],
}

Калі запытанне можа належаць да катэгорыяў вярнення або гаранцыі, іспользуйце $in.

filter: {
  category: {
    $in: ["returns", "warranty"],
  },
}

S3 Vectors таксама працюе з $or, $exists і калькольнікамі для параболікаў. Большасць прыемакоў RAG патрабуе толькі адной чы роўна двух умоў.

Метаданы плану пад час прыемкі

Метаданы стаюць значна прыемней у выкарыстоўванні, калі вы прыдумваеце іх пад час прыемкі дакументаў. Для прыкладу з храненнем, маленькая структура можа быць цалкам дастатней.

{
  "document_name": "Return Policy",
  "category": "returns",
  "region": "us",
  "status": "active",
  "chunk_text": "..."
}

Вам не патрэбны всі можлівыя дэталі для кожнага вектара. З’ясавайце, чы можа тая характэрыстыка справжнім чынам дапамогчы у пазнаванні пазней. Калі яна не дапамагае сузіць пошук, то, верагацей, яе не трэба робіць фільтруемай.

Як гэтыя два элементы взаімаўзаеся

Метаданы не заменяюць сэмантычны пошук. Сэмантыка перакладае значэнне запіту, а метаданы встановляюць корыстныя межы, калі вядома, звядзе дзеясненне павінна быць атрыманае.

User Question
      ↓
(Semantic Similarity + Reliable Metadata Context)
      ↓
Amazon S3 Vectors
      ↓
More Focused Results

Ключовым словам ўсё-такі мае быць надзеяна ўзаемадзейнаемасць. Калі прыстанок ужо знае катэгорыю, рэгіон чы абякт, фільтрацыя ўсё проста і эфектыва. Калі у яго ёсць толькі запіт, спачатку трэба выявіць, чы хватыць самой схожасці. Для большых чы бяспорадных баз даных розумеўніца запыта можа спачатку знайсці корысныя метаданы, а непакойныя рэзультаты лепша обрабоцаваць за дапамогою шырэйшага пошуку, чым з вялікім фільтрам.

Аднаго практычнага тэсту достатня, каб выявіць, чы вам ваўсе трэба класіфікатор: зберыце 20 рэальных запытаў, працаваце з імі з фільтрам катэгорыі і без яго, а потым уручную параболічна паравярце найлепшыя рэзультаты. Калі адпаведныя на запыты адказы практычна ўсё час вядуць да правільнага дакумента, можна прыпісаць дадатковы крок. Калі супакойныя катэгорыі продовжаюць перакрываць адна другую, гэта сігнал да дадагаўнення фільтрацыі, а тыя ж 20 запытаў стануць наборам для пазнейшых змян.

## Заканчэнне

Векторна схожысць мае веліке значэння, оскількі люды рыдко повторуюць точні слова документа, проце справжні базі знань місцяць багато пов’язаніх тыпів інформацыі, а метадані даюць додатковій кантэкст для семантычного пошуку. Не кожэн запіт потрэбуе фільтра чы додаткового вікліку мадэлі. Вікорыстовуйце відомі метадані непасрэдна і додавайце класіфікацію лішэ тоды, колі гэта доцільно. Мета — не більша складнісць, а пошук у правільному місці, колі ёсць дастаткова інформацыі, шчоб візначыты яго розташування.