Більше, ніж пошук за схожістю: фільтрація метаданих для RAG з векторами S3
Фільтрація метаданих для RAG у Amazon S3 Vectors: звідки беруться значення фільтрів, коли класифікатор отримує своє місце, та метадані, які піддаються фільтрації, та ті, що не піддаються.
Джерела: Beyond Similarity Search: Metadata Filtering for RAG with Amazon S3 Vectors
Семантичний пошук — це найкраща частина технології RAG. Людям не потрібно формулювати запит так, як це робить документ. Система знаходить схожість у значеннях та показує контент, пов’язаний із поставленим запитом. Проте схожість не завжди є тим, чого ви хочете.
Уявіть онлайн-магазин, чия база знань охоплює продукти, доставку, гарантії, повернення товарів, оплати та облікові записи. Купувальник запитує, чи можна повернути пошкоджений товар через 30 днів. Кілька документів згадують про пошкодження, повернення грошей, гарантії чи терміни, і всі вони здаються релевантними для векторного пошуку, проте лише деякі дають відповідь на запит. Тут допомагає фільтрація метаданих, але спочатку потрібно визначити джерело значень фільтра.
Джерело фільтра
Іноді програма вже знає потрібну інформацію. Клієнт, який ставить це запитання на сторінці допомоги з поверненням товарів, безкоштовно надає категорію, не потребуючи додаткових викликів моделі.
User Question +Known Application Context
↓
category = returns
↓
Vector Search
Вибраний продукт, регіон, мова чи розділ додатку можуть виконувати ту саму функцію.
Інші системи мають лише слова користувача. Загальний чат-бот відкривається порожнім, і ніщо не підказує йому, що правильною категорією є returns. У невеликій, спеціалізованій базі знань це нормально: можна використовувати звичайний семантичний пошук без фільтрів.
User Question
↓
Query Embedding
↓
Vector Search
↓
Relevant Results
У міру зростання бази даних теми починають перетинатися. Питання щодо повернень, гарантій, відшкодувань та пошкоджених товарів стають нечіткими. Тоді допоможе невеликий крок з розуміння запиту чи класифікації перед пошуком. Система вже знає свої категорії (повернення, гарантія, доставка, оплати), а проста модель, правила чи ШІ можуть визначити найімовірніші варіанти.
User Question
↓
Query Understanding
↓
returns
↓
Vector Search
↓
category = returns
Цей крок вимагає часу та грошей, тож не додавайте його до кожного додатку RAG лише через наявність фільтрації. Якщо звичайний семантичний пошук вже працює, залишіть процес простим.
Ще одна порада: коли класифікатор не впевнений, не примушуйте вибрати категорію. Пошкоджений товар може стосуватися як повернення, так і гарантії, тож шукайте в обох варіантах або пропустіть фільтр. Неправильний фільтр може приховати єдиний документ, який містить відповідь. Мета — не фільтрувати все, а фільтрувати лише тоді, коли є надійна причина.
Зберігання метаданих із векторами
Фільтрація працює лише тоді, коли метадані зберігаються разом із ембеддингом. Фрагмент політики повернень може містити назву документа, категорію, регіон та статус.
{
"document_name": "Return Policy",
"category": "returns",
"region": "us",
"status": "active",
"chunk_text": "Damaged products can be returned within the allowed return period."
}
Ці два елементи виконують різні функції. Ембеддинг зафіксовує сенс, тому вирази „надіслати предмет назад“ та „повернути продукт“ опиняються поруч один з одним. Метадані вказують, до кого належить контент: сюди, до повернень, регіон США, активний документ.
Фільтрація запиту
Звичайний запит Amazon S3 Vectors знаходить найближчі вектори в усьому індексі.
const result = await s3Vectors.send(
new QueryVectorsCommand({
vectorBucketName: "rag-demo-vectors",
indexName: "store-knowledge",
queryVector: {
float32: queryEmbedding,
},
topK: 5,
returnMetadata: true,
returnDistance: true,
})
);
Якщо ви точно знаєте, що пошук має залишатися в результатах, вкажіть цю умову безпосередньо в запиті.
const result = await s3Vectors.send(
new QueryVectorsCommand({
vectorBucketName: "rag-demo-vectors",
indexName: "store-knowledge",
queryVector: {
float32: queryEmbedding,
},
topK: 5,
filter: {
category: "returns",
},
returnMetadata: true,
returnDistance: true,
})
);
Тепер запит поєднує обидва сигнали.
(Meaning of the Question + category = returns)
↓
Amazon S3 Vectors
↓
Relevant Return Information
S3 Vectors оцінює умови метаданих разом із ступенем схожості, тому шукає схожі вектори, які також відповідають критеріям, замість того щоб спочатку брати найближчі результати та відкидати небажані. Це допомагає, коли база містить багато пов’язаних тем.
Поле, які можна фільтрувати, та поле, які не можна фільтрувати
Не кожне поле має бути доступним для пошуку. Категорія, регіон та статус є хорошими фільтрами, оскільки вони дозволяють звузити результати пошуку.
{
"category": "returns",
"region": "us",
"status": "active"
}
У S3 Vectors метадані за замовчуванням піддаються фільтрації, якщо ви не вказали інше. Великі фрагменти тексту та подібний контекст краще залишати без фільтрації, оскільки ви хочете отримати їх разом із результатом, але ніколи не фільтрувати їх.
{
"chunk_text": "Damaged products can be returned within the allowed return period."
}
metadataConfiguration: {
nonFilterableMetadataKeys: ["chunk_text"],
}
Текст все одно повертається під час запиту метаданих. Спосіб його запам’ятати: фільтрувані метадані звужують пошук, а нефільтрувані метадані передають те, що ви потім хочете отримати.
Більше однієї умови
Часто достатньо однієї умови. Якщо ви знаєте більше, поєднайте їх, наприклад, лише активний контент повернення зі США.
filter: {
$and: [
{
category: {
$eq: "returns",
},
},
{
region: {
$eq: "us",
},
},
{
status: {
$eq: "active",
},
},
],
}
Якщо запитання стосується повернень чи гарантії, використовуйте $in.
filter: {
category: {
$in: ["returns", "warranty"],
},
}
S3 Vectors також пропонує $or, $exists та кілька операторів порівняння. Більшості додатків типу RAG потрібно лише одна чи дві умови.
Метадані плану під час імпорту
Метадані набагато зручніше використовувати, якщо думати про них під час імпорту документів. Для прикладу з сховищем може вистачити невеликої структури.
{
"document_name": "Return Policy",
"category": "returns",
"region": "us",
"status": "active",
"chunk_text": "..."
}
Вам не потрібні всі можливі деталі для кожного вектора. Запитайте, чи справді певне поле може допомогти у пошуку пізніше. Якщо воно не дозволяє звузити пошук, ймовірно, його не потрібно робити фільтруваним.
Як ці два елементи взаємодіють
Метадані не замінюють семантичний пошук. Схожість відображає сенс запиту, а метадані встановлюють корисні межі, коли ви знаєте, звідки має надходити відповідь.
User Question
↓
(Semantic Similarity + Reliable Metadata Context)
↓
Amazon S3 Vectors
↓
More Focused Results
Ключовим словом є надійність. Якщо додаток вже знає категорію, регіон чи продукт, фільтрація є простою та ефективною. Якщо у нього є лише запитання, спочатку вирішіть, чи достатньо лише схожості. Для більших чи більш «шумних» баз даних здатність до розуміння запиту може спочатку знайти корисні метадані, а невизначені результати краще обробляти за допомогою ширшого пошуку, ніж з використанням неправильного фільтра.
Один практичний тест допомагає вирішити, чи потрібен вам взагалі класифікатор: зіберіть двадцять реальних запитань, протестуйте їх із та без фільтра за категорією та вручну порівняйте найкращі результати. Якщо відповіді без фільтра майже завжди вказують на правильний документ, пропустіть цей додатковий крок. Якщо пов’язані категорії постійно перекривають одна одну, це сигнал до додавання фільтрації, і ці самі двадцять запитань стануть набором для подальших змін.
## Закінчення
Схожість векторів має велике значення, оскільки люди рідко повторюють точні слова документа, але справжні бази знань містять багато пов’язаних типів інформації, і метадані надають семантичному пошуку додаткового контексту. Не кожен запит потребує фільтра чи додаткового виклику моделі. Використовуйте відомі метадані безпосередньо та додавайте класифікацію лише тоді, коли це має сенс. Справа не в більшій складності, а в пошуку, який шукає у правильному місці, коли у вас є достатньо інформації, щоб визначити, де воно знаходиться.