Poza wyszukiwaniem podobieństwa: filtrowanie metadanych w RAG z użyciem wektorów S3
Filtrowanie metadanych w RAG na Amazon S3 Vectors: skąd pochodzą wartości filtrów, kiedy klasyfikator zyskuje swoje miejsce oraz metadane, które można filtrować, a te, których nie można.
Źródła: Beyond Similarity Search: Metadata Filtering for RAG with Amazon S3 Vectors
Poszukiwanie semantyczne to najlepsza cecha RAG. Ludzie nie muszą formułować pytań w taki sam sposób jak dokumenty. System dopasowuje znaczenia i pokazuje treści dotyczące powiązanej koncepcji. Jednak to, co podobne, nie zawsze jest tym, czego szukamy.
Wyobraźmy sobie sklep internetowy, którego baza wiedzy obejmuje produkty, dostawę, gwarancje, zwroty, płatności i konta. Klient pyta, czy uszkodzony przedmiot można zwrócić po upływie 30 dni. Kilka dokumentów wspomina o uszkodzeniach, zwrotach pieniędzy, gwarancjach lub terminach, a wszystkie one wydają się istotne dla wyszukiwania wektorowego, jednak tylko niektóre odpowiadają na pytanie. Filtrowanie metadanych może tu pomóc, ale najpierw trzeba ustalić, skąd pochodzi wartość filtru.
Skąd pochodzi filtr
Czasami aplikacja już wie. Klient na stronie pomocy dotyczącej zwrotów, który zadaje to pytanie, dostarcza kategorię za darmo, bez konieczności dodatkowego wywołania modelu.
User Question +Known Application Context
↓
category = returns
↓
Vector Search
Wybrany produkt, region, język lub sekcja aplikacji może pełnić tę samą funkcję.
Inne systemy posiadają jedynie słowa użytkownika. Zwykły chatbot otwiera się pusty i nic nie wskazuje mu, że właściwa kategoria to returns. W małej, skoncentrowanej bazie wiedzy to nie stanowi problemu – można użyć zwykłego wyszukiwania semantycznego bez żadnych filtrów.
User Question
↓
Query Embedding
↓
Vector Search
↓
Relevant Results
Gdy baza rośnie, tematy się nakładają. Zwroty, gwarancje, zwroty pieniędzy oraz uszkodzone towary stają się nierozróżnialne. Wtedy pomocna może być prosta operacja rozumienia zapytania lub klasyfikacji przed wyszukiwaniem. System już zna swoje własne kategorie (zwroty, gwarancja, dostawa, płatności), a prosty model, reguły lub LLM mogą wybrać najbardziej prawdopodobne opcje.
User Question
↓
Query Understanding
↓
returns
↓
Vector Search
↓
category = returns
Ten krok wymaga czasu i pieniędzy, więc nie dodawaj go do każdego aplikacji RAG tylko dlatego, że istnieje filtrowanie. Jeśli zwykłe wyszukiwanie semantyczne już działa, utrzymaj prosty tok działania.
Jeszcze jedna rada: gdy klasyfikator nie jest pewny, nie wymuszaj określenia kategorii. Uszkodzony przedmiot może dotyczyć zarówno zwrotu, jak i gwarancji, więc poszukaj w obu przypadkach lub pomiń filtr. Błędny filtr może ukryć ten jeden dokument, który zawierał odpowiedź. Celem nie jest filtrowanie wszystkiego – chodzi o filtrowanie tylko wtedy, gdy masz wiarygodny powód.
Zachowywanie metadanych z wektorami
Filtrowanie działa tylko wtedy, gdy metadane są przechowywane razem z embeddingiem. Fragment polityki zwrotów może zawierać nazwę dokumentu, kategorię, region oraz status.
{
"document_name": "Return Policy",
"category": "returns",
"region": "us",
"status": "active",
"chunk_text": "Damaged products can be returned within the allowed return period."
}
Oba pełnią różne funkcje. Embedding przechwytuje znaczenie, dlatego wyrażenia „wyślij przedmiot z powrotem” i „zwróć produkt” znajdują się blisko siebie. Metadane wskazują, do której kategorii należy treść: tutaj, zwroty, region USA, aktywny dokument.
Filtrowanie zapytania
Zwykłe zapytanie Amazon S3 Vectors znajduje najbliższe wektory w całym indeksie.
const result = await s3Vectors.send(
new QueryVectorsCommand({
vectorBucketName: "rag-demo-vectors",
indexName: "store-knowledge",
queryVector: {
float32: queryEmbedding,
},
topK: 5,
returnMetadata: true,
returnDistance: true,
})
);
Jeśli na pewno wiesz, że wyszukiwanie powinno pozostać w wynikach, umieść to warunek bezpośrednio w zapytaniu.
const result = await s3Vectors.send(
new QueryVectorsCommand({
vectorBucketName: "rag-demo-vectors",
indexName: "store-knowledge",
queryVector: {
float32: queryEmbedding,
},
topK: 5,
filter: {
category: "returns",
},
returnMetadata: true,
returnDistance: true,
})
);
Teraz zapytanie łączy oba sygnały.
(Meaning of the Question + category = returns)
↓
Amazon S3 Vectors
↓
Relevant Return Information
S3 Vectors ocenia warunki metadanych razem z podobieństwem, więc szuka wektorów podobnych, które jednocześnie spełniają te warunki, zamiast najpierw wybierać najbliższe wyniki i odrzucać te niepożądane. To jest przydatne, gdy baza zawiera wiele powiązanych tematów.
Pola filtrowalne i niefiltrowalne
Nie wszystkie pola powinny być dostępne do wyszukiwania. Kategoria, region i status stanowią dobrych filtrów, ponieważ umożliwiają węższe ograniczenie wyników wyszukiwania.
{
"category": "returns",
"region": "us",
"status": "active"
}
Domyślnie metadane w S3 Vectors można filtrować, chyba że zaznaczysz inaczej. Duże fragmenty tekstu oraz podobne konteksty lepiej pozostawić niefiltrowalne, ponieważ chcesz je otrzymać razem z wynikiem, ale nigdy nie filtrować ich.
{
"chunk_text": "Damaged products can be returned within the allowed return period."
}
metadataConfiguration: {
nonFilterableMetadataKeys: ["chunk_text"],
}
Tekst nadal jest zwracany po zapytaniu o metadane. Sposób na zapamiętanie tego: metadane filtrowalne zawężają wyszukiwanie, natomiast te niefiltrowalne zwracają to, czego szukasz później.
Więcej niż jedno warunek
Często wystarczy jeden warunek. Jeśli znasz więcej, połącz je – na przykład tylko aktywny treść powrotu z USA.
filter: {
$and: [
{
category: {
$eq: "returns",
},
},
{
region: {
$eq: "us",
},
},
{
status: {
$eq: "active",
},
},
],
}
Gdy pytanie dotyczy zwrotów lub gwarancji, użyj $in.
filter: {
category: {
$in: ["returns", "warranty"],
},
}
S3 Vectors oferuje również $or, $exists oraz kilka operatorów porównawczych. Większość aplikacji RAG wymaga zazwyczaj tylko jednego lub dwóch warunków.
Metryki planu przy pobieraniu danych
Metryki są o wiele łatwiejsze w użyciu, gdy myślisz o nich podczas pobierania dokumentów. W przykładzie z magazynem wystarczy prosta struktura.
{
"document_name": "Return Policy",
"category": "returns",
"region": "us",
"status": "active",
"chunk_text": "..."
}
Nie musisz mieć każdego możliwego szczegółu dotyczącego każdego wektora. Zapytaj, czy dane to rzeczywiście mogą pomóc w późniejszym wyszukiwaniu. Jeśli nie poszerzą zakresu poszukiwań, prawdopodobnie nie muszą być filtrowalne.
Jak te dwa elementy się łączą
Metadane nie zastępują wyszukiwania semantycznego. Podobieństwo odzwierciedla znaczenie pytania, a metadane określają przydatne granice, gdy wiesz, skąd powinna pochodzić odpowiedź.
User Question
↓
(Semantic Similarity + Reliable Metadata Context)
↓
Amazon S3 Vectors
↓
More Focused Results
Kluczowym słowem jest niezawodność. Jeśli aplikacja już zna kategorię, region lub produkt, filtrowanie jest proste i skuteczne. Jeśli ma tylko pytanie, najpierw należy zdecydować, czy sama podobieństwo wystarczy. W przypadku większych lub bardziej zanieczyszczonych baz, rozumienie zapytania może najpierw znaleźć przydatne metadane, a niepewne wyniki łatwiej jest obsłużyć za pomocą szerszego wyszukiwania niż niewłaściwego filtrowania.
Jeden praktyczny test pomaga zdecydować, czy w ogóle potrzebujesz klasyfikatora: zebraj dwadzieścia rzeczywistych pytań, przetestuj je z filtrem kategorii i bez niego, a następnie ręcznie porównaj najlepsze wyniki. Jeśli odpowiedzi bez filtrowania prawie zawsze wskazują na właściwy dokument, pomiń ten dodatkowy krok. Jeśli powiązane kategorie nadal się wykluczają, to sygnał do dodania filtrowania, a te same dwadzieścia pytań staje się zbiorem do dalszych modyfikacji.
## Zakończenie
Podobieństwo wektorowe jest ważne, ponieważ ludzie rzadko powtarzają dokładne słowa dokumentu, ale prawdziwe bazy wiedzy zawierają wiele powiązanych rodzajów informacji, a metadane dostarczają dodatkowego kontekstu dla wyszukiwania semantycznego. Nie każde zapytanie wymaga filtru ani dodatkowego wywołania modelu. Używaj znanych metadanych bezpośrednio i dodawaj klasyfikację tylko wtedy, gdy jest to opłacalne. Chodzi nie o większą złożoność, lecz o wyszukiwanie, które sprawdza właściwe miejsce, gdy masz wystarczająco dużo informacji, by określić, gdzie ono jest.