Au-delà de la recherche par similarité : filtrage des métadonnées pour RAG avec S3 Vectors
Filtrage des métadonnées pour RAG sur Amazon S3 Vectors : d’où proviennent les valeurs de filtrage, quand un classificateur se voit attribuer une place, et métadonnées filtrables versus non filtrables.
Sources: Beyond Similarity Search: Metadata Filtering for RAG with Amazon S3 Vectors
La recherche sémantique est l’aspect le plus intéressant du RAG. Les utilisateurs n’ont pas besoin de formuler une question de la même manière que le ferait un document. Le système compare les significations et affiche du contenu lié à l’idée en question. Cependant, ce qui est similaire n’est pas toujours ce que l’on souhaite.
Imaginez une boutique en ligne dont la base de connaissances couvre les produits, l’expédition, les garanties, les retours, les paiements et les comptes. Un client demande s’un article endommagé peut être retourné après 30 jours. Plusieurs documents mentionnent les dommages, les remboursements, les garanties ou des délais, et tous semblent pertinents pour une recherche vectorielle, mais seuls certains répondent à la question. Le filtrage par métadonnées peut aider ici, mais il faut d’abord déterminer d’où proviennent les valeurs de filtrage.
D’où proviennent les filtres
Parfois, l’application le sait déjà. Un client sur la page d’aide aux retours qui pose cette question vous fournit gratuitement la catégorie correspondante, sans nécessiter d’appel supplémentaire du modèle.
User Question +Known Application Context
↓
category = returns
↓
Vector Search
Le produit sélectionné, la région, la langue ou la section de l’application peuvent remplir la même fonction.
D’autres systèmes ne disposent que des mots de l’utilisateur. Un chatbot général s’affiche vide, sans aucun indicateur indiquant que la catégorie appropriée est returns. Dans une base de connaissances petite et ciblée, cela convient : il suffit d’utiliser une recherche sémantique simple sans filtre.
User Question
↓
Query Embedding
↓
Vector Search
↓
Relevant Results
A mesure que la base de données s’agrandit, les sujets se chevauchent. Les retours, les garanties, les remboursements et les articles endommagés se mélangent. Une étape légère de compréhension des requêtes ou de classification avant la récupération peut alors être utile. Le système connaît déjà ses propres catégories (retours, garantie, livraison, paiements), et un modèle simple, des règles ou un LLM peuvent identifier celles qui sont les plus probables.
User Question
↓
Query Understanding
↓
returns
↓
Vector Search
↓
category = returns
Cette étape coûte du temps et de l’argent, alors n’ajoutez-la pas à chaque application RAG simplement parce que le filtrage existe. Si la recherche sémantique classique fonctionne déjà, gardez le flux simple.
Un dernier conseil : lorsque le classificateur n’est pas sûr, ne forcez pas une catégorie. Un article endommagé peut nécessiter à la fois un retour et une garantie, il faut donc rechercher dans les deux cas ou ignorer le filtre. Un mauvais filtre peut cacher le seul document qui contient la réponse. L’objectif n’est pas de filtrer tout ce qui existe, mais de le faire uniquement lorsqu’on a une raison fiable.
Stockage des métadonnées avec des vecteurs
Le filtrage ne fonctionne que si les métadonnées sont stockées avec l’embedding. Un extrait de la politique de retour peut contenir le nom du document, sa catégorie, sa région et son statut.
{
"document_name": "Return Policy",
"category": "returns",
"region": "us",
"status": "active",
"chunk_text": "Damaged products can be returned within the allowed return period."
}
Ces deux éléments ont des fonctions différentes. L’incorporation capture le sens, de sorte que les expressions « envoyer un article en retour » et « rendre un produit » se retrouvent proches l’une de l’autre. Les métadonnées indiquent à où appartient le contenu : ici, dans la section des retours, pour la région des États-Unis, concernant le document actif.
Filtrage de la requête
Une simple requête Amazon S3 Vectors permet de trouver les vecteurs les plus proches dans l’ensemble de l’index.
const result = await s3Vectors.send(
new QueryVectorsCommand({
vectorBucketName: "rag-demo-vectors",
indexName: "store-knowledge",
queryVector: {
float32: queryEmbedding,
},
topK: 5,
returnMetadata: true,
returnDistance: true,
})
);
Si vous savez avec certitude que la recherche doit rester dans les résultats, ajoutez cette condition directement dans la requête.
const result = await s3Vectors.send(
new QueryVectorsCommand({
vectorBucketName: "rag-demo-vectors",
indexName: "store-knowledge",
queryVector: {
float32: queryEmbedding,
},
topK: 5,
filter: {
category: "returns",
},
returnMetadata: true,
returnDistance: true,
})
);
Désormais, la requête combine les deux signaux.
(Meaning of the Question + category = returns)
↓
Amazon S3 Vectors
↓
Relevant Return Information
S3 Vectors évalue à la fois les conditions métadonnées et le degré de similarité, ce qui lui permet de rechercher des vecteurs similaires qui correspondent également aux critères, plutôt que de sélectionner d’abord les résultats les plus proches avant d’éliminer ceux qui ne conviennent pas. Cela est utile lorsque une base contient de nombreux sujets liés.
Champs filtrables et non filtrables
Tous les champs ne doivent pas être recherchables. La catégorie, la région et le statut constituent de bons filtres, car ils permettent de restreindre les résultats obtenus.
{
"category": "returns",
"region": "us",
"status": "active"
}
Dans S3 Vectors, les métadonnées sont filtrables par défaut à moins que vous ne spécifiiez le contraire. De gros blocs de texte et des contextes similaires doivent rester non filtrables, car vous souhaitez les retrouver avec le résultat sans jamais effectuer de filtre sur eux.
{
"chunk_text": "Damaged products can be returned within the allowed return period."
}
metadataConfiguration: {
nonFilterableMetadataKeys: ["chunk_text"],
}
Le texte revient toujours lorsque des métadonnées sont demandées. Une façon de s’en souvenir : les métadonnées filtrables restreignent la recherche, tandis que celles qui ne le sont pas restituent ce que vous souhaitez obtenir par la suite.
Plus d’une condition
Souvent, une seule condition suffit. Si vous en connaissez davantage, combinez-les, par exemple uniquement le contenu de retour actif aux États-Unis.
filter: {
$and: [
{
category: {
$eq: "returns",
},
},
{
region: {
$eq: "us",
},
},
{
status: {
$eq: "active",
},
},
],
}
Lorsqu’une question concerne les retours ou la garantie, utilisez $in.
filter: {
category: {
$in: ["returns", "warranty"],
},
}
S3 Vectors propose également $or, $exists ainsi que plusieurs opérateurs de comparaison. La plupart des applications RAG n’ont besoin que d’une ou deux conditions.
Métadonnées du plan lors de l’ingestion
Les métadonnées sont bien plus faciles à utiliser si on y pense en même temps que l’on ingère les documents. Pour l’exemple de stockage, une petite structure peut suffire.
{
"document_name": "Return Policy",
"category": "returns",
"region": "us",
"status": "active",
"chunk_text": "..."
}
Vous n’avez pas besoin de chaque détail possible pour chaque vecteur. Demandez-vous si un champ peut réellement aider à la récupération ultérieure. S’il ne permet pas de restreindre la recherche, il n’est probablement pas nécessaire qu’il soit filtrable.
Comment les deux éléments s’articulent
Les métadonnées ne remplacent pas la recherche sémantique. La similarité permet de saisir le sens de la question, tandis que les métadonnées établissent une limite utile lorsque l’on sait d’où doit provenir la réponse.
User Question
↓
(Semantic Similarity + Reliable Metadata Context)
↓
Amazon S3 Vectors
↓
More Focused Results
Le mot-clé essentiel est la fiabilité. Si l’application connaît déjà la catégorie, la région ou le produit, le filtrage est simple et efficace. S’il ne dispose que de la question, il faut d’abord déterminer si la similitude seule suffit. Pour des bases plus grandes ou plus bruitées, la compréhension de la requête peut d’abord identifier des métadonnées utiles, et les résultats incertains sont mieux gérés grâce à une recherche plus large qu’avec un filtre inadapté.
Un test pratique permet de décider si vous avez vraiment besoin d’un classificateur : collectez vingt questions réelles, exécutez-les avec et sans filtre de catégorie, puis comparez manuellement les meilleurs résultats. Si les réponses non filtrées indiquent presque toujours le bon document, vous pouvez omettre cette étape supplémentaire. Si des catégories apparentées se gênent mutuellement, c’est le signe d’ajouter un filtrage ; ces mêmes vingt questions deviennent alors un ensemble de référence pour des modifications ultérieures.
## Conclusion
La similarité vectorielle est importante car les gens répètent rarement les mots exacts d’un document, mais les bases de connaissances réelles contiennent de nombreuses informations liées entre elles, et les métadonnées fournissent un contexte supplémentaire pour la recherche sémantique. Toute requête n’a pas besoin d’un filtre ou d’une nouvelle appel à un modèle. Utilisez directement les métadonnées connues, et n’ajoutez la classification que lorsque cela en vaut la peine. Il ne s’agit pas de plus de complexité, mais d’une recherche qui cherche au bon endroit lorsque vous disposez d’informations suffisantes pour indiquer où il se trouve.