Más allá de la búsqueda por similitud: filtrado de metadatos para RAG con vectores S3
Filtrado de metadatos para RAG en Amazon S3 Vectors: de dónde provienen los valores de filtrado, cuándo un clasificador obtiene su lugar, y metadatos filtrables frente a no filtrables.
Fuentes: Beyond Similarity Search: Metadata Filtering for RAG with Amazon S3 Vectors
La búsqueda semántica es la mejor parte de RAG. Las personas no tienen que formular una pregunta de la misma manera que lo haría un documento. El sistema compara los significados y muestra contenido relacionado con la idea planteada. Pero lo similar no siempre es lo que se desea.
Imagínese una tienda en línea cuya base de conocimientos abarca productos, envíos, garantías, devoluciones, pagos y cuentas. Un comprador pregunta si un artículo dañado puede ser devuelto después de 30 días. Varios documentos mencionan daños, reembolsos, garantías o plazos límite, y todos parecen relevantes para una búsqueda vectorial, pero solo algunos responden a la pregunta. El filtrado de metadatos ayuda en esto, pero primero hay que determinar de dónde proviene el valor del filtro.
De dónde proviene el filtro
A veces la aplicación ya lo sabe. Un cliente en la página de ayuda para devoluciones que hace esa pregunta le proporciona la categoría de forma gratuita, sin necesidad de realizar una llamada adicional al modelo.
User Question +Known Application Context
↓
category = returns
↓
Vector Search
El producto seleccionado, la región, el idioma o la sección de la aplicación pueden desempeñar la misma función.
Los otros sistemas solo cuentan con las palabras del usuario. Un chatbot general se muestra en blanco, y nada le indica que la categoría correcta es returns. En una base de conocimientos pequeña y específica eso está bien: basta con realizar una búsqueda semántica simple sin filtros.
User Question
↓
Query Embedding
↓
Vector Search
↓
Relevant Results
A medida que la base de datos crece, los temas se superponen. Las devoluciones, las garantías, los reembolsos y los productos dañados se confunden entre sí. En ese caso, un sencillo paso de comprensión o clasificación antes de la recuperación de información puede ser útil. El sistema ya conoce sus propias categorías (devoluciones, garantía, envíos, pagos), y un modelo ligero, reglas o un LLM pueden seleccionar las más probables.
User Question
↓
Query Understanding
↓
returns
↓
Vector Search
↓
category = returns
Ese paso requiere tiempo y dinero, así que no lo incluya en todas las aplicaciones RAG solo porque existe la posibilidad de filtrado. Si la búsqueda semántica simple ya funciona, mantenga el proceso sencillo.
Otra precaución: cuando el clasificador no esté seguro, no fuerce una categoría. Un artículo dañado podría requerir tanto devolución como garantía, por lo que busque en ambas opciones o omita el filtro. Un filtro incorrecto puede ocultar el único documento que contiene la respuesta. El objetivo no es filtrar todo, sino hacerlo cuando exista una razón fiable para ello.
Almacenamiento de metadatos con vectores
El filtrado solo funciona si los metadatos se almacenan junto con las representaciones vectoriales. Un fragmento de la política de devoluciones podría contener el nombre del documento, su categoría, región y estado.
{
"document_name": "Return Policy",
"category": "returns",
"region": "us",
"status": "active",
"chunk_text": "Damaged products can be returned within the allowed return period."
}
Los dos desempeñan funciones diferentes. El embedding captura el significado, por lo que frases como “enviar un artículo de vuelta” y “devolver un producto” terminan cerca una de la otra. Los metadatos indican a dónde pertenece el contenido: aquí, en la sección de devoluciones, región de EE. UU., documento activo.
Filtrado de la consulta
Una consulta simple de Amazon S3 Vectors encuentra los vectores más cercanos en todo el índice.
const result = await s3Vectors.send(
new QueryVectorsCommand({
vectorBucketName: "rag-demo-vectors",
indexName: "store-knowledge",
queryVector: {
float32: queryEmbedding,
},
topK: 5,
returnMetadata: true,
returnDistance: true,
})
);
Si sabe con certeza que la búsqueda debe permanecer en los resultados, incluya esa condición dentro de la propia consulta.
const result = await s3Vectors.send(
new QueryVectorsCommand({
vectorBucketName: "rag-demo-vectors",
indexName: "store-knowledge",
queryVector: {
float32: queryEmbedding,
},
topK: 5,
filter: {
category: "returns",
},
returnMetadata: true,
returnDistance: true,
})
);
Ahora la consulta combina ambas señales.
(Meaning of the Question + category = returns)
↓
Amazon S3 Vectors
↓
Relevant Return Information
S3 Vectors evalúa las condiciones de los metadatos junto con la similitud, por lo que busca vectores similares que también cumplan esas condiciones, en lugar de tomar primero los resultados más cercanos y descartar los no deseados. Esto es útil cuando una base contiene muchos temas relacionados.
Campos filtrables y no filtrables
No todos los campos deben ser buscables. Categoría, región y estado son buenos filtros porque permiten restringir la búsqueda con ellos.
{
"category": "returns",
"region": "us",
"status": "active"
}
En S3 Vectors, los metadatos son filtrables por defecto a menos que se indique lo contrario. Los grandes fragmentos de texto y contextos similares es mejor dejarlos no filtrables, ya que se desea recuperarlos junto con el resultado sin aplicar filtro alguno sobre ellos.
{
"chunk_text": "Damaged products can be returned within the allowed return period."
}
metadataConfiguration: {
nonFilterableMetadataKeys: ["chunk_text"],
}
El texto sigue apareciendo cuando se solicitan metadatos. Una forma de recordarlo: los metadatos filtrables reducen la búsqueda, mientras que los no filtrables devuelven lo que se desea posteriormente.
Más de una condición
A menudo una sola condición es suficiente. Si se conocen más, combínelas; por ejemplo, solo contenido de devolución activo en EE. UU.
filter: {
$and: [
{
category: {
$eq: "returns",
},
},
{
region: {
$eq: "us",
},
},
{
status: {
$eq: "active",
},
},
],
}
Cuando una pregunta pueda relacionarse con devoluciones o garantías, utilice $in.
filter: {
category: {
$in: ["returns", "warranty"],
},
}
S3 Vectors también ofrece $or, $exists y varios operadores de comparación. La mayoría de las aplicaciones RAG solo necesitan una o dos condiciones.
Metadatos del plan al ingresar datos
Los metadatos son mucho más fáciles de utilizar si se piensa en ellos mientras se ingresan los documentos. En el ejemplo del almacenamiento, una estructura sencilla puede ser suficiente.
{
"document_name": "Return Policy",
"category": "returns",
"region": "us",
"status": "active",
"chunk_text": "..."
}
No es necesario incluir cada detalle posible en cada vector. Pregúntese si un campo realmente puede ayudar en la recuperación posterior. Si no permite restringir la búsqueda, probablemente no sea necesario que sea filtrable.
Cómo encajan las dos partes
Los metadatos no reemplazan a la búsqueda semántica. La similitud captura el significado de la pregunta, mientras que los metadatos establecen un límite útil cuando se sabe de dónde debe provenir la respuesta.
User Question
↓
(Semantic Similarity + Reliable Metadata Context)
↓
Amazon S3 Vectors
↓
More Focused Results
La palabra clave es fiabilidad. Si la aplicación ya conoce la categoría, región o producto, el filtrado es sencillo y eficaz. Si solo cuenta con la pregunta, primero decida si la similitud por sí sola es suficiente. En bases más grandes o con más ruido, la comprensión de consultas puede encontrar primero metadatos útiles, y los resultados inciertos se manejan mejor con una búsqueda más amplia que con el filtro incorrecto.
Una prueba práctica ayuda a decidir si realmente necesita el clasificador: recoja veinte preguntas reales, úntelas con y sin filtro de categoría y compare manualmente los resultados principales. Si las respuestas sin filtrar ya apuntan casi siempre al documento correcto, omita el paso adicional. Si las categorías relacionadas siguen excluyéndose mutuamente, ese es la señal de añadir filtrado, y esas mismas veinte preguntas se convierten en un conjunto de regresión para cambios posteriores.\n\n## Cierre
La similitud vectorial es importante porque las personas rara vez repiten las palabras exactas de un documento, pero las bases de conocimiento reales contienen muchos tipos de información relacionada, y los metadatos brindan contexto adicional a la búsqueda semántica. No toda consulta necesita un filtro o una llamada adicional al modelo. Utilice los metadatos conocidos directamente y añada la clasificación solo cuando sea realmente útil. No se trata de mayor complejidad, sino de una búsqueda que busque en el lugar correcto cuando se cuenta con suficiente información para indicar dónde está.