Recuperación híbrida para RAG: BM25, Fusión de Rangos y Reclasificación superan a los vectores.
La búsqueda vectorial pura no detecta términos exactos. BM25 junto con embeddings, Fusión de Rango Recíproco y un reordenador con codificador cruzado llevaron a este sistema RAG a una precisión de recuperación del 91%.
Fuentes: `I Stopped Using Vector Databases. My RAG Got Better.`
Los primeros consejos sobre RAG son casi unánimes: elige Pinecone, Weaviate o Chroma, incrusta los documentos, almacena los vectores, ejecuta una búsqueda semántica y listo. Muchos equipos siguen exactamente esa receta. Dividen los documentos en fragmentos, crean incrustaciones con un modelo alojado, cargan una base de datos de vectores y escriben una función de recuperación que obtiene los cinco fragmentos más similares para cada consulta. Funciona, hasta cierto punto, y ese punto es cuando la precisión comienza a ser importante.
Donde falla la búsqueda pura de vectores
Las preguntas simples y abiertas permiten una recuperación razonable. Todo lo que requiere exactitud funciona mal: fechas específicas, cifras exactas, referencias a una sección concreta, consultas técnicas con muchas palabras clave. El LLM luego construye confiadamente una respuesta a partir de los fragmentos incorrectos. El modelo no tiene la culpa, porque la recuperación le proporcionó el contexto equivocado.
La reacción habitual es culpar a la generación. La gente modifica los prompts, agrega instrucciones como “solo responda con el contexto proporcionado” y crea bucles de autorreflexión. Nada de eso ayuda cuando el material obtenido es incorrecto. El eslabón débil es la búsqueda, no la generación.
Los embeddings manejan bien el significado, pero tropiezan con los detalles concretos, y un caso práctico muestra cómo ocurre. Supongamos que un informe contiene una línea que dice que los ingresos del cuarto trimestre de 2024 alcanzaron los 12,8 millones de dólares, un 23% más que en el tercer trimestre. Un usuario pregunta cuáles fueron los ingresos del Q4 2024. Parece una tarea sencilla para los embeddings.
Esto es lo que realmente sucede. El modelo de incrustación convierte la consulta y cada fragmento en vectores de alta dimensión y luego busca similitudes conceptuales con “ingresos”, “rendimiento financiero” y “resultados trimestrales”. Puede devolver fragmentos sobre ingresos en general, proyecciones a futuro o cifras del tercer trimestre, ya que todos ellos se encuentran cerca de la idea de ingresos trimestrales. El fragmento que contiene “12,8 millones de dólares” podría quedar en cuarto o quinto lugar, o desaparecer por completo si los límites de los fragmentos cortan la oración en un lugar inadecuado. Una búsqueda simple por palabras clave como “ingresos Q4 2024” lo habría encontrado de inmediato.
La escala empeora la situación
Con 50 documentos, la búsqueda semántica funciona bien, en parte porque hay pocos fragmentos que compitan entre sí. Con 5,000 documentos deja de funcionar adecuadamente. Un corpus más grande contiene más fragmentos semánticamente similares pero factualmente irrelevantes, por lo que la relación señal-ruido se deteriora y la recuperación de información extrae pasajes del “vecindario adecuado” que contienen información incorrecta.
Una prueba realizada en un corpus técnico de aproximadamente 3,000 páginas (documentación de API, registros de cambios y guías de integración) arrojó una precisión en la recuperación vectorial pura de cerca del 62%. Eso significa que casi cuatro consultas de cada diez llegaron al LLM con un contexto incompleto o erróneo. Ninguna técnica de ingeniería de prompts puede solucionarlo, ya que la base misma está dañada.
Descartar la búsqueda vectorial no fue la solución; el problema radicaba en depender únicamente de ella. Un enfoque compuesto por tres componentes elevó la precisión en esa prueba del 62% al 91%.
Primera parte: BM25 para términos exactos
BM25 data de la década de 1990 y sigue estando entre los algoritmos de recuperación más potentes existentes. Mientras que los embeddings difuminan los detalles, este algoritmo busca términos literales: para “ingresos del Q4 2024” extrae cada fragmento que contenga esas palabras y las ordena según su frecuencia y relevancia dentro del corpus. Es rápido, produce siempre el mismo resultado y funciona sin GPU. Existe una pequeña biblioteca que lo implementa, y no se necesita ninguna base de datos vectorial, solo un índice de texto creado a partir de esos fragmentos.
Segunda parte: conservar los embeddings, pero como una sola fuente
Los embeddings mantienen su valor porque capturan la intención del usuario y muestran contenido relacionado. Un usuario que pregunte “¿Cómo manejo la autenticación?” frente a documentos titulados “Gestión del inicio de sesión de usuarios” obtendrá un resultado mediante la búsqueda semántica que BM25 nunca lograría. Por lo tanto, los embeddings se convierten en una de las fuentes de candidatos, pero nunca en la única.
Los mejores resultados de ambos recuperadores se fusionan mediante Reciprocal Rank Fusion (RRF), un método sencillo que combina listas ordenadas recompensando a los fragmentos que aparecen en ambas. Un fragmento clasificado en primer lugar por BM25 y en tercer lugar por las puntuaciones de búsqueda semántica tiene una calificación mucho más alta que uno que aparece solo en una lista. Esto eleva naturalmente a los fragmentos que son relevantes tanto por palabras clave como por significado. La implementación consta de unas 20 líneas de Python y no requiere ningún framework.
Tercera parte: reclasificar
La etapa de reclasificación es la que la mayoría de los equipos omite, y es la que más influye en los resultados. Una vez que la fusión híbrida genera de 15 a 20 candidatos, un reclasificador con codificador cruzado asigna una puntuación a cada uno. Un modelo de embedding codifica la consulta y un documento de forma independiente. En cambio, un codificador cruzado procesa conjuntamente la consulta y uno de los candidatos a través del modelo, de modo que la puntuación refleja qué tan bien se adapta esa pareja.
Un pequeño modelo de reclasificación añade aproximadamente 200 ms de latencia, pero mejora significativamente los fragmentos que llegan al contexto final. Los cinco mejores después de la reclasificación suelen ser los adecuados. Una metáfora de pesca sirve bien: BM25 junto con la búsqueda semántica lanza una red amplia, y la reclasificación ordena los resultados y conserva solo los mejores.
Antes y después
Los datos presentados para el pipeline híbrido en comparación con la búsqueda vectorial pura:
| Métrica | Solo búsqueda vectorial | Híbrido con reclasificación |
|---|---|---|
| Exactitud en la recuperación de los 5 mejores resultados | 62% | 91% |
| Exactitud de las respuestas | 58% | 87% |
| Tasa de alucinaciones | 31% | 8% |
| Reportes de usuarios sobre respuestas incorrectas | aproximadamente 3 por día | aproximadamente 2 por semana |
Un efecto secundario inesperado fue el costo. Con la cancelación de la base de datos vectorial alojada, los gastos en infraestructura disminuyeron en un 60%. BM25 funciona en una CPU, y el reclasificador solo necesita una GPU pequeña o una CPU con una latencia tolerable.
Por qué el consejo favorece las bases de datos vectoriales
Las empresas de bases de datos vectoriales han recaudado cantidades enormes de dinero, y su marketing aparece en cada tutorial, curso y video que comienza con “Paso 1: configure su base de datos vectorial”. Nadie que venda este tipo de productos se beneficia al admitir que un algoritmo de décadas de antigüedad sumado a un pequeño reordenador de resultados supera al producto en la mayoría de los escenarios.
No obstante, las bases de datos vectoriales no son inútiles. Son valiosas para:
- La búsqueda exploratoria, donde los usuarios navegan en lugar de buscar datos concretos.
- La recuperación multimodal en imágenes, audio o código.
- Colecciones masivas, con miles de millones de documentos, donde los índices BM25 resultan poco prácticos.
Para la mayoría de los sistemas RAG, como las bases de conocimiento internas, la búsqueda de documentación, los bots de soporte y las herramientas de cumplimiento, la recuperación híbrida sin un almacén vectorial dedicado ofrece mejores resultados y menor costo.
Un camino práctico de migración
No es necesario realizar un desmontaje completo. Un enfoque gradual funciona bien:
- Añada BM25 junto a la búsqueda vectorial existente. Una biblioteca de Python como rank-bm25 puede indexar los mismos fragmentos, lo cual lleva aproximadamente una hora.
- Combine los resultados con Reciprocal Rank Fusion. La fórmula de puntuación es sencilla y está bien documentada.
- Añada un reordenador cross-encoder de código abierto, ejecútelo localmente o a través de una API. Pase por él los candidatos combinados y conserve los cinco mejores.
- Mida los resultados. Cree un pequeño conjunto de evaluación, por ejemplo 50 preguntas con respuestas conocidas, y compare la precisión de la recuperación antes y después. La mejora se nota rápidamente.
- Luego pregúntese si aún se necesita la base de datos vectorial. Para muchos sistemas, no es necesario.
El patrón general
El entusiasmo rara vez apunta a la mejor opción. La elección más adecuada suele ser sencilla, directa y fácil de comprender. BM25 es sencillo, la búsqueda híbrida es directa, y los investigadores en recuperación de información han estudiado el reclasificado durante décadas. Una historia sobre el reuso de un algoritmo de 30 años no atraerá financiación de capital riesgo ni atención en las redes sociales. Una IA fiable sigue proviniendo de elegir la herramienta adecuada, incluso cuando no está de moda.
Cuando un pipeline RAG no rinde como debería, la tentación es culpar al LLM, reescribir las instrucciones o ajustar el modelo de embedding. Lo más adecuado es buscar en la fase de recuperación, porque allí suele residir el problema. La solución podría ser un método de búsqueda más antiguo y sencillo combinado con un reclasificador moderno para cerrar la brecha. A veces, avanzar significa mirar primero hacia atrás.
Leer más
- RAG sin vectores con PageIndex: recuperación mediante razonamiento en lugar de vectores — Cómo PageIndex reemplaza los embeddings y el procesamiento en fragmentos por un árbol de documentos navegado por un LLM, con un esquema paso a paso en Python y orientación sobre cuándo el RAG vectorial sigue siendo mejor.
- Razonamiento sobre un árbol de documentos en lugar de buscar vectores — PageIndex crea un índice jerárquico que permite a un LLM navegar por él, omitiendo el procesamiento en fragmentos y los embeddings. Cómo funciona, sus resultados en FinanceBench y cuándo utilizarlo.