Recuperación en una wiki de ingeniería: BM25, ventanas densas seguras para tokens y RRF
Recuperación basada en evaluación para una wiki técnica: objetivos de evidencia exacta, línea de referencia BM25, error de truncación en MiniLM, ventanas de tokens y resultados de fusión de rango recíproco.
Fuentes: Building RAG from the Corpus Up, Not the Model Down
Una idea guía todo en la fase de recuperación de este proyecto RAG basado en evaluaciones previas, que opera sobre una gran wiki de ingeniería:
Lo que se coincide y lo que se devuelve no necesariamente tienen que ser la misma cosa.
El procesamiento en fragmentos ya había generado registros de búsqueda pequeños y delimitados, manteniendo intacto cada fragmento original. Esto plantea preguntas prácticas: ¿debería la búsqueda basarse en palabras clave o en embeddings? ¿Debería un fragmento coincidente llegar directamente al modelo de lenguaje? ¿Cuántos resultados deberían devolverse? Y, ¿cómo se pueden comparar esas opciones sin recurrir a un puñado de consultas que casualmente parezcan convincentes?
La wiki es privada, por lo que los ejemplos aquí presentados son sintéticos y los detalles del corpus son escasos. Las decisiones de implementación y los resultados medidos sí son reales. Las etiquetas de relevancia siguen siendo exploratorias y no deben confundirse con la verdad objetiva en entornos de producción.
El contrato de evidencia es lo primero
No todos los registros de búsqueda cuentan como evidencia fiable. Un fragmento de encabezado común puede servir tanto como unidad de coincidencia como como unidad devuelta. Un hijo recursivo, un fragmento JSON o una ventana de código son diferentes: existen para que la búsqueda pueda encontrar una estructura más grande, y no deben sustituir a dicha estructura.
Por lo tanto, cada registro de búsqueda se resuelve en un objetivo de recuperación:
ordinary chunk -> exact chunk
recursive child -> exact parent chunk
JSON locator -> exact source document
code locator -> exact source document
Este mapeo se ejecuta antes de la clasificación final. Cuando dos elementos hijos superpuestos del mismo padre coinciden, se fusionan en un único destino, por lo que nunca se utilizan dos espacios de resultado para fragmentos que apunten a la misma evidencia.
La hidratación se realiza después de la clasificación. El recuperador toma el ID del destino y carga el fragmento original del padre o el documento de origen, conservando su contenido, ruta de origen, rango de líneas y hash. El pequeño elemento hijo permanece como parte de la cadena de coincidencias, pero no se presenta como contexto completo de la respuesta. En una frase: buscar mediante localizadores optimizados, clasificar destinos únicos y devolver evidencia fiable.
Partiendo de una base léxica
A menudo se considera que la recuperación densa es la opción predeterminada en RAG, sin embargo, una wiki técnica está llena de términos que la búsqueda léxica maneja sin esfuerzo, como nombres de API, claves de configuración, rutas, códigos de error, comandos de shell, acrónimos de empresas y nombres de servicios.
BM25 fue el primero porque es rápido, interpretable y difícil de superar en identificadores exactos. El tokenizador mantiene intactos términos como api/v2, config.yaml y error-code en lugar de eliminar los caracteres que los hacen distintivos. Cada registro se indexa junto con algo del contexto circundante:
document title
heading path
exact record content
El título y la ruta del encabezado son importantes porque un fragmento corto por sí solo puede ser ambiguo. Una frase como “Reiniciar el trabajador” dice más una vez que el índice también muestra “Operaciones > Solución de problemas > Recuperación”. Ese contexto solo se utiliza para la coincidencia y nunca se integra en el contenido de fuente oficial.
BM25 proporcionó una línea de referencia sólida y comprensible, y reveló una característica del conjunto de evaluación. Las preguntas redactadas a partir de documentos de fuente suelen reutilizar el vocabulario propio de estos, lo que favorece la búsqueda léxica. Por lo tanto, un buen resultado de BM25 en este conjunto no puede asumirse que se mantendrá en futuras consultas de los usuarios.
Recuperación densa y un error silencioso de truncamiento
La línea de base utilizada fue sentence-transformers/all-MiniLM-L6-v2, la cual genera embeddings normalizados de 384 dimensiones, por lo que la similitud coseno se reduce a un producto escalar. La primera versión incrustaba cada registro de búsqueda como una única cadena de texto. El proceso de fragmentación ya imponía un límite de palabras, lo cual parecía seguro.
Pero no lo era. Los límites de fragmentación se contaban en palabras aproximadas, mientras que MiniLM acepta como máximo 256 tokens del modelo. Las rutas, el marcado, JSON e identificadores no tienen una relación estable entre palabras y tokens, por lo que un registro dentro del límite de fragmentación aún podía sobrecargar el modelo. Sentence Transformers truncaba tales registros sin avisar. El texto cercano al final de un registro largo nunca llegaba al codificador. Aunque el contenido original existía y el fragmento se indexaba, una consulta podía no encontrar resultados porque la oración relevante había sido cortada antes de la codificación.
La lección: un límite de fragmentación no es un límite de incrustación a menos que ambos se midan con el tokenizador del modelo seleccionado.
Ventanas seguras para tokens
El índice denso corregido llama directamente al tokenizador del modelo. Para cada registro, una porción limitada del presupuesto de tokens se destina al título del documento y a la ruta de los encabezados, mientras que el resto se utiliza para el contenido. El contenido largo genera ventanas de tokens superpuestas con una sobreposición de 32 tokens. Después de compilar el texto final, se vuelve a tokenizar para confirmar que cabe dentro de 256 tokens.
search record
-> contextual prefix
-> tokenizer-aware content windows
-> normalized embedding per window
-> collapse matching windows to one retrieval target
El experimento completo generó aproximadamente el doble de ventanas densas que los registros de búsqueda de origen. Eso es esperado. Las ventanas amplían la cobertura de coincidencias, pero no añaden nuevas pruebas recuperables, ya que varias ventanas siguen resolviéndose en el mismo bloque padre o documento de origen.
Tres unidades son fáciles de confundir aquí:
- Unidad de origen: el documento original o el bloque padre exacto.
- Unidad de búsqueda: un hijo consciente de la estructura o un bloque ordinario.
- Unidad de incrustación: una ventana del texto de búsqueda del tamaño adecuado para el tokenizador.
Solo la primera cuenta como prueba. Las unidades de búsqueda e incrustación simplemente apuntan a ella.
Evaluación más allá de “estos se ven bien”
Se redactaron veinte preguntas derivadas de la fuente para abarcar patrones procedimentales, conceptuales, con muchos identificadores y de tipo transversal. Cada una enumera uno o más IDs de objetivos de recuperación relevantes. Las etiquetas se marcaron intencionadamente como pendientes de revisión. Las preguntas derivadas de la fuente prueban bien el proceso, pero conllevan dos sesgos: la redacción que imita a la fuente tiende hacia BM25, y las primeras etiquetas pueden pasar por alto otros pasajes que podrían responder razonablemente a la pregunta. Por lo tanto, las puntuaciones sirven como evidencia comparativa para este conjunto de datos y no como referencia para uso en producción.
El punto de operación fue de cinco pasajes devueltos, con tres métricas:
- MRR@5 muestra qué tan temprano aparece el primer objetivo relevante.
- Recall@5 indica qué porcentaje de las pruebas relevantes conocidas se encuentran entre los cinco primeros.
La primera comparación arrojó estos números:
- BM25 contextual: MRR@5 0.4875, Recall@5 0.5583, nDCG@5 0.4533.
- MiniLM con ventana: MRR@5 0.1392, Recall@5 0.2500, nDCG@5 0.1593.
- Híbrido con fusión de rangos recíprocos: MRR@5 0.5308, Recall@5 0.7583, nDCG@5 0.5480.
BM25 superó claramente a la recuperación densa en este conjunto de pruebas. Eso no hace que los embeddings sean inútiles. Los dos métodos de recuperación fallaron de maneras diferentes, lo que dejó espacio para su fusión.
Recuperación híbrida sin índice híbrido
Los índices BM25 y densos permanecen separados, y sus resultados ordenados se fusionan mediante la fusión de rangos recíprocos. Para un objetivo d, la puntuación fusionada es la suma, entre los métodos de recuperación, de 1 dividido por (k más el rango de ese método para d), siendo k igual a 60 en este experimento.
Cada recuperador proporciona sus 10 objetivos únicos principales; la fusión combina esas clasificaciones y se devuelven los cinco pasajes mejor calificados. Las puntuaciones léxicas y de densidad nunca necesitan ser calibradas entre sí, ya que la fusión tiene en cuenta las posiciones en la clasificación y no las magnitudes brutas de las puntuaciones.
El Recall@5 aumentó de 0.5583 con BM25 por sí solo a 0.7583, y también mejoraron el ranking de primer hit y el nDCG. En este conjunto exploratorio, las coincidencias densas complementarias fueron útiles a pesar de que la recuperación basada en densidad era débil por sí sola.
La implementación consiste en un recuperador coordinador y no en un tercer índice físico:
query
-> BM25 top 10 targets
-> dense top 10 targets
-> target-level RRF
-> top 5 targets
-> exact parent/source hydration
También registra el rango de cada recuperador y el localizador correspondiente. Esa información permite explicar cualquier resultado, indicando si fue BM25, la recuperación densa o ambos los encontraron, y qué subsección o ventana de incrustación condujo al objetivo fiable.
Diversidad que tuvo efectos negativos
A veces, la salida híbrida incluía varios fragmentos de un mismo documento, lo que parecía redundante. Se probó un selector de máximo por documento; la salida se volvió más variada, pero la calidad de la recuperación disminuyó. En documentación procedural o profundamente estructurada, pueden ser necesarias varias secciones de una misma página. La diversidad de documentos funcionaba como preferencia visual y no como señal de relevancia. El selector permanece disponible para experimentos futuros, pero está desactivado por defecto.
Distinción importante: los documentos repetidos no constituyen pruebas repetidas. Es correcto combinar los resultados de los hijos que apuntan al mismo objetivo. Descartar secciones relevantes distintas solo porque comparten un documento es una decisión separada que requiere pruebas específicas para la tarea.
Garantías del camino final
- BM25 e índices densos abarcan los mismos registros de búsqueda contextual.
- Los registros densos se procesan mediante ventanas según el límite real de tokens del modelo.
- Las coincidencias entre hijos y ventanas se combinan en objetivos únicos de recuperación.
- Fusion combina diez candidatos de cada recuperador sin calibración de puntuaciones.
- Se devuelven cinco fragmentos exactos del documento padre o documentos de origen.
- El contenido original y los hashes mantienen su autoridad.
- Las clasificaciones por recuperador y la línea de descendencia de los locadores coincidentes siguen siendo inspeccionables.
- La diversidad de documentos solo se aplica cuando las pruebas demuestran que es útil.
El retriever es intencionalmente sencillo. Coordina los índices existentes, la fusión y la hidratación, sin ocultar el comportamiento detrás de una abstracción del marco ni agregar otro almacén de datos.
Qué falta aún
El sistema ahora puede tomar una consulta y devolver cinco pasajes clasificados con evidencia exacta, indicando de dónde proviene cada uno y comparar las opciones de recuperación mediante métricas reproducibles. Eso aún no constituye un sistema RAG completo. La siguiente etapa debe decidir cómo se ensamblan los pasajes en un contexto del modelo, qué tipo de citas son necesarias, cómo se manejan las evidencias contradictorias o insuficientes y cuándo el sistema debe abstenerse. Las métricas de recuperación también necesitan estar vinculadas a la fidelidad a nivel de respuesta y a la corrección de las citas, para que las respuestas generadas mantengan una clara distinción entre lo que establece la wiki y lo que simplemente conoce el modelo.
Lecturas relacionadas
- Enriquecimiento de metadatos en RAG: filtros, citaciones, frescura y control de acceso — Por qué un sistema RAG devuelve la política de la región incorrecta, y cómo los metadatos de origen, organizacionales, temporales y de seguridad corrigen la recuperación de información al adjuntarse durante la ingesta.
- MultiDocFusion: particionamiento consciente de la jerarquía para RAG en PDFs largos — Cómo la detección de layout, el OCR, un modelo LLM basado en árboles de encabezados y el agrupamiento mediante DFS mantienen el contexto de cada sección en cada trozo, logrando mejoras en la recuperación del 8-15% y dos consideraciones sobre el tamaño del índice.