Cincuenta años de investigación en recuperación de información oculta dentro de tu pipeline RAG

Una espiral de fragmentación que no arregló nada

Imagínese crear un flujo de trabajo para un cliente financiero y pasar varias noches en vela por cuestiones relacionadas con el tamaño de los fragmentos. La escala comienza en 256 tokens, aumenta a 512 y luego a 1024, vuelve a 512 con una superposición de 64 tokens, y finaliza en 384 porque así lo indicó un hilo de foro. Un cuaderno contiene un pequeño conjunto de herramientas de evaluación, y dos asistentes de chat se encuentran en otras pestañas. A uno de ellos se le hacen preguntas sobre la estrategia de fragmentación como si fuera un ingeniero senior, y sus respuestas se comparan con lo que se publicó en Internet ese mes. El trabajo parece explorar una frontera, y cada ronda termina con un ganador y un gráfico.

Luego el corpus crece. Cuantos más documentos se ingresan en el almacén de vectores, peor es la recuperación de información. Lo que parecía preciso en una muestra pequeña se vuelve poco fiable a gran escala, devolviendo pasajes que están cerca en el espacio vectorial pero que en realidad son inútiles. La reacción natural es ajustar con más rigor el proceso de particionamiento, ya que todos saben cómo manipular ese parámetro. Pasan los días, y cada ajuste se interpreta erróneamente como progreso. Nada de esto aborda el problema real.

Entonces un compañero echa un vistazo a la configuración y pregunta, sin ningún matiz irónico, “¿qué es BM25?”. No hay una respuesta clara lista. BM25 es antiguo y se considera algo similar a “una búsqueda por palabras clave”, algo que todos supuestamente ya dejaron atrás. Lo que realmente demuestra ese momento es que todo el esfuerzo se ha desarrollado dentro de una conversación de cincuenta años sin aprender los nombres de las personas ya involucradas.

Esa es la confesión detrás de este texto, y es aplicable en general. Casi cada paso del proceso de “construcción de RAG” ya tiene un nombre, y la mayoría de esos nombres corresponden a fechas anteriores a las personas que venden esas ideas acompañadas de un presentación. Esos vendedores, por lo general, tampoco conocen el origen de esos nombres. Los términos “nosotros” y “el campo” utilizados aquí se refieren a los profesionales en general, y cada uno de estos errores es común.

Otros también han notado este patrón. Un ingeniero de búsquedas con larga experiencia de Vespa escribió en 2024 que los pipelines híbridos de recuperación y clasificación permiten combinar señales provenientes de métodos no supervisados como BM25 con clasificadores neuronales supervisados. Extraer documentos para incluirlos en una solicitud corresponde a la recuperación de información, y esta tarea va mucho más allá de un simple puntaje de coseno, abarcando la reescritura de consultas, la fusión de datos, la reclasificación y la recuperación por fases. Un ingeniero experimentado en relevancia ha planteado repetidamente un punto similar: la recuperación de información no ha desaparecido, simplemente se ha mantenido en la sombra, funcionando silenciosamente para gestionar el mundo.

Ambas observaciones son válidas, aunque la afirmación de que “RAG es simplemente recuperación de información” es un eslogan, y los eslóganes no cuestan nada. Lo que realmente cambia los hábitos de trabajo es analizar los resultados concretos. A continuación se presenta un mapa de esos resultados, uno que no comienza en 2020, sin eliminar los primeros cincuenta años de historia.

Fragmentación, embeddings y significado

Comience con el fragmentado, donde comenzó la confusión. Dividir los documentos en pasajes en lugar de tratarlos como un todo es una idea que existe desde hace décadas. La recuperación de pasajes ya era un tema de investigación en 1993 (Salton, Allan y Buckley), y Callan analizó las pruebas a nivel de pasaje al año siguiente. Para 1997, Kaszkiel y Zobel publicaron “Passage Retrieval Revisited”, por lo que el tema era lo suficientemente antiguo como para requerir una revisión. Sus experimentos sobre el tamaño y la segmentación de los pasajes revelaron que los pasajes de longitud fija sencilla tenían un rendimiento sorprendentemente bueno, algo que precisamente se logra nuevamente mediante métodos peores tras realizar análisis repetidos del tamaño de los fragmentos.

TextTiling, desarrollado por Marti Hearst en el mismo año, establece los límites donde realmente cambia el tema e ignora los conteos de tokens. Los proveedores actuales de “fragmentación semántica” revenden esa idea, y el artículo original data de antes de que la mayoría de sus fundadores tuvieran su primer ordenador.

A continuación está el embedding, que parece ser el paso verdaderamente moderno que diferencia a las personas del grupo de quienes solo utilizan palabras clave. La representación de documentos y consultas como vectores y su puntuación mediante el coseno se remonta a Salton, Wong y Yang en 1975, con el modelo de espacio vectorial. La idea de otorgar mayor importancia a los términos poco frecuentes, tarea que hoy en día un modelo de embedding asume en sus parámetros, fue propuesta por Karen Spärck Jones en 1972. Y el paso que generalmente se considera el corazón de este proceso, el que permite la correspondencia por significado en lugar de por palabras literales, de modo que las diferencias en el vocabulario dejen de ser relevantes, es el Análisis Semántico Latente, publicado por Deerwester y sus colegas en 1990, el cual utiliza la descomposición SVD de la matriz término-documento para revelar estructuras ocultas.

Reemplazar el SVD por un transformador permitió que muchas personas afirmaran que la idea les pertenecía. El transformador representa una mejora real y no solo cosmética, ya que analiza cada palabra teniendo en cuenta las palabras que la rodean, algo que un vector LSA estático nunca podría hacer. El principio subyacente permaneció igual: el significado tiene prioridad sobre la forma superficial.

Fusión, reescritura de consultas y reclasificación

La búsqueda híbrida es la opción preferida actualmente, ya que combina las puntuaciones léxicas y de densidad, haciendo que todos se sientan inteligentes. El método de combinación incluido en Elasticsearch, OpenSearch, Weaviate y Azure AI Search es la fusión de rangos recíprocos, introducida por Cormack, Clarke y Büttcher en SIGIR 2009. Un detalle de ese artículo merece más atención de la que recibe: una fusión extremadamente sencilla que utiliza una constante de 60, sin ajustes, superó a los sistemas entrenados para la clasificación de resultados con los que se comparó. Un valor predeterminado sin ajustar superó a modelos que las personas habían entrenado. La combinación de resultados de varios motores ya era una práctica habitual en 1994, cuando Fox y Shaw la implementaron mediante CombSUM y CombMNZ.

La reescritura de consultas es un área en la que este enfoque puede resultar problemático. En HyDE, un modelo crea un documento de respuesta falso y el sistema lo inserta en lugar de la pregunta, basándose en la idea de que una respuesta incorrecta plausible está más cerca de los documentos correctos que la pregunta misma. Es un truco ingenioso, pero también recuerda al método de Rocchio de 1971.

El feedback de relevancia de Rocchio desvía el vector de consulta hacia los documentos que parecen relevantes y lejos de aquellos que no lo son. El feedback pseudo de relevancia de Croft y Harper de 1979 realiza el mismo desvío sin ninguna intervención humana, simplemente suponiendo que los resultados mejor clasificados son lo suficientemente buenos como para aprender de ellos. Visto de esta manera, HyDE es un feedback pseudo de relevancia neuronal, la misma estrategia aplicada mediante un modelo transformer muchos años después. Su artículo no cita a Rocchio, lo que demuestra que el olvido no se limita a los tutoriales y hilos de foro, y a veces llega incluso a los propios artículos.

El trabajo anterior también asignó un nombre al problema que afecta a los sistemas de estilo HyDE en producción: la deriva de consultas. Cuando los resultados principales son de mala calidad, ampliar la consulta a partir de ellos empeora aún más la situación, y por eso los expertos aplicaban el mecanismo de retroalimentación una sola vez y luego lo dejaban. Los bucles agentes ahora lo repiten una y otra vez, y luego todos actúan como si sorprendieran cuando la recuperación de resultados se desvía hacia temas no relacionados.

Los elementos restantes siguen el mismo patrón. Un reclasificador mediante codificador cruzado, añadido después de la recuperación en la primera etapa para mejorar los resultados principales, constituye una cascada de dos etapas. El ranking en cascada fue formalizado por Wang, Lin y Metzler en 2011, y RankNet introdujo un clasificador neuronal para el aprendizaje de rankings en 2005. Un flujo de trabajo que ejecuta BM25 y luego un codificador cruzado, lanzado varias veces en un mismo año, es una cascada estándar de dos etapas bajo otro nombre.

La evaluación es donde más duele

La evaluación es el área donde la lección duele más, porque se maneja de la peor manera. La práctica de congelar un corpus, escribir consultas de prueba, recopilar juicios de relevancia realizados por humanos y utilizar sistemas de puntuación fuera de línea constituye el paradigma de Cranfield, que data de 1966, de Cleverdon y sus colegas. NIST amplió este enfoque a partir de 1992, y Voorhees y Harman lo documentaron en un libro de 2005. El método de agrupamiento, que permite evaluar los resultados sin leer toda la colección, surgió de ese trabajo hace décadas, al igual que métricas significativas como MAP y nDCG.

Una “evaluación” típica de RAG es un pariente diminuto e no documentado de este enfoque. No existen juicios de relevancia, un LLM no validado actúa como evaluador, y el conjunto de prueba se compone en secreto con consultas que resultaron funcionales desde un principio.

El IR clásico tiene un nombre poco halagüeño para esa última práctica: muestreo en la variable dependiente. Al construir la evaluación a partir de consultas cuyo funcionamiento es conocido, se garantiza un resultado positivo, pero el sistema falla con todo aquello que nadie se molestó en probar. Estos fallos se denominan “alucinaciones” porque no existe ningún indicador que señale la causa real. El conjunto manipulado sigue teniendo cierto valor, ya que detecta verdaderas regresiones en las consultas que son importantes para los usuarios, pero no dice nada sobre las preguntas que nadie planteó, y son precisamente esas las que fallan en el entorno de producción. En el proceso financiero, esto ocurrió con la primera pregunta fuera de ese conjunto, como una cifra por encima de un umbral o un rango de fechas, la forma habitual de las consultas financieras que nadie había probado.

Los números son más difíciles de discutir. Considere la suposición que llevó a las personas a ajustar los tamaños de los bloques cuando deberían haber utilizado un valor de referencia: que la recuperación densa supera por defecto a la búsqueda léxica. El estudio BEIR realizado por Thakur y sus colegas en 2021 comparó diez sistemas contra dieciocho conjuntos de datos y arrojó un hallazgo que merece incluirse en cada repositorio RAG. El rendimiento en el dominio de entrenamiento dice poco sobre el rendimiento en otros lugares. BM25 quedó siete a dieciocho puntos por detrás de los modelos neuronales con datos del mismo dominio, pero superó a la mayoría de ellos una vez que los datos provenían de una distribución diferente. El bi-encoder denso más potente solo ganó en ocho de los dieciocho conjuntos de datos.

Un corpus financiero de nicho es precisamente ese material especializado y fuera de la distribución habitual del que advierte BEIR. La suposición de que el método dense seguiría siendo el mejor era tan absoluta que nadie realizó la prueba de referencia léxica, a pesar de que el artículo que la recomendaba ya estaba publicado desde hacía cuatro años.

Es necesario ser cauteloso, ya que el umbral de rendimiento sigue cambiando. Algunas listas de clasificación comerciales actualmente indican que el método dense supera a BM25 entre un quince y un veinticinco por ciento en los resultados de BEIR. Es posible, pero esas cifras provienen de proveedores bajo condiciones elegidas por ellos mismos, por lo que merecen la misma desconfianza que cualquier prueba de rendimiento realizada por su propio vendedor. Los trabajos revisados por pares siguen llegando a la misma conclusión sencilla y correcta: BM25 es una buena referencia y el método híbrido es la opción segura por defecto. Si eso cambia, debería ser demostrado por alguien que no tenga nada que vender.

Un hábito más triste y antiguo es derribar líneas de base débiles y llamar progreso al resultado. El artículo de Jimmy Lin de 2018, con el título encantadoramente irónico “The Neural Hype and Comparisons Against Weak Baselines”, sostenía que muchas victorias de los métodos neuronales se debían a que superaban a una configuración BM25 que nadie se había tomado la molestia de ajustar. Un estudio posterior de 2019 analizó años de artículos basados en una colección estándar de pruebas y no encontró ninguna tendencia al alza en su eficacia; las mejores cifras publicadas tenían diez años de antigüedad y nada más reciente se acercaba a ellas. Por lo tanto, cuando un benchmark de RAG muestra que los vectores simplifican la “búsqueda por palabras clave”, la primera solicitud debería realizarse con la configuración BM25. El resultado más común en este campo es que un método antiguo y eficaz pierda frente a una copia descuidada de sí mismo.

Prejuicio de posición, redescubierto

El sesgo de posición es ese hallazgo que resulta gracioso de una manera inapropiada. En “Lost in the Middle” (Liu y colaboradores, 2023), los modelos utilizaron la información de mejor manera cuando esta aparecía al principio o al final del contexto y de peor manera en el medio, siguiendo una curva en forma de U. Los resultados son contundentes: en tareas de respuesta a preguntas con veinte o treinta documentos recuperados, GPT-3.5-Turbo obtuvo resultados peores cuando la respuesta estaba en el medio, en comparación con su puntaje del 56.1 por ciento al responder sin consultar fuentes, por lo que incluir contexto adicional empeoró sus resultados en lugar de mejorarlos. En una prueba sintética, los modelos más débiles obtuvieron menos del cuarenta por ciento de acierto cuando el objetivo se encontraba en medio de la entrada, y la forma de U se observó en GPT-4, Claude y varios modelos abiertos. El campo trató esto como una noticia sobre una nueva máquina exótica.

Joachims y sus colegas realizaron un estudio de seguimiento ocular en 2005 sobre cómo las personas leen los resultados de búsqueda ordenados, y lo repitieron en 2007. La atención se concentraba en la parte superior de la lista, y los usuarios seguían haciendo clic en el enlace más arriba incluso cuando algo en una posición inferior era más relevante. La literatura especializada lo denominó sesgo de confianza. El orden en que se presentan las pruebas afecta la forma en que se utilizan, independientemente de si esas pruebas son válidas o no, y esto ya se conocía sobre los seres humanos dieciocho años antes de que alguien lo “descubriera” en modelos.

La analogía no es perfecta, y afirmar que es exacta cometería el mismo error del que se critica. El sesgo de posición clásico es monotónico, más intenso en la parte superior y disminuyendo a medida que se avanza en la lista, mientras que el efecto del modelo tiene forma de U, con una zona muerta en el centro y un aumento tardío debido a la recencia. Las formas difieren a pesar de compartir la misma familia de problemas. La versión del modelo también es inestable: trabajos posteriores, algunos de 2025, muestran que la penalización en el centro cambia a medida que las entradas se acercan al límite de contexto en lugar de desaparecer. Esa es otra razón para no considerar “Lost in the Middle” como una autoridad indiscutible. Lo que permanece es el hecho de que el orden distorsiona el uso, y la curva precisa es un objetivo en constante cambio, lo cual aboga por la medición en lugar del memorizado.

Donde se agotan los mapas antiguos

Ceder terreno hace que la eliminación sea menos satisfactoria, pero detenerse en los criterios de relevancia daría como resultado una eliminación “inteligente”, que en realidad es una forma de equivocarse de forma prolongada. Los mapas antiguos sí se agotan, y los lugares donde fallan son los más importantes.

La ruptura más profunda se refiere a quién o qué realiza la lectura. Durante medio siglo, una persona revisaba una lista ordenada, por lo que la relevancia significaba lo que un ser humano podía juzgar a simple vista. Ahora es un generador el que realiza la lectura, y investigaciones recientes lo dejan claro: se trata de una búsqueda dirigida a una IA, no a una persona. Por lo tanto, la relevancia depende de su entorno y es difícil de especificar de antemano.

Este cambio invierte por completo las suposiciones anteriores. Un artículo publicado en 2024 en SIGIR por Cuconasu y sus colegas, titulado “The Power of Noise”, realizó el experimento. Se esperaba un resultado: los documentos con la puntuación más alta del sistema de recuperación generaban resultados de menor calidad cuando eran similares en tema pero carecían de la respuesta. El otro resultado fue sorprendente: documentos aleatorios e irrelevantes aumentaron la precisión hasta en un treinta y cinco por ciento. Cranfield consideraba la relevancia de un documento como una propiedad independiente y aditiva. En RAG, la utilidad de un pasaje depende de todo lo demás en el contexto y de cómo el generador lo combina. La unidad básica de relevancia cambió, y la mayoría de las métricas siguen contando con la unidad anterior.

Otro modo de fallo no tiene un antepasado clásico, ya que los sistemas antiguos no podían generarlo. El IR clásico podía obtener resultados de mala calidad, pero no podía mentir. Devolvía documentos que realmente existían, y nunca escribía un párrafo fluido y convincente que contradijera abiertamente a esos documentos. La fidelidad, es decir, si el texto generado está realmente respaldado por lo que se recuperó, constituye un nuevo criterio. Herramientas como RAGAS, que aparecieron en 2023, miden algo que todo el campo anterior nunca tuvo que nombrar.

La recuperación por agente solo es parcialmente nueva. Una solicitud de búsqueda es algo antiguo. Lo que difiere es un modelo que descompone una pregunta, emite sus propias subconsultas, lee los resultados y modifica su plan, lo que equivale a un bucle de control autónomo alrededor de la recuperación habitual. Ese bucle es la innovación. Los proyectos DSP y DSPy de Khattab representan un enfoque serio al respecto, y es lógico que provengan de alguien versado en la literatura anterior.

También es necesario replantear el aspecto de la puntuación. nDCG, MAP y MRR evalúan una lista ordenada desde la perspectiva de una persona que la consulta, pero no indican si la respuesta generada final es correcta, completa y fundamentada. Importar las métricas antiguas sin cambios no resuelve el problema.

Los investigadores siguen existiendo

Las personas que construyeron todo esto no se retiraron a la playa. Varios de ellos siguen trabajando en silencio para integrar RAG en la tradición de evaluación que este había ignorado durante dos años.

Jimmy Lin mantiene Anserini y Pyserini, herramientas que reducen un BM25 bien ajustado a una sola orden, lo que elimina la excusa de usar bases de referencia débiles. Tras los artículos críticos sobre el “hype neuronal” que publicó, en 2019 escribió “The Neural Hype, Justified! A Recantation”, reconociendo que, frente a bases de referencia sólidas, los métodos neuronales de la era BERT sí lograban mejoras en entornos con pocos recursos. Antes había afirmado que el campo estaba sobreexagerado, pero tras examinar pruebas más sólidas cambió de opinión y, aun así, tenía razón en parte respecto al hype. Esa actitud merece ser adoptada por ambos lados: los veteranos deben acercarse al trabajo nuevo, mientras que los recién llegados deben leer lo suficiente en el pasado para comprender qué están actualizando.

Bhaskar Mitra y Nick Craswell escribieron en 2018 un manual introductorio sobre IR neuronal que situó firmemente a los modelos neuronales dentro de la tradición clásica y trató a BM25 como un punto de referencia que merecía respeto. A partir de 2019 lideraron la sección de Aprendizaje Profundo de TREC, evaluando toda la era neuronal con las colecciones combinadas y reutilizables que Cranfield y TREC habían perfeccionado durante décadas. La revolución fue evaluada utilizando los instrumentos del campo tradicional, por las personas que los habían creado, y superó la prueba. El rigor había sido portable desde el principio, para quien lo deseara.

Ellen Voorhees y Donna Harman editaron la obra estándar sobre la evaluación en TREC. Voorhees dedicó años a analizar un hecho problemático: los juicios de relevancia realizados por humanos chocan entre sí, lo cual representa precisamente la dificultad que enfrenta quien intente reemplazar a los evaluadores humanos por un LLM. Cuando la comunidad de IR consideró esa sustitución, argumentó su caso por escrito y advirtió a los investigadores que ello podría dañar silenciosamente la ciencia. Los datos piloto mostraron que los juicios del modelo seguían a los humanos con un valor de Kendall’s tau cercano al 0,86. Eso parece alentador, pero una correlación por sí sola no revela en qué puntos difieren ambos, y las discrepancias relevantes se dan en documentos marginales que deciden cuál sistema resulta ganador.

Ya existe una categoría para esto. En 2024, NIST inició una categoría TREC RAG con 301 temas basada en una colección MS MARCO deduplicada que contenía 113 millones de pasajes. Aquellos que consideran que la evaluación consiste en ejecutar pytest deberían examinar el arduo trabajo que implica crear un conjunto de pruebas fiable. Esta categoría evalúa la recuperación de información relevante, lo que trae el antiguo método de Voorhees al ámbito de los LLM, así como el soporte en citas, que verifica que las afirmaciones generadas estén respaldadas por pasajes recuperados. En 2025, las consultas pasaron de ser cadenas cortas de palabras clave a narrativas largas, complejas y formadas por varias oraciones, más cercanas a la forma en que llegan las preguntas reales. La estructura existente no desapareció; en su lugar se creó una nueva categoría e se incorporó el enfoque RAG, lo cual es una decisión muy típica de TREC.

¿Qué cambia cuando se lee la historia?

La recuperación de información no ha muerto, y RAG no cambió todo. Cualquiera que promueva una de estas versiones merece ser sospechoso, ya que ambas permiten a una persona evitar el trabajo necesario. La verdad es más sencilla y útil. El campo ha adquirido una forma notable de procesar el texto recuperado, pero en la prisa se han descartado cincuenta años de conocimientos acumulados sobre cómo hacerlo bien.

Ese conocimiento puede recuperarse en cualquier momento. El grafo de citaciones es público, las pruebas de rendimiento también lo son, y los investigadores siguen activos y, por reputación, se sorprenden gratamente cuando alguien más joven plantea una pregunta bien fundamentada.

Los cambios prácticos se han diseñado intencionadamente para ser aburridos:

• Ajuste la línea de base BM25 antes de modificar los embeddings.
• Construya conjuntos de evaluación a partir de las consultas que generan preocupación, y omita aquellas que ya funcionan bien.

Considere la sección de trabajos relacionados como el lugar donde un campo mantiene su memoria, y siga las citaciones hacia atrás hasta que se detengan.

Nada de esto genera la emoción que supone ajustar el tamaño de los bloques. Una línea de referencia que se espera que gane carece de la emoción que conlleva redescubrir un límite, y esa falta de emoción tiene un costo real. También separa un proceso que funciona bien en pruebas de uno que funciona mal con un corpus que nadie ha procesado.

El compañero de equipo que preguntó sobre BM25 no estaba desactualizado. Había recibido el mismo mapa que todos los demás, una versión que comienza en 2020 sin los primeros cincuenta años. La solución es localizar las páginas faltantes, y lo afortunado es que nunca se perdieron; simplemente la gente dejó de leerlas.

Los artículos originales, agrupados

Leer al menos uno de estos es mejor que fiarse de lo que digan otros.

Pasajes, fragmentación y embeddings:

• Salton, Allan y Buckley (1993), sobre la recuperación de pasajes en sistemas de texto completo, años antes de que la web contara con un motor de búsqueda.
• Callan (1994), “Passage-Level Evidence in Document Retrieval”, en el que se compararon párrafos y pasajes de ventana fija dentro de un sistema real de recuperación de información. La “estrategia de fragmentación” tiene un precursor.
• Kaszkiel y Zobel (1997), “Passage Retrieval Revisited”, cuyos experimentos con el tamaño de los pasajes demostraron que los pasajes de longitud fija eran eficaces, un resultado que cualquier herramienta de evaluación volvería a descubrir si se le permitiera.
• Hearst (1997), “TextTiling”, sobre la división del texto cuando cambia el subtema. Cada enfoque de fragmentación semántica cuenta con una cita anterior.
• Salton, Wong y Yang (1975), el modelo de espacio vectorial, que en 1975 describió la operación que realiza una base de datos vectorial en el momento de la consulta.

Spärck Jones (1972), sobre la especificidad de los términos y el origen del idf, que los modelos de embedding aprenden ahora de forma automática.

Deerwester y colaboradores (1990), “Indexing by Latent Semantic Analysis”, cuyo método de SVD sobre una matriz de términos-documentos es la idea que muchas personas creen que se inventó en 2020.

Fusión, retroalimentación y reclasificación:

• Cormack, Clarke y Büttcher (2009), fusión de rangos recíprocos, el método de búsqueda híbrida utilizado en varios motores importantes, con una constante no ajustada de 60 que superó a los métodos entrenados.
• Fox y Shaw (1994), combinación de múltiples búsquedas, siendo CombSUM y CombMNZ ya métodos habituales en ese ámbito.
• Gao, Ma, Lin y Callan (2022), el artículo HyDE, un ingenioso truco de respuesta falsa que, en esencia, representa una retroalimentación de pseudo-relevancia de tipo neuronal.
• Rocchio (1971), el método original de retroalimentación de relevancia, que orienta la consulta hacia lo que parece relevante.
• Croft y Harper (1979), retroalimentación de pseudo-relevancia, también denominada deriva de consultas.
• Wang, Lin y Metzler (2011), el modelo formal de clasificación en cascada que subyace a los pipelines BM25-then-cross-encoder.
• Burges y colaboradores (2005), RankNet, prueba de que en 2005 ya existía un clasificador neuronal funcional para el aprendizaje por clasificación.

Evaluación:

• Cleverdon, Mills y Keen (1966), Cranfield II, el modelo de sesenta años de antigüedad que incluye corpus, consultas, juicios y puntuación fuera de línea.
• Voorhees y Harman (2005), el libro de evaluación TREC, sobre cómo probar sistemas de recuperación sin engañarse a sí mismo.
• Järvelin y Kekäläinen (2002), el origen del nDCG y su justificación.
• Voorhees (2000), sobre cuán a menudo difieren los jueces humanos, el problema exacto que motiva la sustitución por un juez basado en LLM.
• Faggioli, Dietz, Clarke y colaboradores (2023), perspectivas sobre los LLMs para el juicio de relevancia, de donde proviene la advertencia sobre la corrupción de la ciencia.
• Mitra y Craswell (2018), la introducción a la IR neuronal que sitúa a los modelos neuronales dentro de la tradición clásica.
• Craswell y colaboradores (2019), resumen de la sección de Aprendizaje Profundo en TREC 2019.

Resultados empíricos:

• Thakur y colaboradores (2021), BEIR, el estudio que demuestra que BM25 supera a la mayoría de los modelos densos fuera de su distribución.
• Lin (2018) y Yang, Lu, Yang y Lin (2019), sobre líneas base débiles y la falta de tendencia al alza en la efectividad.
• Lin (2019), la retractación, un crítico que cambia de opinión en una publicación impresa.
• Liu y colaboradores (2023, publicado en 2024), “Perdidos en el medio”.
• Joachims y colaboradores (2005, con un seguimiento en 2007), sobre el clic como retroalimentación implícita y el sesgo de confianza que expone.
• Veseli, Chibane, Toneva y Koller (2025), sobre los sesgos posicionales que cambian a medida que las entradas se acercan al límite de la ventana de contexto.

Lo realmente nuevo:

• Cuconasu y colaboradores (2024), “El poder del ruido”, donde documentos aleatorios e irrelevantes mejoraron la precisión.
• Es, James, Espinosa-Anke y Schockaert (2023), RAGAS, herramientas para medir la fidelidad.
• Khattab y colaboradores (2022 y 2023), Demonstrate-Search-Predict y DSPy, la versión avanzada de la recuperación agente.
• La categoría RAG de TREC 2024 en NIST, con 301 temas, 113 millones de pasajes, recuperación de fragmentos relevantes y soporte para citas.

Lecturas relacionadas

• Notas prácticas: ¿Qué es la generación aumentada con recuperación de evidencia (RAG)? Un enfoque práctico — Guía paso a paso de las Notas prácticas: ¿Qué es la generación aumentada con recuperación de evidencia (RAG)? Un enfoque práctico: contratos, verificaciones y espacios para código listo para usar para los equipos que implementan este patrón.
• De la predicción del siguiente token al código funcional: cómo generan Python los LLM — Explicación ordenada de tokens, softmax, temperatura, atención automática y capas feed-forward, con un ejemplo paso a paso de clasificación y los límites inherentes a la predicción.

Auditoría de confirmaciones de órdenes que un agente nunca realizó: verificación de valores en lugar de redacción — Cómo crear un evaluador de coherencia de claimes para un agente de soporte que realiza órdenes reales: dividir los resultados por propietario y verificar los identificadores contra los resultados de la herramienta.