Inicio / Artículos

Por qué existe RAG: memoria paramétrica, recuperación densa y el artículo de 2020.

Por qué existe RAG: los límites de la memoria paramétrica, cómo BM25 y los embeddings dieron lugar a una recuperación densa, y qué compromisos se realizan entre RAG-Sequence y RAG-Token en el artículo.

Editor: REACTAPP.TOP7 min de lectura1677 palabras

Fuentes: What Is RAG? The Story Behind Retrieval-Augmented Generation and Why It Changed AI Forever

No existe una única forma correcta de construir un sistema RAG. Cada problema empresarial requiere su propia arquitectura para escalar, y cada estrategia de recuperación tiene sus compromisos, por lo que un diseño adecuado para un bot de soporte podría fallar en la investigación legal. Este campo también evoluciona rápidamente. En 2020, cuando apareció por primera vez la generación mejorada por recuperación de información, los modelos de lenguaje eran mucho más débiles que ahora. Desde entonces, la capacidad de razonamiento, el seguimiento de instrucciones, la comprensión multimodal, las ventanas de contexto y el uso de herramientas han mejorado enormemente. El RAG sigue siendo una técnica fundamental para aplicaciones de IA fiables, ya que incluso el modelo más potente no puede saberlo todo ni acceder siempre a la información más reciente. La recuperación de conocimientos relevantes de fuentes externas reduce las alucinaciones y mantiene las respuestas basadas en material fiable.

Hoy en día, esta técnica está detrás de plataformas de soporte y chatbots empresariales, asistentes de programación, herramientas de investigación legal, aplicaciones clínicas, sistemas financieros y ayudantes de conocimiento interno. Aun así, muchos tutoriales pasan directamente a las bases de datos vectoriales, los embeddings o el código de LangChain sin preguntarse nunca por qué se inventó RAG en primer lugar.Responder a esta pregunta comienza con la investigación original y continúa con las ideas de ingeniería detrás de los sistemas de producción modernos, incluyendo por qué se tomaron ciertas decisiones de diseño, cuál fue su costo y cómo han cambiado.

El límite de lo que sabe un modelo

Cuando los modelos al estilo GPT demostraron por primera vez una asombrosa comprensión del lenguaje, muchas personas supusieron que podían responder a casi cualquier pregunta. Hasta cierto punto, era así. El entrenamiento con enormes conjuntos de datos les enseñó hechos sobre historia, ciencia, programación, matemáticas y literatura. Pero todo lo que el modelo “sabía” quedó comprimido en sus parámetros durante el entrenamiento, y cuando este finalizó ese conocimiento se congeló.

La gente trabaja de manera más o menos similar. Los expertos no se basan únicamente en la memoria. Un cardiólogo que se encuentra con una enfermedad rara o un tratamiento recién aprobado primero revisa las guías clínicas actuales o la literatura médica. Un desarrollador experimentado en Python a quien le piden trasladar una aplicación grande a Java no conoce automáticamente cada framework de Java ni las mejores prácticas para hacerlo sin afectar el rendimiento o la experiencia del usuario. Leen la documentación de Java, eligen un framework como Spring según el alcance de la aplicación y siguen consultando guías de migración y documentación del proyecto en todo momento. La habilidad ya está presente, y los materiales externos proporcionan el contexto necesario para resolver el problema con precisión.

Los modelos de lenguaje enfrentan el mismo problema. Su conocimiento general es sólido, pero si se les pregunta sobre algo ocurrido después de la fecha de corte de su entrenamiento, como un documento interno de la empresa o la política más reciente de una organización, no tienen nada en lo que basarse. Peor aún, donde una persona admitiría su incertidumbre, un modelo suele generar una respuesta fluida, segura y factualmente incorrecta, fenómeno ahora conocido como alucinación.

Tampoco era realista volver a entrenarlos cada vez que aparecía nueva información, ya que los modelos de vanguardia requieren una enorme cantidad de recursos computacionales, dinero y tiempo. Los investigadores necesitaban una forma de que los modelos pudieran acceder a información relevante externa en el momento de responder, sin necesidad de reentrenamiento. Esa necesidad dio origen a la Generación Aumentada por Búsqueda y sentó las bases para muchas de las técnicas actuales de ingeniería de contexto, cuyo objetivo es proporcionar al modelo la información adecuada en el momento oportuno.

Dos tipos de memoria

Para entender por qué era importante RAG, ayuda separar dos tipos de memoria. La memoria paramétrica es el conocimiento almacenado en los parámetros aprendidos por un modelo: patrones, conceptos, capacidad lingüística y hechos adquiridos durante el entrenamiento. Tiene limitaciones reales:

  • No se puede actualizar fácilmente.
  • Puede estar desactualizada.
  • Los hechos poco comunes pueden desaparecer.
  • Ningún modelo puede memorizar todos los documentos que se han escrito jamás.

RAG introdujo la memoria no paramétrica: conocimiento que se mantiene fuera del modelo, en documentos, bases de datos o un corpus indexado que se busca mientras el modelo responde. En lugar de basarse únicamente en lo memorizado meses atrás, el modelo obtiene el material relevante según sea necesario antes de redactar una respuesta. Esa idea sencilla cambió la forma en que los sistemas de IA pueden manejar conocimientos en constante cambio.

Recuperación de información antes de los modelos de lenguaje

La recuperación de información precede a los modelos de lenguaje grande. Los motores de búsqueda han enfrentado durante mucho tiempo un problema similar: dado que existen millones de documentos, ¿cuáles son los más relevantes para la consulta de un usuario? Los sistemas iniciales comparaban palabras, contando cuán frecuentemente aparecían los términos de la consulta en un documento. TF-IDF (Frecuencia de término-Frecuencia inversa de documento) mejoró este enfoque al dar más peso a las palabras informativas y menos a las comunes. BM25 se convirtió posteriormente en el estándar de la industria para el ranking, con una función de puntuación más refinada que tiene en cuenta tanto la frecuencia de término como la longitud del documento, y sigue siendo una parte clave de muchos sistemas de búsqueda en producción.

Estos enfoques funcionan bien cuando las palabras clave exactas aparecen en un documento. Tienen dificultades cuando dos pasajes expresan la misma idea con palabras diferentes, y esa brecha allanó el camino para la recuperación semántica.

A medida que mejoraban las redes neuronales, los investigadores comenzaron a representar el texto como vectores densos, conocidos como embeddings. Un embedding es una representación numérica de una palabra, oración o documento en un espacio de alta dimensión, a menudo llamado espacio de embeddings o espacio latente. Los números individuales por sí solos no significan mucho. Juntos, capturan el significado, de modo que los textos con significados similares se encuentran cerca entre sí, mientras que los conceptos no relacionados están muy separados. Gracias a este agrupamiento, la recuperación de información puede basarse en el significado y no en coincidencias exactas de palabras clave.

Tomemos como ejemplo a un usuario que pregunta cómo mejorar el rendimiento de una red neuronal. Con los embeddings, esa consulta aún puede encontrar un documento titulado “Técnicas para optimizar modelos de aprendizaje profundo”, aunque ni “red neuronal” ni “rendimiento” aparecen en él. Una vez que tanto las consultas como los documentos están embebidos, la recuperación se convierte en una búsqueda de los vectores del documento más cercanos al vector de la consulta. Esa idea sirvió de base a Dense Passage Retrieval (DPR), presentado en 2020. DPR demostró que la recuperación semántica densa superaba a la recuperación por palabras clave tradicional en muchos benchmarks de respuesta a preguntas en dominios abiertos, y se convirtió en uno de los componentes fundamentales que hicieron posible RAG.

De encontrar documentos a responder preguntas

La recuperación semántica solo cubrió la mitad de la tarea. La gente no quiere una lista de documentos, quiere respuestas, y eso da lugar a la respuesta a preguntas en dominio abierto. Un sistema de dominio cerrado obtiene las respuestas de una base de conocimientos o conjunto de datos fijo. La respuesta a preguntas en dominio abierto debe buscar entre millones de documentos material útil antes de responder. Ante una pregunta como quién ganó el Premio Nobel de Física en 2024, el sistema primero examina una enorme colección en busca de la mejor evidencia y luego redacta su respuesta a partir de ella.

Esto genera un proceso en dos etapas:

  1. Recuperar los documentos más relevantes.
  2. Generar una respuesta a partir de esos documentos.

Este patrón de recuperar primero y luego generar es la base conceptual del RAG moderno. El artículo de 2020 Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks lo formalizó al combinar un recuperador denso con un modelo de generación de secuencias en una arquitectura de extremo a extremo. Su idea central era sencilla: no se debe pedir a un modelo de lenguaje que responda únicamente a partir de sus parámetros internos. Primero se obtienen los documentos externos más relevantes y luego la generación se realiza tomando como referencia esos pasajes. La recuperación de información no reemplazó a los modelos de lenguaje; más bien los fortaleció, logrando una mayor precisión factual, resultados más sólidos en tareas que requieren gran cantidad de conocimiento, y un conocimiento que puede actualizarse simplemente cambiando la colección de documentos sin necesidad de volver a entrenar el modelo.

RAG-Sequence versus RAG-Token

El artículo propuso dos estrategias de recuperación. RAG-Sequence obtiene un conjunto fijo de documentos relevantes una sola vez, antes de que comience la generación, y estos permanecen iguales durante toda la respuesta. Es eficiente desde el punto de vista computacional y sencillo de implementar, y sigue siendo la base de la mayoría de los sistemas RAG en producción.

RAG-Token es más dinámico. El modelo puede recuperar diferentes documentos a medida que genera distintas partes de la respuesta, lo que en teoría le permite obtener información actualizada cada vez que necesita más contexto y podría generar respuestas más informadas.

Imagínese escribiendo un informe de investigación. Con RAG-Sequence, todo el material de referencia se recopila antes de la primera oración. Con RAG-Token, el escritor detiene el informe en medio para buscar información cada vez que surge una nueva pregunta. El segundo enfoque es más flexible, pero requiere muchas más operaciones de recuperación, consume mucho más recursos informáticos y genera mayor latencia. Por eso, la mayoría de los sistemas en producción eligen el diseño más sencillo de RAG-Sequence y concentran sus esfuerzos en el propio proceso de recuperación, utilizando búsquedas híbridas, reclasificación, reescritura de consultas y filtrado de metadatos.

Dónde falló el diseño original

A pesar de ser revolucionario, la arquitectura original tenía defectos que se manifestaron una vez que los profesionales la implementaron en entornos reales:

  • La calidad de la generación estaba limitada por la calidad de la recuperación.
  • Un mal particionamiento de los datos afectaba la precisión de la recuperación.
  • Las ventanas de contexto limitaban la cantidad de información que se podía proporcionar.
  • La recuperación densa a veces omitía coincidencias exactas importantes.
  • La recuperación se realizaba antes de la generación, lo que aumentaba la latencia.
  • El soporte para datos estructurados, tabulares y multimodales era limitado.

Esos problemas dieron lugar a años de investigación posterior, y los últimos cinco años han transformado a RAG. Los modelos de lenguaje son mucho más capaces, los modelos de embedding han mejorado y las bases de datos vectoriales se han desarrollado plenamente. La búsqueda híbrida combina la recuperación léxica y semántica, mientras que los reordenadores con cross-encoder perfeccionan la selección de documentos. Los sistemas más recientes incorporan filtrado de metadatos, reescritura de consultas, compresión de contexto, recuperación adaptativa y flujos de trabajo basados en agentes; además, los investigadores han propuesto enfoques como GraphRAG, Self-RAG, Corrective RAG (CRAG), RAPTOR y recuperación multimodal. Estas adiciones corrigen gran parte de los errores del pipeline inicial, pero ninguna sustituye el paso fundamental de recuperar información primero.

Las arquitecturas actuales de producción son muy diferentes del sencillo pipeline de 2020, pero comparten su principio fundamental: recuperar el conocimiento relevante antes de generar una respuesta.

El cambio en la forma de pensar

Lo que más destaca es que RAG no sirvió principalmente para hacer que los modelos de lenguaje fueran más inteligentes. Cambió la forma en que las personas los utilizan. En lugar de esperar que un modelo memorice una cantidad cada vez mayor de conocimientos, RAG trata la información externa como algo que se puede obtener cuando sea necesario. Ese cambio permitió crear sistemas más precisos, más fiables y capaces de hacer frente a información en constante cambio.

Conocer los orígenes de RAG va más allá de ser una lección de historia. Explica por qué los sistemas modernos tienen la apariencia que tienen y por qué ciertas decisiones arquitectónicas son importantes una vez que se ponen en producción. Un equipo que comprende la motivación original puede determinar qué nuevas técnicas abordan una debilidad real y cuáles solo añaden complejidad.

Leer más

  • Ocho ideas de álgebra lineal detrás de embeddings, LoRA y PCA — Vectores, matrices, vectores propios, similitud coseno, normas, SVD y rango explicados con ejemplos de precios de viviendas y las técnicas de IA que dependen de ellos.