Inicio / Artículos

De prototipo a RAG en producción: búsqueda híbrida, agentes y evaluación.

Una arquitectura de referencia para RAG en producción en .NET: fragmentación, recuperación híbrida y por grafos, reclasificación, planificación de consultas, salida tipada y evaluación continua.

Editor: REACTAPP.TOP8 min de lectura1936 palabras

Fuentes: Why Production RAG Needs More Than Vector Search

Muchos prototipos de RAG parecen estar completos después de cinco pasos: cargar documentos, calcular embeddings, guardar vectores, obtener algunos fragmentos y enviar una solicitud al modelo. Demostrar el concepto no requiere más que eso. Los problemas comienzan más adelante, cuando el corpus crece, las consultas dejan de ser predecibles, una respuesta necesita varias fuentes o alguien solicita cifras que muestren que la recuperación de información está mejorando. Esta arquitectura de referencia, presentada a través de una aplicación .NET y Blazor, abarca lo que añade la producción. Comienza con la ingesta y el fragmentado, luego pasa a la recuperación que combina señales de palabras clave, vectores y grafos, el reclasificado, un agente que planifica consultas, la salida estructurada y una evaluación que nunca cesa.

El primer diagrama contrasta un prototipo con las etapas de recuperación, clasificación, fundamentación y evaluación que requiere la producción.

Tres formas de proporcionarle datos a un modelo

Un modelo responde a partir de sus datos de entrenamiento, además de cualquier información que se proporcione en el momento de la consulta. Los informes internos, contratos, tickets de soporte, políticas y documentos de proyecto solo son útiles cuando la aplicación puede localizar las partes relevantes y integrarlas en el contexto del modelo. Esto es sencillo hasta que los datos superan el límite de un único prompt, y existen tres enfoques habituales.

El más simple es la ventana de contexto: se extrae el texto de un archivo, se pega en el prompt y se realiza la consulta. Funciona bien para cantidades pequeñas de contenido y tareas de corta duración, pero resulta ineficiente cuando se envía repetidamente el mismo contenido extenso o cuando la aplicación debe buscar en muchos documentos.

La recuperación por proyecto o sesión es el segundo enfoque. La aplicación mantiene un conjunto de trabajo más pequeño disponible para búsquedas semánticas repetidas, lo cual es adecuado para asistentes vinculados a un proyecto, espacio de trabajo o sesión activa específicos.

En tercer lugar está la generación mejorada por recuperación de información, abreviada como RAG. La aplicación crea un índice de antemano y, a continuación, cada pregunta obtiene únicamente los fragmentos relevantes en lugar de enviar todo el corpus al modelo. La descripción que ofrece Microsoft sobre RAG lo expresa de manera similar: una capa de recuperación proporciona datos de referencia cuando llega una consulta, y el modelo no necesita ser reentrenado nunca.

El siguiente diagrama compara los tres en cuanto a alcance, duración de vida y cantidad de datos buscables que cada uno puede manejar.

Qué implica realmente la recuperación de información

La mayor parte de la ingeniería relacionada con esto se encuentra detrás de la palabra “retrieval”. La búsqueda léxica es efectiva cuando el usuario conoce el término exacto: los códigos de producto, los nombres de clientes y los números de póliza responden bien a la coincidencia de palabras clave. La búsqueda vectorial aborda una necesidad diferente, consistente en encontrar pasajes que expresen lo mismo con otras palabras. El mecanismo es sencillo de explicar: un modelo de embedding convierte el texto en vectores numéricos, la pregunta pasa por ese mismo modelo, y la capa de búsqueda devuelve los vecinos más cercanos.

Decidir qué se convierte en vector es la parte más complicada. Un único embedding para todo un documento largo suele ser demasiado aproximado para búsquedas precisas. Los procesos de producción dividen los documentos en fragmentos más pequeños y autónomos, añaden algo de solapamiento para que el contexto no se pierda en las uniones, y conservan los metadatos de origen para poder rastrear cada fragmento recuperado.

Por lo tanto, la ingesta funciona como un proceso en etapas en lugar de una sola llamada a la API. Cada archivo se analiza, normaliza, divide, incrusta e indexa, y según el diseño, este proceso también puede extraer metadatos, campos, entidades y relaciones.

El diagrama a continuación muestra cómo los archivos de origen pasan por la extracción de texto, la división en fragmentos, las incrustaciones, la extracción de metadatos y la creación de índices buscables.

Elegir bien desde el principio trae beneficios posteriormente: se deben conservar suficientes metadatos para que cada respuesta pueda indicar su fuente. Una experiencia RAG en producción debe permitir que el usuario siga cualquier afirmación hasta el documento correspondiente y acceda a los fragmentos relacionados.

Mezcla de estrategias de recuperación

La búsqueda vectorial es útil, pero no es igualmente eficaz en todas las consultas. La similitud semántica resulta útil cuando cambia la redacción. La coincidencia exacta de palabras clave sigue siendo valiosa para nombres, fechas, códigos, acrónimos y jerga técnica. La recuperación a través de grafos ofrece otra señal cuando la respuesta depende de las relaciones entre entidades en lugar de de la similitud entre pasajes. Por lo tanto, lo más adecuado es considerar la recuperación como una combinación de estrategias y no como una sola llamada de búsqueda.

La búsqueda por palabras clave aporta precisión léxica, mientras que la búsqueda vectorial contribuye a la recuperación semántica. La búsqueda híbrida ejecuta métodos clasificados juntos y fusiona sus listas de resultados. Azure AI Search realiza esta fusión mediante Reciprocal Rank Fusion (RRF), combinando los resultados clasificados de búsquedas paralelas. La recuperación por grafos va un paso más allá: el sistema utiliza entidades y relaciones extraídas para seguir enlaces a través del contenido, lo que ayuda con preguntas cuya respuesta está dispersa en varios documentos.

Posteriormente, un reclasificador semántico puede volver a calificar los candidatos en función de la consulta y elevar los más relevantes a la parte superior. Esa segunda etapa es importante, ya que la fusión de listas clasificadas no indica cuál resultado responde mejor a la solicitud.

El siguiente diagrama muestra cómo las búsquedas por palabras clave, vectoriales y por grafos se fusionan mediante RRF y se vuelven a clasificar antes de que los fragmentos seleccionados lleguen al modelo.

Planificación de consultas

Un pipeline fijo supone que una búsqueda es suficiente, lo cual contradice a muchas preguntas reales. Imagine a un usuario que pregunta cómo difiere la política antigua de la nueva y qué significa eso para los contratistas. Dentro de esto hay varias tareas: localizar dos documentos, extraer las secciones relevantes de ambos, sopesar las pruebas y luego redactar una síntesis.

La recuperación por agentes integra esta planificación dentro del flujo de trabajo de recuperación. Un agente examina la solicitud, la divide en subconsultas específicas, utiliza el historial de conversación como contexto, ejecuta las búsquedas en paralelo, vuelve a clasificar los resultados y combina las pruebas en una respuesta fundamentada. La diferencia arquitectónica radica en que la recuperación deja de ser una búsqueda única que siempre se comporta de la misma manera. La aplicación decide cuántas búsquedas se necesitan y qué pruebas deben recopilarse antes de comenzar la generación.

A continuación se ilustra el planificador, que divide una pregunta compleja en tareas de recuperación paralelas y fusiona las pruebas en una respuesta citada.

Evaluación

Un sistema RAG puede generar una respuesta impecable incluso cuando la recuperación de información es deficiente, por lo que las verificaciones manuales ocasionales no pueden ser el único proceso de control de calidad. Tres preguntas separadas son útiles:

  • Calidad de la recuperación: ¿la búsqueda devolvió fragmentos relevantes para la consulta?
  • Basación en evidencias: ¿esos fragmentos respaldan la respuesta generada?
  • Relevancia: ¿la respuesta final aborda lo que se preguntó?

Estas preguntas permiten identificar diferentes tipos de fallos. Una recuperación deficiente no se puede solucionar reescribiendo la respuesta final; una respuesta basada en evidencias aún puede no captar el punto clave, y una respuesta relevante puede contener afirmaciones sin sustento. Microsoft Foundry ofrece herramientas de evaluación para estas dimensiones de calidad en los sistemas RAG.

El siguiente diagrama muestra cómo las tres métricas evalúan diferentes puntos de fallo en una respuesta RAG.

En producción, las evaluaciones se realizan de forma continua: se recopilan las puntuaciones y se activa una alerta cuando estas bajan por debajo del nivel esperado. De este modo, la calidad deja de ser una prueba puntual para convertirse en parte de la observabilidad de la aplicación.

Combinando las partes

Al separar las responsabilidades, resulta más sencillo comprender el funcionamiento del sistema. Surgen tres flujos:

  • Flujo offline: prepara el corpus analizando las fuentes, dividiéndolas en fragmentos e incrustándolas, añadiendo metadatos o relaciones entre entidades, y luego guardando todo en los índices de recuperación
  • Flujo online: atiende una solicitud, donde un planificador decide qué buscar, se aplican las estrategias de recuperación relevantes, se fusionan y se reordenan los candidatos, y las pruebas seleccionadas se envían al modelo
  • Bucle de retroalimentación: evalúa la calidad, la fundamentación y la relevancia de las recuperaciones, mostrando cómo los cambios en la ingesta, el ranking, las instrucciones o los datos afectan a los usuarios

La guía de diseño y evaluación de la solución RAG de Microsoft separa estos aspectos en problemas de diseño distintos, lo cual es una forma útil de organizar el desarrollo.

A continuación se presenta la visión integral, que incluye la ingesta fuera de línea, la recuperación y generación en línea, así como la evaluación continua.

Esa división también explica por qué el trabajo en producción supera lo que sugiere un prototipo. Dentro del sistema existen tareas como el análisis de documentos, los índices, la búsqueda vectorial y léxica, los enlaces entre grafos, el ranking, las llamadas a modelos, las citaciones, la evaluación y una interfaz de usuario. Los servicios gestionados o una plataforma pueden ofrecer varias de estas funcionalidades, pero cada responsabilidad sigue existiendo, solo bajo la responsabilidad de otra entidad.

Un ejemplo práctico con estados financieros

Para poner a prueba la arquitectura en una aplicación, los estados financieros constituyen un buen material de referencia. Combinan documentos extensos, cifras exactas y terminología repetida, por lo que un número incorrecto se detecta de inmediato.

La aplicación cuenta con cuatro capas. Una interfaz frontal de Blazor Server utiliza Telerik UI for Blazor para las funciones de chat, gráficos, tablas y diseño. Esta llama al Nuclia .NET SDK para la recuperación de datos, mientras que un servicio RAG se encarga de la ingesta, la recuperación híbrida y por grafos, así como del reordenamiento y la evaluación.

Las capas se muestran en este diagrama: Blazor Server, Telerik UI, el Nuclia SDK y el servicio RAG.

Los PDF financieros pasaron por el proceso de procesamiento para que se pudiera extraer contenido buscable y campos estructurados. Eso permitió realizar dos tipos de verificación de los datos: una recuperación estándar para preguntas en lenguaje natural y una salida estructurada para los valores destinados a la interfaz de usuario. Una prueba que solicitaba las ventas netas del año fiscal devolvió la cifra junto con su fuente de origen. Las respuestas financieras necesitan la citación tanto como la oración misma, ya que orientan directamente al usuario hacia el documento correspondiente.

La aplicación se basa en el flujo AskAsync del SDK, y lo que lo hace útil es que la respuesta puede ser más que texto. Se incluye con la solicitud un tipo de C# llamado ChartAugmentedAnswer. El SDK lo convierte en un esquema JSON; el agente de recuperación sigue dicho esquema al responder, y el JSON que devuelve se deserializa en un objeto de C# tipado.

Este diagrama muestra ese camino desde un tipo de C# hasta un esquema, luego la evidencia recuperada y, finalmente, los datos del gráfico con formato definido.

Eso elimina un paso frágil. No es necesario analizar texto para adivinar qué cifras deben aparecer en un gráfico. El texto y los valores estructurados vuelven en un único objeto, y el componente del gráfico se vincula directamente a ellos.

Elegir el nivel adecuado

Un origen pequeño y de corta duración puede ser manejado únicamente por la ventana de contexto. Un corpus más grande con preguntas factuales directas se procesa mediante el RAG clásico como punto de partida: segmentación adecuada, búsqueda por vectores además de palabras clave, citas y evaluación. Las preguntas conversacionales de múltiples partes o aquellas que dependen de enlaces entre fuentes justifican la planificación de consultas y la recuperación por agentes. La recuperación mediante grafos resulta útil cuando las relaciones entre entidades forman parte de la pregunta, pero añade complejidad, por lo que la mera disponibilidad no es motivo suficiente para adoptarla.

Lo mismo aplica a las plataformas gestionadas. Estas reducen la infraestructura de recuperación que un equipo debe mantener, mientras que al crear servicios por uno mismo se obtiene un mayor control sobre el indexado, la orquestación, el ranking y la integración. La decisión adecuada depende de qué capa desea gestionar el equipo.

Hay algo que no puede esperar: la evaluación. Una vez que los usuarios confían en las respuestas, es necesario contar con un método reproducible para verificar que la recuperación y la generación sigan funcionando como se espera.

Un prototipo demuestra que la recuperación de información puede funcionar. La producción, en cambio, debe demostrar algo más complicado: las pruebas adecuadas siguen apareciendo a medida que cambian los datos, las preguntas y los usuarios. Esto es posible una vez que se dividen las responsabilidades. Es necesario crear un pipeline de ingesta ordenado, conservar las citaciones y los metadatos de origen, combinar métodos de recuperación cuando una señal sola no es suficiente, volver a clasificar los resultados antes de generarlos, planificar las búsquedas cuando una pregunta requiere varias consultas, y hacer un seguimiento de la calidad, la fundamentación y la relevancia de la recuperación, de modo que los cambios se reflejen en mediciones concretas y no en suposiciones. Un orden de desarrollo sensato consiste en comenzar con el patrón de recuperación más simple que resuelva el problema actual, y añadir la siguiente capa solo cuando la aplicación demuestre que es necesaria. De esta manera, los resultados son más fáciles de explicar, probar y mejorar.

Leer más

  • RouteRAG: Enseñar a un modelo pequeño cuándo y cómo recuperar información con RL — Cómo RouteRAG utiliza un entrenamiento en dos etapas con GRPO para alternar entre recuperación de pasajes, gráficos e híbrida, reduciendo el número de intentos de recuperación mientras ayuda a los modelos pequeños en tareas de QA de múltiples pasos.
  • Notas prácticas: Búsqueda vectorial, búsqueda semántica y RAG: Cómo la IA encuentra lo que busca — Guía paso a paso de las Notas prácticas: Búsqueda vectorial, búsqueda semántica y RAG: Cómo la IA encuentra lo que busca: contratos, verificaciones y espacios para código listo para usar para los equipos que implementan este patrón.