La división en grupos: la decisión clave de RAG que se pasa por alto y que causa respuestas erróneas.
Por qué dividir los documentos de forma incorrecta afecta negativamente la calidad de la recuperación, cómo ayudan el análisis estructural y la división en grupos padre-hijo, y cómo medir si dichos grupos funcionan bien.
Fuentes: Chunking: The RAG Decision Everyone Skips, and Shouldn’t
Cuando un chatbot RAG da con confianza una respuesta incorrecta, la reacción habitual es culpar al modelo. La gente sustituye el modelo por uno más grande, modifica la consulta o prueba otro modelo de incrustación. A menudo nada de eso aborda la verdadera causa, que se encuentra en una etapa anterior del proceso, justo en el momento en que el documento se divide en fragmentos. Esa etapa se denomina chunking. Tiene un impacto enorme en la calidad de la recuperación de información y es fácil de pasar por alto porque ocurre antes de las partes que la gente suele ajustar.
Un caso concreto lo ilustra claramente. Un cliente pregunta a un bot de soporte si se puede reembolsar un artículo dañado. El bot indica que los reembolsos se aceptan dentro de 30 días. Eso parece razonable, pero la política también establece que esa regla no aplica a los artículos marcados como venta final. El bot nunca vio esa cláusula. El modelo no tiene la culpa; simplemente la oración se encontraba en un fragmento distinto al que se recuperó.
Lo que sigue explica qué es el chunking, por qué la versión simplista falla de esta manera exacta y qué hacen los sistemas en producción al respecto. Se basa en la documentación del proveedor y de los frameworks, evitando las conjeturas siempre que es posible.
Qué es el chunking
Un sistema de IA que busca en sus documentos primero debe dividirlos en unidades más pequeñas. Dos factores prácticos impulsan esta decisión.
El primero es la precisión en la recuperación de información. Si se incrusta y almacena un documento completo como un único elemento, una búsqueda de “política de reembolso” devolverá todo el archivo, la mayor parte del cual es irrelevante. Lo que se desea es el pasaje específico que responde a la pregunta. La documentación de Azure AI Search de Microsoft lo expresa claramente: incluso cuando un documento cabe dentro del límite de entrada de un modelo, dividirlo en partes más pequeñas suele mejorar los resultados, ya que un único vector no puede representar bien muchos subtemas diferentes.
El segundo problema es el límite estricto de entrada de los modelos de embedding. El fragmentado evita que el contenido que supera ese límite sea cortado silenciosamente.
Luego, el proceso funciona de la siguiente manera: un documento se divide en fragmentos. Cada fragmento se convierte en un vector, es decir, un embedding, y estos vectores se almacenan en una base de datos vectorial. La pregunta del usuario también se procesa mediante embedding, y el sistema obtiene los fragmentos que obtienen la mayor puntuación según el método de recuperación utilizado: similitud vectorial pura, búsqueda híbrida que combina vectores con palabras clave, o un paso adicional de reclasificación.
Ese paso final es donde las decisiones de fragmentado pueden causar problemas. El sistema solo puede recuperar lo que se le ha proporcionado. Si la evidencia para una respuesta está distribuida en dos fragmentos y solo se recupera uno, el modelo responde basándose en un contexto parcial y no tiene forma de saber que la pieza faltante existe en otro lugar.
Por qué el enfoque ingenuo falla
El método más sencillo es el fragmentado de tamaño fijo. Se divide el texto cada N tokens o caracteres, independientemente de su contenido. Es popular porque es simple y predecible, y requiere muy poca procesamiento adicional.
Incluso Azure, cuyas guías consideran el fragmentado de tamaño fijo como un buen punto de partida, señala claramente que el tamaño y la superposición adecuados dependen de la estructura del contenido y del tipo de consultas que envían los usuarios, y que los datos altamente estructurados pueden necesitar un manejo diferente al de la prosa fluida. El punto clave es que ser más pequeño no es automáticamente mejor. Dividir en fragmentos demasiado pequeños puede separar hechos que deben leerse juntos, algo que ocurrió precisamente con la política de reembolsos.
Vuelva a reproducir ese ejemplo. Supongamos que la oración relacionada con 30 días aparece en un bloque y la excepción de venta final en el siguiente. Una consulta sobre reembolsos coincide fuertemente con el primer bloque debido a la palabra “refund”. El bloque que contiene la excepción nunca se incluye. El modelo razona correctamente sobre lo que recibió, pero lo que recibió estaba incompleto.
Ese es el fallo central del particionamiento en bloques: la calidad de la recuperación está limitada por la calidad de los bloques, sin importar cuán potente sea el modelo de embeddings o el LLM que lo siga. Los equipos pasan semanas ajustando los embeddings y reordenando los resultados, mientras que el verdadero cuello de botella se encuentra un paso antes, en la forma en que se dividieron las fuentes.
Qué hacen los sistemas de producción
Se repiten dos patrones con frecuencia.
Particionamiento consciente de la estructura
Este enfoque deja de tratar un documento como una cadena no diferenciada. En lugar de dividirlo cada N tokens, primero lo divide según límites naturales como encabezados, secciones y párrafos, y solo aplica un límite de tamaño cuando una sección es muy larga. Azure AI Search ofrece esta funcionalidad a través de su habilidad Document Layout, donde un modelo de inteligencia documental identifica la estructura y genera secciones coherentes para su posterior división en fragmentos.
Como punto de partida antes de incorporar la conciencia de estructura, las directrices actuales de Microsoft sugieren comenzar con cerca de 512 tokens y un solapamiento aproximado del 25 por ciento, destacando que la mejor configuración depende del contenido y del caso de uso.
División en fragmentos padre-hijo
También conocido como recuperación jerárquica o de pequeño a grande, este patrón aborda el mismo problema desde otro ángulo. En lugar de obtener un bloque plano con la esperanza de que contenga todo lo relevante, el sistema busca un bloque hijo pequeño y preciso para una coincidencia exacta y luego amplía el resultado para incluir la sección padre más grande y así obtener todo el contexto.
Varios herramientas populares lo implementan:
- LlamaIndex crea una jerarquía de nodos de grueso a fino mediante un
HierarchicalNodeParser. Solo los pequeños bloques hoja se indexan para búsquedas vectoriales, mientras que sus padres más grandes se almacenan en un repositorio de documentos separado. UnAutoMergingRetrieverluego vuelve a insertar al padre una vez que se han recuperado suficientes de sus hijos juntos.
ParentDocumentRetriever de LangChain sigue la misma idea. Incorpora pequeños fragmentos hijos para búsquedas dirigidas y, en el momento de la consulta, busca el documento padre del cual provino cada resultado y devuelve ese texto más extenso, con el objetivo de equilibrar una recuperación precisa con una longitud suficiente para mantener el contexto.La división funciona porque los fragmentos pequeños y grandes tienen fortalezas diferentes. Los pequeños proporcionan embeddings nítidos y enfocados que permiten una recuperación de alta precisión. Los grandes ofrecen al modelo suficiente texto circundante para evitar responder a partir de un fragmento incompleto. El agrupamiento en niveles padre-hijo permite que cada tamaño haga lo que mejor sabe hacer, en lugar de forzar a un solo tamaño a cumplir tanto con la recuperación como con la generación.
No obstante, no es universal. En corpus compuestos por unidades ya autónomas, como entradas de Preguntas Frecuentes o listas de productos, o en datos estrictamente tabulares y basados en esquemas, el paso de expansión del padre tiende a añadir carga adicional sin un beneficio correspondiente.
No existe una configuración óptima única
Ni el tamaño ni la estrategia de fragmentación funcionan en todas las situaciones. Lo que funciona depende de cómo estén estructurados tus documentos, de las preguntas reales que hacen los usuarios, de tu configuración de recuperación y reclasificación, y de cómo evalúes todo el sistema.
El agrupamiento semántico, que organiza el texto por su significado y no por su estructura o tamaño, suele considerarse la solución más avanzada. AWS lo describe como una estrategia admitida junto con el agrupamiento de tamaño fijo y jerárquico, pero implica parámetros adicionales y compromisos, por lo que conviene probarlo con sus propios documentos y consultas en lugar de darlo por superior. Una estrategia más elaborada solo es útil si resuelve un problema real que se tenga.
Verificar que el agrupamiento funcione
Elegir una estrategia no es una decisión única. Se trata de algo que hay que medir y revisar periódicamente. Hay tres indicadores que vale la pena monitorear una vez que el sistema esté en funcionamiento.
- Recuperación de información. Tome cualquier pregunta: ¿el conjunto de fragmentos recuperados incluye las pruebas necesarias para obtener una respuesta correcta? Si no, ninguna acción adicional podrá salvar esa respuesta.
Seguir de cerca estos tres aspectos por separado, en lugar de limitarse a preguntarse si la respuesta final parece correcta, es lo que convierte el proceso de división en fragmentos de una suposición en algo sobre el que se puede iterar.
Una forma sencilla de comenzar
Un primer experimento económico resulta útil. Reúna veinte o treinta preguntas reales junto con los pasajes que deben responderlas. Ejecute el mismo conjunto con dos o tres configuraciones de particionamiento, como tamaño fijo con solapamiento, división basada en la estructura y expansión padre-hijo. Para cada una, cuente cuán a menudo aparece la evidencia necesaria en el conjunto recuperado. La configuración que funcione mejor con sus propios documentos vale más que cualquier recomendación general.
Qué recordar
El particionamiento no es un paso de preprocesamiento que se configura una vez y se olvida. Es la primera decisión de recuperación que toma un sistema, y todo lo que sigue, desde los embeddings hasta el reordenamiento y la generación, hereda cualquier daño causado allí.
Un modelo de embeddings potente no puede reparar un documento mal particionado. Si las respuestas de un sistema RAG parecen aleatorias, incompletas o claramente erróneas, examine los fragmentos antes de intervenir en el modelo.
Fuentes
Los detalles anteriores provienen de la documentación pública de Microsoft Azure AI Search, incluyendo sus indicaciones sobre el fragmentado de documentos y la habilidad Document Layout, del repositorio Azure-Samples sobre el diseño y evaluación de soluciones RAG, de las páginas de LlamaIndex sobre los recuperadores de información que se fusionan automáticamente y los analizadores de nodos, de la referencia de LangChain para ParentDocumentRetriever y de la página de Amazon Bedrock sobre cómo funciona el fragmentado de contenido en las bases de conocimiento. Las configuraciones cambian entre versiones, por lo que confírrelas en la documentación actual.
Lecturas relacionadas
- Siete maneras en que una respuesta RAG falla y cómo encontrar la etapa problemática — Una forma práctica de diagnosticar respuestas RAG incorrectas: siete puntos de fallo agrupados en tres etapas, cuatro campos para registrar y una prueba que identifica al culpable.
- Tamaño y solapamiento de los tramos en RAG: paso entre tramos, límites de tokens y uniones — Cómo dividir un libro largo en tramos para RAG: elegir tamaño y nivel de solapamiento, comprender el paso entre tramos, mantenerse por debajo del límite de tokens de embedding, almacenar metadatos y observar el solapamiento en una división real.