Informes de comunidades de GraphRAG: Conviertiendo un grafo de conocimiento en respuestas
Cómo GraphRAG crea un grafo a partir de texto, encuentra comunidades mediante el método jerárquico Leiden, elabora informes de las comunidades y los utiliza para búsquedas globales y locales.
Fuentes: Building the Graph with GraphRAG: Community Reports and Summaries
Una gran cantidad de documentos rara vez falla por falta de información. Falla porque el significado está disperso: un pasaje menciona a una persona, otro describe un evento y un tercero explica el resultado, pero nada los une.
RAG convencional recupera los pasajes relevantes de manera bastante buena, pero tiende a tropezar con preguntas amplias o abstractas, especialmente aquellas que abarcan todo un conjunto de datos. GraphRAG supera esa limitación al construir un grafo de conocimiento a partir del texto, agrupando el material relacionado y redactando resúmenes que permiten razonar sobre toda la colección.
Un grafo de conocimiento es una red de entidades y los enlaces entre ellas. Formalmente, está compuesto por entidades, relaciones y triples, donde cada triple une dos elementos a través de un tipo específico de conexión. Estos gráficos ya ayudan en búsquedas, verificación de hechos y respuesta a preguntas, por lo que son adecuados para sistemas que necesitan algo más que fragmentos aislados de texto.
De texto sin procesar a un grafo
La creación del grafo comienza dividiendo el material de origen en unidades más pequeñas. En la pipeline estándar de GraphRAG, los documentos se convierten en TextUnits, y el sistema extrae entidades, relaciones y, a veces, afirmaciones de cada uno. Luego, fusiona las entidades y conexiones duplicadas y condensa sus descripciones en objetos de grafo más simples. El resultado es un índice estructurado, con tablas e embeddings, que conserva las relaciones importantes en lugar de una lista plana de hechos.
Parece sencillo, pero un buen grafo requiere algo más que identificar nombres. Las investigaciones indican que una estructura sólida también debe manejar pronombres y alias, detectar frases que expresan relaciones y vincular esas frases con las entidades y acciones adecuadas. En la práctica, eso implica resolución de coreferencia, enlace de entidades, enlace de relaciones y extracción de triples. Si alguna etapa es deficiente, el grafo puede resultar impreciso incluso antes de que alguien resuma la información.
De las entidades a las comunidades
Una vez listo el grafo de entidades, el siguiente paso es determinar su estructura. GraphRAG agrupa los nodos relacionados en clústeres a varios niveles mediante detección jerárquica de comunidades. El grafo deja de ser una tabla de consulta para convertirse en un mapa de temas, subtemas y temas locales. La documentación de Microsoft lo describe como una resumen desde abajo para comprender todo el conjunto de datos, y Microsoft Research afirma que la jerarquía puede ir desde temas generales hasta temas muy específicos.
El algoritmo de clustering es importante. GraphRAG utiliza la detección jerárquica de comunidades Leiden, que cuenta con soporte en la investigación en ciencia de redes. Leiden fue diseñado para garantizar comunidades bien conectadas, y un artículo publicado en Scientific Reports encontró que a menudo produce particiones mejores que Louvain y funciona más rápido. Comunidades más estrechas significan resúmenes mejores, ya que el modelo condensa texto que realmente encaja entre sí.
Qué contiene un informe de comunidad
Los informes de comunidad son lo que hace útil el gráfico. Una vez que existen las comunidades, GraphRAG genera un informe para cada una de ellas. El informe de nivel superior puede describir todo el conjunto de datos, mientras que los informes de nivel inferior abarcan grupos más pequeños de entidades, relaciones y temas. Microsoft afirma que esto revela la estructura de los datos antes incluso de que el usuario haga alguna consulta.
Un buen informe es más que un breve párrafo. En la salida estándar de GraphRAG puede incluir un título, un resumen, el contenido completo, una calificación de relevancia, una explicación de dicha calificación y un conjunto de entre cinco y diez hallazgos clave. La documentación indica que los informes están destinados a ser leídos por personas y utilizados por sistemas de búsqueda, siendo el breve resumen una versión rápida para pasos posteriores.
Eso proporciona a cada comunidad dos funciones: ayuda a las personas a comprender el significado de cada parte del grafo y ofrece al sistema un contexto reutilizable para nuevas preguntas. El informe sirve como explicación para los humanos y como capa de memoria para la máquina, por lo que la generación de informes por parte de las comunidades no es un complemento opcional. Es una razón principal por la cual GraphRAG puede convertir datos brutos en respuestas útiles.
Cómo los resúmenes impulsan la búsqueda global y local
Los resúmenes generados por las comunidades resultan muy útiles cuando llega una pregunta. El artículo sobre GraphRAG sostiene que el RAG tradicional rinde mal en preguntas globales, esas relacionadas con todo un conjunto de datos en lugar de un solo hecho. GraphRAG elabora los resúmenes de las comunidades con antelación y los utiliza para estas consultas amplias. El resumen del artículo indica respuestas considerablemente más completas y variadas a preguntas de carácter general en conjuntos de datos de alrededor de 1 millón de tokens.
En el flujo oficial de búsqueda global, los informes se procesan por lotes al estilo map-reduce. Cada lote genera puntos intermedios con puntuaciones de importancia, y los puntos con la puntuación más alta se combinan para formar la respuesta final. La documentación señala un compromiso: los niveles más bajos de la jerarquía ofrecen respuestas más detalladas, pero requieren más tiempo y recursos de cómputo debido a la mayor cantidad de informes que hay que leer.
Para preguntas más específicas, GraphRAG pasa a la búsqueda local. Ese modo combina el grafo estructurado con el texto de fuente relevante, de modo que el modelo puede responder a preguntas detalladas sobre entidades específicas con un contexto mejor. El hecho de contar con ambos modos explica por qué son importantes los resúmenes de la comunidad: permiten al sistema abordar temas generales o profundizar en detalles sin tener que reconstruir todo el contexto cada vez.
Lecciones para mejores informes de la comunidad
Un gráfico sólido comienza con una extracción cuidadosa, y no solo con un buen algoritmo de clustering. Cuando las entidades están fragmentadas, los alias no encuentran correspondencia o las relaciones son vagas, el informe de la comunidad suele resultar genérico, ya que la propia comunidad estaba mal definida. La extracción, fusión, clustering e informe funcionan mejor como un proceso único y conectado en lugar de cuatro tareas independientes, y de ahí provienen los resúmenes más sólidos.
También cuentan las operaciones. El repositorio GraphRAG advierte que el indexado puede ser costoso y recomienda comenzar con una configuración sencilla. Se dice que la versión 1.0 viene con una configuración más simple, un modelo de datos más ligero y un espacio de almacenamiento menor que antes. Las indicaciones también sugieren ajustar los prompts, ya que los valores predeterminados no son adecuados para todos los conjuntos de datos. En la práctica, los buenos informes se obtienen mediante iteraciones: ajuste los prompts de extracción, verifique la calidad de los clústeres, revise los prompts de los informes y solo entonces aumente la escala.
Otra lección proviene de la evolución de GraphRAG. La selección dinámica de comunidades por parte de Microsoft Research añade un paso de filtrado. Antes de que se ejecute la búsqueda global completa, el sistema examina los informes de las comunidades y solo conserva aquellos relacionados con la pregunta. En una prueba con datos de AP News, este método redujo el costo promedio por token en un 77% en un nivel determinado, manteniendo al mismo tiempo una calidad de salida similar a la del enfoque estático. Buscar más a fondo podría añadir detalles, pero a un costo mayor. Conclusión: no todos los informes merecen el mismo tratamiento, por lo que elegir los adecuados es tan importante como resumirlos bien.
Qué implica todo esto
Construir el grafo se trata, en realidad, de crear contexto. Vincular textos dispersos es la contribución del grafo. La detección de comunidades ordena ese significado en diferentes niveles. Los informes y resúmenes convierten esos niveles en algo útil tanto para las personas como para los modelos de lenguaje. Si se realizan bien, los resúmenes no son solo decorativos; se convierten en el instrumento principal para dar sentido a conjuntos de datos grandes y complejos.
Respuestas rápidas
¿Qué es un informe de comunidad en GraphRAG? Es un documento de texto escrito por un modelo de lenguaje grande sobre un clúster del grafo. Los campos típicos incluyen un título, un resumen, el texto completo, un rango con su justificación y algunos hallazgos clave. Las personas lo leen, y los pasos de búsqueda lo reutilizan posteriormente.
¿Por qué usar resúmenes comunitarios en lugar de solo fragmentos de texto? Algunas preguntas son de carácter global y no local. Tanto el artículo como la documentación sostienen que las preguntas amplias sobre temas o patrones en todo un corpus no se abordan adecuadamente con la recuperación vectorial simple, mientras que los resúmenes pregenerados ofrecen una visión de todo el conjunto de datos que puede combinarse para obtener respuestas más precisas.
¿Por qué es importante Leiden? Un resumen no puede ser mejor que el clúster que describe. Leiden genera comunidades bien conectadas, y demuestra un buen rendimiento en la práctica tanto en cuanto al tiempo de ejecución como a la calidad de la partición. Eso lo convierte en una base sólida para una jerarquía de informes.
Leer más
- Cuatro estrategias de memoria para agentes de IA: ventanas deslizantes, FAISS y GraphRAG — Comparación de las formas de dotar a un agente LLM de memoria, desde historial completo y ventanas deslizantes hasta índices invertidos, búsqueda semántica FAISS y un grafo de conocimiento GraphRAG.
- Comparación de cuatro patrones multiagente: subagentes, habilidades, transferencias y enrutadores — Una comparación práctica de las cuatro arquitecturas multiagente principales, indicando cuál es el costo de cada una, dónde encaja y cómo elegir una sin sobreconstruir.