Accueil / Articles

Rapports des communautés de GraphRAG : Transformer un graphe de connaissances en réponses.

Comment GraphRAG crée un graphe à partir de texte, identifie des communautés à l’aide de la méthode hiérarchique de Leiden, rédige des rapports sur ces communautés et les utilise pour des recherches globales et locales.

Éditeur : REACTAPP.TOP6 min de lecture1397 mots

Sources: Building the Graph with GraphRAG: Community Reports and Summaries

Une grande pile de documents ne manque rarement d’informations ; elle échoue plutôt parce que le sens est dispersé. Un passage mentionne une personne, un autre décrit un événement et un troisième explique le résultat, sans qu’aucun élément ne les relie entre eux.

RAG conventionnel parvient à récupérer des passages pertinents de manière suffisamment efficace, mais il a tendance à rencontrer des difficultés avec des questions larges ou abstraites, en particulier celles qui couvrent l’ensemble d’un ensemble de données. GraphRAG comble cette lacune en construisant un graphe de connaissances à partir du texte, en regroupant les éléments liés et en rédigeant des résumés qui permettent de raisonner sur l’ensemble de la collection.

Un graphe de connaissances est un réseau d’entités et des liens entre elles. Formellement, il se compose d’entités, de relations et de triples, chaque triple reliant deux éléments par un type spécifique de connexion. De tels graphes aident déjà à la recherche, à la vérification des faits et à la réponse aux questions, ce qui les rend adaptés aux systèmes ayant besoin de plus que de simples fragments de texte isolés.

De texte brut à un graphe

La création du graphe commence par la division du matériel source en unités plus petites. Dans le pipeline standard de GraphRAG, les documents deviennent des TextUnits, et le système extrait des entités, des relations et parfois des affirmations de chacun d’eux. Il fusionne ensuite les entités et les connexions dupliquées et condense leurs descriptions en objets graphiques plus simples. Le résultat est un index structuré, comprenant des tableaux et des embeddings, qui conserve les relations importantes plutôt que de présenter simplement une liste de faits.

Cela semble simple, mais un bon graphe exige plus que simplement identifier des noms. Les recherches montrent qu’un processus solide doit également gérer les pronoms et les alias, détecter les phrases relatives et les relier aux entités et actions appropriées. En pratique, cela nécessite la résolution de la co référence, le lien entre entités, le lien entre relations et l’extraction de triples. Si une étape est insuffisante, le graphe peut déjà être imprecis avant même que quiconque ne fasse un résumé.

Des entités aux communautés

Lorsque le graphe d’entités est prêt, la prochaine étape consiste à en déterminer la structure. GraphRAG regroupe les nœuds liés en clusters à plusieurs niveaux grâce à une détection hiérarchique de communautés. Le graphe cesse alors d’être une table de recherche pour devenir une carte de thèmes, de sous-thèmes et de sujets locaux. La documentation de Microsoft le décrit comme une synthèse bottom-up permettant de comprendre l’ensemble des données, et Microsoft Research affirme que cette hiérarchie peut aller de thèmes larges à des sujets très spécifiques.

L’algorithme de clustering est important. GraphRAG utilise une détection hiérarchique de communautés Leiden, reconnue dans la recherche en science des réseaux. Leiden a été conçu pour garantir des communautés bien connectées, et une étude publiée dans Scientific Reports a montré qu’il produit souvent de meilleures partitions que Louvain tout en étant plus rapide. Des communautés plus étroites permettent de meilleures synthèses, car le modèle condense des textes qui se correspondent réellement.

Que contient un rapport de communauté

Les rapports de communauté sont ce qui rend le graphe utile. Une fois que des communautés existent, GraphRAG génère un rapport pour chacune d’elles. Le rapport de niveau supérieur peut décrire l’ensemble du jeu de données, tandis que les rapports de niveau inférieur couvrent des groupes plus petits d’entités, de relations et de sujets. Microsoft indique que cela permet de révéler la structure des données avant même que l’utilisateur n’ait posé une question.

Un bon rapport va au-delà d’un simple paragraphe court. Dans la sortie standard de GraphRAG, il peut inclure un titre, un résumé, le contenu complet, une note de pertinence, une explication de cette note ainsi qu’un ensemble d’environ cinq à dix conclusions clés. La documentation précise que ces rapports sont destinés à être lus par les utilisateurs et utilisés par les systèmes de recherche, le résumé court servant de version abrégée pour des étapes ultérieures.

Cela donne à chaque communauté deux fonctions : elle aide les gens à comprendre la signification de chaque partie du graphe et fournit au système un contexte réutilisable pour de nouvelles questions. Le rapport sert à la fois d’explication pour les humains et de mémoire pour la machine, c’est pourquoi la génération de rapports par les communautés n’est pas un ajout optionnel. C’est une raison majeure pour laquelle GraphRAG peut transformer des données brutes en réponses utiles.

Comment les résumés stimulent la recherche globale et locale

Les résumés générés par les communautés se révèlent très utiles lorsque des questions arrivent. L’étude sur GraphRAG affirme que les méthodes RAG classiques performent mal sur les questions globales, c’est-à-dire celles portant sur l’ensemble d’un ensemble de données plutôt que sur un seul fait. GraphRAG écrit ces résumés à l’avance et les utilise pour ce type de requêtes larges. L’abstract de l’étude indique des réponses nettement plus complètes et diversifiées aux questions d’ensemble sur des ensembles de données comptant environ 1 million de tokens.

Dans le flux de recherche mondiale officiel, les rapports sont traités par lots selon un principe map-reduce. Chaque lot génère des points intermédiaires dotés de scores d’importance, et les points ayant les scores les plus élevés sont combinés pour former la réponse finale. La documentation indique un compromis : les niveaux inférieurs de la hiérarchie fournissent des réponses plus détaillées, mais nécessitent plus de temps et de ressources informatiques en raison du grand nombre de rapports à analyser.

Pour des questions plus ciblées, GraphRAG passe en mode recherche locale. Ce mode combine le graphe structuré avec le texte source pertinent, permettant ainsi au modèle de répondre à des questions détaillées sur des entités spécifiques avec un meilleur contexte. La présence de ces deux modes explique l’importance des résumés communautaires : ils permettent au système d’examiner des thèmes généraux ou de se concentrer sur des détails sans devoir reconstituer tout le contexte à chaque fois.

Leçons pour de meilleurs rapports communautaires

Un graphique solide commence par une extraction minutieuse, et non seulement par un bon algorithme de clustering. Lorsque les entités sont fragmentées, que les alias ne trouvent pas de correspondance ou que les relations sont floues, le rapport de la communauté sonne généralement de manière générique, car la communauté elle-même n’a pas été correctement définie. L’extraction, la fusion, le clustering et l’établissement de rapports fonctionnent au mieux en tant que processus unique et cohérent plutôt que comme quatre tâches indépendantes, et c’est là que naissent les résumés les plus pertinents.

Le nombre d’opérations compte également. Le dépôt GraphRAG met en garde contre le coût élevé de l’indexation et recommande de commencer avec une configuration simplifiée. La version 1.0 serait livrée avec une configuration plus simple, un modèle de données plus léger et moins d’espace de stockage que précédemment. Les conseils indiquent également de ajuster les prompts, car les paramètres par défaut ne conviendront pas à tous les ensembles de données. En pratique, de bons rapports résultent d’itérations : ajustez les prompts d’extraction, vérifiez la qualité des clusters, modifiez les prompts de rapport, puis seulement augmentez l’échelle.

Une autre leçon provient de l’évolution de GraphRAG. La sélection dynamique des communautés par Microsoft Research ajoute une étape de filtrage. Avant que la recherche globale complète ne soit effectuée, le système examine les rapports des communautés et ne conserve que ceux qui sont pertinents pour la question. Lors d’un test sur des données d’AP News, cette méthode a réduit en moyenne le coût par token de 77 % à un certain niveau, tout en maintenant une qualité de résultat proche de celle de l’approche statique. Une recherche plus approfondie pourrait apporter plus de détails, mais à un coût plus élevé. En résumé : tous les rapports ne méritent pas un traitement égal, donc choisir les bons est tout aussi important que de bien les résumer.

En somme

La construction du graphe vise essentiellement à créer un contexte. Le rôle du graphe consiste à relier des textes dispersés. La détection de communautés organise ce sens en différents niveaux. Les rapports et les résumés transforment ces niveaux en éléments utiles tant pour les humains que pour les modèles de langage. Bien réalisés, ces résumés ne sont pas une simple décoration : ils deviennent l’outil principal pour donner du sens à de grands ensembles de données complexes.

Réponses rapides

Qu’est-ce qu’un rapport de communauté dans GraphRAG ? Un document texte écrit par un modèle de langage sur l’un des clusters du graphe. Les champs typiques incluent un titre, un résumé, le texte complet, un classement avec sa justification ainsi que quelques résultats clés. Les utilisateurs le lisent, et les étapes de recherche l’utilisent à nouveau par la suite.

Pourquoi utiliser des résumés communautaires plutôt que seulement des fragments de texte ? Certaines questions sont globales et non locales. À la fois les articles scientifiques et la documentation soulignent que les questions larges portant sur des thèmes ou des motifs dans l’ensemble d’un corpus ne sont pas bien traitées par la simple récupération vectorielle, tandis que les résumés prégenerés offrent une vue à l’échelle de l’ensemble des données qui peut être réassemblée pour obtenir de meilleures réponses.

Pourquoi Leiden est-il important ? Un résumé ne peut être meilleur que le cluster qu’il décrit. Leiden produit des communautés bien connectées, et il se distingue en pratique tant par son temps d’exécution que par la qualité de sa partition. Cela en fait une base solide pour une hiérarchie de rapports.