Raporty społeczności GraphRAG: Przekształcanie grafu wiedzy w odpowiedzi
Jak GraphRAG tworzy graf z tekstu, znajduje społeczności za pomocą hierarchicznego algorytmu Leiden, sporządza raporty o społecznościach i wykorzystuje je do wyszukiwania globalnego oraz lokalnego.
Źródła: Building the Graph with GraphRAG: Community Reports and Summaries
Konwencjonalne RAG doskonale odnajduje istotne fragmenty, ale ma trudności z pytaniami ogólnymi lub abstrakcyjnymi, szczególnie tymi obejmującymi całą bazę danych. GraphRAG eliminuje tę lukę, tworząc graf wiedzy na podstawie tekstu, grupując powiązane materiały i sporządzając streszczenia, które ułatwiają rozumowanie na podstawie całej kolekcji.
Graf wiedzy to sieć entytetów oraz powiązań między nimi. Formalnie składa się on z entytetów, relacji i trójkątów, przy czym każdy trójkąt łączy dwa elementy za pomocą określonego typu połączenia. Takie grafy już teraz pomagają w wyszukiwaniu, weryfikacji faktów i odpowiadaniu na pytania, dlatego nadają się do systemów, które potrzebują czegoś więcej niż tylko izolowanych fragmentów tekstu.
Od surowego tekstu do grafu
Budowa grafu zaczyna się od podziału materiału źródłowego na mniejsze jednostki. W standardowym procesie GraphRAG dokumenty stają się TextUnits, a system wyodrębnia z każdego z nich entytety, relacje, a czasami także twierdzenia. Następnie łączy duplikatyczne entytety i połączenia oraz sprowadza ich opisy do prostszych obiektów grafowych. Wynikiem jest ustrukturyzowany indeks z tabelami i embeddingami, który zachowuje ważne relacje, zamiast prostego listy faktów.
Brzmi to prosto, ale dobry graf wymaga czegoś więcej niż tylko identyfikacji nazw. Badania wskazują, że solidny proces musi również radzić sobie z zaimkami i pseudonimami, znajdować frazy opisujące relacje oraz łączyć te frazy z odpowiednimi entytetami i działaniami. W praktyce wymaga to rozwiązywania problemów koreferencji, łączenia entytetów, łączenia relacji oraz wyodrębniania trójek. Jeśli któryś z tych etapów jest słaby, graf może być nieprecyzyjny, zanim ktokolwiek dokona jakiegokolwiek podsumowania.
Od entytetów do społeczności
Gdy graf entytetów jest już gotowy, kolejnym krokiem jest określenie jego struktury. GraphRAG grupuje powiązane węzły w klastry na kilku poziomach przy użyciu hierarchicznego wykrywania społeczności. Graf przestaje być tabelą wyszukiwania i staje się mapą tematów, podtematów oraz lokalnych zagadnień. Dokumentacja Microsoftu opisuje to jako sumaryzację od dołu w celu zrozumienia całego zbioru danych, a Microsoft Research twierdzi, że hierarchia może obejmować zarówno szerokie tematy, jak i bardzo konkretne zagadnienia.
Algoritm klasterowania ma znaczenie. GraphRAG wykorzystuje hierarchiczne wykrywanie społeczności Leiden, które znajduje zastosowanie w badaniach z dziedziny nauk o sieciach. Metoda Leiden została zaprojektowana tak, aby gwarantować dobrze połączone społeczności, a artykuł opublikowany w Scientific Reports wykazał, że często daje lepsze podziały niż metoda Louvain i działa szybciej. Bardziej zwarte społeczności oznaczają lepsze streszczenia, ponieważ model skupia teksty, które rzeczywiście do siebie pasują.
Co zawiera raport społeczności
Raporty społeczności sprawiają, że wykres staje się przydatny. Gdy już istnieją społeczności, GraphRAG tworzy raport dla każdej z nich. Raport najwyższego poziomu może opisywać cały zbiór danych, natomiast raporty niższego poziomu dotyczą mniejszych grup entytetów, związków i tematów. Microsoft twierdzi, że w ten sposób struktura danych zostaje ujawniona jeszcze zanim użytkownik o cokolwiek poprosi.
Dobry raport to coś więcej niż krótki akapit. W standardowym wyjściu GraphRAG może zawierać tytuł, streszczenie, pełną treść, ocenę istotności, wyjaśnienie tej oceny oraz około pięć do dziesięciu kluczowych ustaleń. Dokumentacja wskazuje, że raporty są przeznaczone do czytania przez ludzi oraz do wykorzystania przez systemy wyszukiwawcze, przy czym krótkie streszczenie służy jako wersja szybka do dalszych kroków.
To daje każdej społeczności dwa zadania. Pomaga ludziom zrozumieć, co oznacza każda część grafu, a także dostarcza systemowi możliwości ponownego użycia kontekstu przy nowych pytaniach. Raport służy jako wyjaśnienie dla ludzi oraz jako warstwa pamięci dla maszyny, dlatego raportowanie przez społeczności nie jest dodatkową opcją – to główny powód, dla którego GraphRAG potrafi przekształcić surowe dane w przydatne odpowiedzi.
Jak streszczenia wpływają na wyszukiwanie globalne i lokalne
Streszczenia tworzone przez społeczności okazują się przydatne, gdy pojawia się pytanie. W artykule o GraphRAG stwierdza się, że zwykły RAG słabo radzi sobie z pytaniami globalnymi, tymi dotyczącymi całego zbioru danych, a nie pojedynczego faktu. GraphRAG tworzy te streszczenia z wyprzedzeniem i wykorzystuje je do obsługi takich szerokich zapytań. W streszczeniu artykułu wspomina się o znacznie bardziej kompleksowych i zróżnicowanych odpowiedziach na pytania dotyczące dużych zbiorów danych liczących około 1 miliona tokenów.
W oficjalnym globalnym procesie wyszukiwania raporty są przetwarzane partiami w stylu map-reduce. Każda grupa generuje tymczasowe punkty z ocenami ważności, a te o najwyższych wynikach łączą się w ostateczną odpowiedź. Dokumentacja wskazuje na kompromis: niższe poziomy hierarchii dostarczają bardziej szczegółowych odpowiedzi, ale wymagają więcej czasu i zasobów obliczeniowych ze względu na większą liczbę raportów do przeczytania.
W przypadku bardziej wąskich pytań GraphRAG przechodzi na lokalne wyszukiwanie. W tym trybie strukturyzowany graf łączy się z odpowiednim tekstem źródłowym, dzięki czemu model może odpowiadać na szczegółowe pytania dotyczące konkretnych entytetów z lepszym kontekstem. Obecność obu trybów pokazuje, dlaczego podsumowania społeczności są ważne – umożliwiają one systemowi analizowanie szerokich tematów lub skupienie się na szczegółach bez konieczności co raz od nowa budowania całego kontekstu.
Lekcje dla lepszych raportów społecznościowych
Mocny wykres zaczyna się od starannego wydobywania danych, a nie tylko od dobrego algorytmu klasterowania. Gdy entity są rozbite na części, aliasy nie mają odpowiedników lub relacje są niejasne, raport społeczności zazwyczaj brzmi ogólnikowo, ponieważ sama społeczność była słabo zdefiniowana. Wydobywanie danych, łączenie ich, klasterowanie oraz tworzenie raportów działają najlepiej jako jeden spójny proces, a nie jako cztery niepowiązane ze sobą zadania – właśnie stamtąd pochodzą najskuteczniejsze podsumowania.
Liczba przeprowadzanych operacji również ma znaczenie. Repozytorium GraphRAG ostrzega, że indeksowanie może być kosztowne, i zaleca rozpoczęcie od prostego setupu. Mówi się, że wersja 1.0 oferuje prostszą konfigurację, lżejszy model danych oraz mniejsze zapotrzebowanie na przestrzeń przechowywania niż poprzednio. Wskazówki te sugerują również dostosowanie promptów, ponieważ domyślne ustawienia nie będą odpowiednie dla każdego zestawu danych. W praktyce dobre raporty powstają w wyniku iteracji: dostosowuj prompty służące do wydobywania informacji, sprawdzaj jakość klastrów, poprawiaj prompty do generowania raportów, a dopiero potem zwiększaj skalę działania.
Kolejna lekcja wynika z rozwoju GraphRAG. Dynamiczny proces wyboru społeczności w Microsoft Research wprowadza krok filtrowania. Zanim zostanie przeprowadzone pełne poszukiwanie na poziomie globalnym, system sprawdza raporty społeczności i zachowuje tylko te, które są istotne dla zadania. W teście na danych AP News metoda ta obniżyła średni koszt tokena o 77% na jednym poziomie, przy jednoczesnym utrzymaniu jakości wyników na poziomie zbliżonym do podejścia statycznego. Głębsze poszukiwania mogą dostarczyć więcej szczegółów, ale przy wyższych kosztach. Wniosek: nie wszystkie raporty zasługują na jednakowe przetwarzanie, więc wybór odpowiednich jest równie ważny jak ich dobrze streszczanie.
Jaki jest efekt końcowy
Budowa grafu polega w rzeczywistości na tworzeniu kontekstu. Łączenie rozproszonego tekstu to wkład grafu. Wykrywanie społeczności sortuje te informacje według poziomów. Raporty i streszczenia przekształcają te poziomy w coś przydatnego zarówno dla ludzi, jak i modeli językowych. Jeśli zostaną dobrze przygotowane, streszczenia nie są jedynie dekoracją – stają się głównym narzędziem do zrozumienia dużych, złożonych zbiorów danych.
Szybkie odpowiedzi
Czym jest raport społeczności w GraphRAG? To dokument tekstowy napisany przez model językowy o jednym klastrze grafu. Typowe elementy to tytuł, streszczenie, pełny tekst, ranking wraz z uzasadnieniem oraz kilka kluczowych ustaleń. Ludzie go czytają, a kroki wyszukiwania mogą go później ponownie wykorzystać.
Dlaczego używać podsumowań społecznościowych zamiast tylko fragmentów tekstu? Niektóre pytania mają charakter globalny, a nie lokalny. Zarówno artykuł, jak i dokumentacja wskazują, że szerokie pytania dotyczące tematów lub wzorców w całym korpusie są słabo obsługiwane przez zwykłe wyszukiwanie wektorowe, podczas gdy pregenerowane podsumowania dostarczają widoku obejmującego cały zbiór danych, który można ponownie połączyć w lepsze odpowiedzi.
Dlaczego Leiden jest ważny? Podsumowanie nie może być lepsze od klastra, który opisuje. Metoda Leiden tworzy dobrze połączone grupy, a w praktyce charakteryzuje się dobrym czasem wykonywania oraz jakością podziału. Dzięki temu stanowi rozsądne podstawy dla hierarchii raportów.
Literatura pokrewna
- Cztery strategie pamięci dla agentów AI: okna przesuwne, FAISS i GraphRAG — Porównanie sposobów zapewnienia agentowi LLM pamięci, od pełnej historii i okien przesuwnych po indeksy odwrócone, semantyczne wyszukiwanie FAISS oraz graf wiedzy GraphRAG.
- Porównanie czterech wzorców wieloagentowych: podagenty, umiejętności, przekazywanie zadań i routery — Praktyczne porównanie czterech podstawowych architektur wieloagentowych, w tym kosztów każdej z nich, sytuacji, w których nadają się one do użycia, oraz sposobów wyboru odpowiedniej bez nadmiernego projektowania.