Звіти про спільноти GraphRAG: перетворення графа знань на відповіді
Як GraphRAG створює граф з тексту, знаходить спільноти за допомогою ієрархічного алгоритму Leiden, генерує звіти про спільноти та використовує їх для глобального та локального пошуку.
Джерела: Building the Graph with GraphRAG: Community Reports and Summaries
Велика купа документів рідко зазнає невдачі через брак інформації. Вона зазнає невдачі тому, що значення розкидані. Один уривок називає людину, інший описує подію, а третій — результат, причому ніщо не пов’язує їх між собою.
Традиційний RAG досить добре знаходить відповідні уривки, але має труднощі з широкими чи абстрактними запитаннями, особливо з тими, що стосуються всього набору даних. GraphRAG подолує цю проблему, створюючи граф знань з тексту, групуючи пов’язаний матеріал та складаючи резюме, які допомагають у міркуваннях щодо всієї колекції.
Граф знань — це мережа елементів та зв’язків між ними. Формально він складається з елементів, взаємозв’язків та трійок, причому кожна трійка поєднує два елементи за допомогою певного типу зв’язку. Такі графи вже допомагають у пошуку, перевірці фактів та відповідях на запитання, тому вони підходять для систем, яким потрібно більше, ніж просто окремі фрагменти тексту.
Створення графа починається з розділення вихідного матеріалу на менші одиниці. У стандартному процесі GraphRAG документи перетворюються на TextUnits, а система виділяє з кожного з них елементи, взаємозв’язки та іноді твердження. Потім вона об’єднує дублікати елементів та зв’язків та спрощує їхні описи до простіших об’єктів графа. Результатом є структурований індекс із таблицями та ембеддингами, який зберігає важливі взаємозв’язки, а не простий список фактів.
Це звучить просто, але хороша граф-структура вимагає більшого, ніж просто ідентифікації імен. Дослідження показують, що надійна система також мусить вміти працювати з займенниками та псевдонімами, знаходити фрази, що описують взаємозв’язки, та пов’язувати ці фрази з відповідними ентитетами та діями. На практиці це вимагає розв’язання проблеми когеренції, посилання ентитетів, посилання взаємозв’язків та видобутку трійок. Якщо якийсь з етапів є слабким, граф-структура може бути неточною ще до того, як хтось її узагальнить.
Коли граф ентитетів готовий, наступним кроком є визначення його структури. GraphRAG групує пов’язані вузли у кластери на кількох рівнях за допомогою ієрархічного методу виявлення спільнот. Таким чином граф перестає бути таблицею пошуку та стає картою тем, підтем та локальних тем. У документації Microsoft це описується як сумаризація знизу догори для розуміння всього набору даних, а Microsoft Research стверджує, що ієрархія може охоплювати як широкі теми, так і дуже конкретні аспекти.
Алгоритм кластеризації має велике значення. GraphRAG використовує ієрархічний метод виявлення спільнот Leiden, який знаходить застосування у дослідженнях мережевих наук. Метод Leiden був розроблений для забезпечення добре пов’язаних спільнот, і одна з статей у Scientific Reports показала, що він часто дає кращі результати кластеризації, ніж метод Louvain, та працює швидше. Чим щільніші спільноти, тим кращими є резюме, оскільки модель об’єднує текст, який справді пов’язаний між собою.
Що містить звіт спільноти
Саме звіти спільнот роблять граф корисним. Як тільки спільноти створюються, GraphRAG генерує звіт для кожної з них. Звіт верхнього рівня може описувати весь набір даних, тоді як звіти нижчого рівня охоплюють менші групи ентитетів, взаємозв’язків та тем. Microsoft стверджує, що це дозволяє побачити структуру даних ще до того, як користувач поставить будь-яке запитання.
Хороший звіт — це не просто короткий абзац. У стандартному виводі GraphRAG він може містити заголовок, короткий огляд, повний текст, оцінку релевантності, пояснення цієї оцінки та приблизно від п’яти до десяти ключових висновків. У документації зазначено, що звіти призначені для читання людьми та використання пошуковими системами, причому короткий огляд слугує стислою версією для подальших кроків.
Це дає кожній спільноті дві функції: це допомагає людям зрозуміти значення кожної частини графа, а також забезпечує системі повторно використовуваний контекст для нових запитань. Звіт виступає як пояснення для людей та як шар пам’яті для машини, саме тому звітування спільнот не є додатковою опцією — це одна з основних причин, чому GraphRAG може перетворювати сирі дані на корисні відповіді.
Як резюме сприяють глобальному та локальному пошуку
Резюме спільнот стають корисними, коли надходить запитання. У статті про GraphRAG стверджується, що звичайний підхід RAG погано справляється з глобальними запитаннями, тобто тими, що стосуються всього набору даних, а не одного факту. GraphRAG заздалегідь створює резюме спільнот та використовує їх для таких широких запитів. У анотації статті зазначається, що для запитань загального характеру з наборами даних обсягом близько 1 мільйона токенів отримуються значно більш повні та різноманітні відповіді.
У офіційному глобальному процесі пошуку звіти обробляються пакетами у стилі map-reduce. Кожен пакет генерує проміжні точки з оцінками важливості, а точки з найвищими оцінками об’єднуються для отримання кінцевої відповіді. У документації зазначено компроміс: нижчі рівні ієрархії дають більш детальні відповіді, але вимагають більше часу та обчислювальних ресурсів через необхідність обробки більшої кількості звітів.
Для більш конкретних запитань GraphRAG переходить на локальний пошук. У цьому режимі структурована графіка поєднується з відповідним текстом джерела, що дозволяє моделі надавати детальні відповіді щодо конкретних ентитетів з кращим контекстом. Наявність обох режимів пояснює, чому важливі підсумки від спільноти — вони дозволяють системі розглядати широкі теми або детально вивчати окремі аспекти, не перебудовуючи весь контекст щоразу.
Уроки для кращих звітів від спільноти
Якісна діаграма починається з ретельної екстракції даних, а не лише з хорошого алгоритму кластеризації. Коли ентитети роздроблені, псевдоніми не знаходять відповідностей чи взаємозв’язки є нечіткими, звіти спільноти зазвичай залишаються загальними, оскільки сама спільнота була погано визначена. Екстракція, об’єднання, кластеризація та підготовка звітів найкраще функціонують як єдиний взаємопов’язаний процес, а не як чотири незалежні завдання, і саме звідси походять найкращі узагальнення.
Кількість операцій також має значення. У репозиторії GraphRAG попереджають, що індексування може бути дорогим, та рекомендують почати з простої конфігурації. Кажуть, що версія 1.0 має простішу налаштування, спрощену модель даних та менше вимог до простору зберігання, ніж раніше. У посібнику також радять налаштовувати запити, оскільки стандартні параметри підходитимуть не для кожного набору даних. На практиці якісні звіти досягаються шляхом поступових коректив: слід налаштовувати запити на вилучення даних, перевіряти якість кластерів, коригувати запити для створення звітів, і лише потім розширювати масштаби.
Ще один урок походить з процесу розвитку GraphRAG. Метод динамічного вибору спільнот від Microsoft Research додає крок фільтрації. Перш ніж розпочнеться повне пошукове оброблення у всьому світі, система переглядає звіти спільнот та залишає лише ті, що стосуються поставленого запитання. У тестах на даних AP News цей підхід зменшив середню вартість обробки токенів на 77% на певному рівні, зберігаючи при цьому якість результату майже на рівні статичного підходу. Глибші пошуки можуть додати більше деталей, але за вищу ціну. Висновок: не всі звіти заслуговують на однакову обробку, тому вибір правильних звітів має таке ж значення, як і їхнє якісне узагальнення.
Який це дає ефект
Створення графа насправді полягає у формуванні контексту. З’єднання розкиданого тексту — це внесок графа. Виявлення спільнот дозволяє класифікувати цей зміст за рівнями. Звіти та узагальнення перетворюють ці рівні на щось корисне як для людей, так і для мовних моделей. Якщо це зроблено добре, узагальнення не є лише декором — вони стають основним інструментом для розуміння великих, складних наборів даних.
Швидкі відповіді
Що таке звіт про спільноту в GraphRAG? Це текстовий документ, написаний мовною моделлю про один кластер графа. Типові елементи — заголовок, узагальнення, повний текст, ранг із обґрунтуванням та кілька ключових висновків. Люди читають його, а кроки пошуку використовують його знову пізніше.
Чому використовувати підсумки спільнот замість просто фрагментів тексту? Деякі запитання є глобальними, а не локальними. І стаття, і документація стверджують, що широкі запитання щодо тем чи закономірностей у всьому корпусі погано обробляються за допомогою звичайного векторного пошуку, тоді як заздалегідь створені підсумки надають загальний огляд усього набору даних, який можна поєднати для отримання кращих відповідей.
Чому важливий Leiden? Підсумок не може бути кращим за клустер, який він описує. Leiden створює добре пов’язані між собою спільноти, і на практиці демонструє хороші результати як за часом виконання, так і за якістю розділення даних. Це робить його розумною основою для ієрархії звітів.