Отчеты GraphRAG о сообществах: преобразование графа знаний в ответы
Как GraphRAG создает граф из текста, находит сообщества с использованием иерархического алгоритма Leiden, генерирует отчеты о сообществах и использует их для глобального и локального поиска.
Источники: Building the Graph with GraphRAG: Community Reports and Summaries
Большая куча документов редко страдает от недостатка информации. Проблема возникает из-за того, что смыслы разбросаны. В одном отрывке упоминается человек, в другом описывается событие, а в третьем — его итоги, причем ничто не связывает их между собой.
Традиционные методы RAG довольно хорошо находят соответствующие отрывки, но у них возникают трудности с широкими или абстрактными вопросами, особенно с теми, которые охватывают всю базу данных. GraphRAG преодолевает этот недостаток, создавая граф знаний на основе текста, объединяя связанный материал и составляя краткие обзоры, которые способствуют логическим рассуждениям над всей коллекцией.
Граф знаний — это сеть из объектов и связей между ними. Формально он состоит из объектов, отношений и троек, причем каждая тройка соединяет два объекта с помощью определённого типа связи. Подобные графы уже помогают в поиске, проверке фактов и ответах на вопросы, поэтому они подходят для систем, которым нужны не просто изолированные фрагменты текста.
От сырого текста к графу
Создание графа начинается с разделения исходного материала на более мелкие единицы. В стандартной схеме GraphRAG документы превращаются в TextUnits, и система извлекает из каждого объекты, отношения и иногда утверждения. Затем она объединяет дублирующиеся объекты и связи, сокращая их описания до более простых графовых объектов. Результатом является структурированный индекс с таблицами и эмбеддингами, сохраняющий важные связи, а не простой список фактов.
Это звучит просто, но хорошая графовая структура требует не только определения имен. Исследования показывают, что надежная система должна также уметь обрабатывать местоимения и псевдонимы, находить фразы, описывающие отношения, и связывать эти фразы с соответствующими сущностями и действиями. На практике это подразумевает решение задач когерентности, связывания сущностей, связывания отношений и извлечения тройек. Если какой-то этап ослаблен, графовая структура может оказаться неточной ещё до того, как кто-либо сделает её краткое описание.
От сущностей к сообществам
После того как граф сущностей готов, следующим шагом является определение его структуры. GraphRAG объединяет связанные узлы в кластеры на нескольких уровнях с использованием иерархического метода обнаружения сообществ. Таким образом граф перестает быть просто таблицей поиска и превращается в карту тем, подтем и локальных тем. В документации Microsoft это описывается как суммаризация сверху вниз для понимания всего набора данных, причем, по словам Microsoft Research, иерархия может включать как общие темы, так и очень специфические вопросы.
Алгоритм кластеризации играет важную роль. GraphRAG использует иерархический метод обнаружения сообществ Leiden, который находит применение в исследованиях сетевых структур. Метод Leiden был разработан для обеспечения хорошо связанных сообществ, и одна из статей в Scientific Reports показала, что он часто дает более качественные разбиения по сравнению с методом Louvain и работает быстрее. Более тесные сообщества способствуют лучшему суммаризации, поскольку модель объединяет тексты, которые действительно связаны между собой.
Что содержит отчет о сообществе
Отчеты о сообществах делают граф полезным инструментом. Как только появляются сообщества, GraphRAG генерирует отчет для каждого из них. Отчет высшего уровня может описывать весь набор данных, тогда как отчеты более низкого уровня охватывают меньшие группы сущностей, связей и тем. Microsoft утверждает, что это позволяет раскрыть структуру данных еще до того, как пользователь задаст какой-либо вопрос.
Хороший отчет — это не просто короткий абзац. В стандартном выводе GraphRAG он может включать заголовок, краткое резюме, полный текст, оценку релевантности, объяснение этой оценки и набор примерно из пяти-десяти ключевых выводов. В документации говорится, что отчеты предназначены как для чтения людьми, так и для использования поисковыми системами, причем краткое резюме служит упрощенной версией для дальнейших действий.
Это предоставляет каждому сообществу две функции: оно помогает людям понять значение каждой части графа и обеспечивает систему повторно используемый контекст для новых вопросов. Отчёт служит объяснением для людей и слоем памяти для машины, и именно поэтому отчёты сообществ не являются дополнительным опциональным элементом — это одна из основных причин, по которым GraphRAG может преобразовывать сырые данные в полезные ответы.
Как резюме влияют на глобальный и локальный поиск
Резюме, созданные сообществами, оказываются полезными, когда поступает вопрос. В статье GraphRAG утверждается, что обычный подход RAG плохо справляется с глобальными вопросами, то есть теми, которые касаются всего набора данных, а не одного факта. GraphRAG заранее генерирует резюме сообществ и использует их для таких широких запросов. В аннотации статьи говорится о значительно более полных и разнообразных ответах на вопросы общего характера для наборов данных объёмом около 1 миллиона токенов.
В официальном глобальном поисковом процессе отчеты обрабатываются пакетами в стиле map-reduce. Каждый пакет генерирует промежуточные точки с оценками важности, а точки с наивысшими оценками объединяются в окончательный ответ. В документации указывается на компромисс: более низкие уровни иерархии дают более детальные ответы, но требуют больше времени и вычислительных ресурсов из-за необходимости обработки большего количества отчетов.
Для более узких вопросов GraphRAG переключается на локальный поиск. В этом режиме структурированная графика сочетается с соответствующим исходным текстом, что позволяет модели отвечать на детальные вопросы о конкретных сущностях с более точным контекстом. Наличие обоих режимов объясняет, почему важны краткие обзоры от сообщества — они позволяют системе рассматривать общие темы или углубляться в детали без необходимости каждый раз пересоздавать весь контекст.
Уроки для улучшения отчетов сообщества
Качественная диаграмма формируется на основе тщательной выделения информации, а не только хорошего алгоритма кластеризации. Когда сущности раздроблены, псевдонимы не находят соответствий или отношения остаются нечеткими, отчеты сообщества обычно бывают общими по характеру, поскольку само сообщество плохо определено. Выделение данных, их объединение, кластеризация и составление отчетов работают наилучшим образом как единый взаимосвязанный процесс, а не как четыре независимых задания, и именно отсюда возникают самые сильные краткие обзоры.
Также важен показатель операций. В репозитории GraphRAG предупреждают, что индексация может быть дорогостоящей, и рекомендуют начать с небольшой конфигурации. Говорится, что версия 1.0 будет иметь более простую настройку, упрощенную модель данных и меньшие требования к хранилищу по сравнению с предыдущими версиями. В руководстве также советуют настраивать промпты, поскольку стандартные варианты не подойдут для каждого набора данных. На практике качественные отчеты получаются в результате постепенных улучшений: корректируются промпты для извлечения информации, проверяется качество кластеров, пересматриваются промпты для формирования отчетов, и только затем происходит масштабирование.
Ещё один урок связан с тем, как развивался GraphRAG. Метод динамического выбора сообществ от Microsoft Research включает этап фильтрации. Перед запуском полного поиска во всем мире система просматривает отчёты сообществ и сохраняет только те, которые касаются поставленного вопроса. В тесте на данных AP News этот метод снизил среднюю стоимость обработки токенов на 77% при сохранении качества результата, близкого к качеству при использовании статического подхода. Более глубокий поиск может добавить деталей, но за счёт повышения затрат. Вывод: не все отчёты заслуживают одинаковой обработки, поэтому выбор подходящих отчётов имеет столь же важное значение, как и их качественное обобщение.
Что это даёт в итоге
Создание графа по сути сводится к формированию контекста. Связывание разрозненного текста — это вклад графа. Обнаружение сообществ позволяет классифицировать этот контекст по уровням. Отчеты и краткое изложение превращают эти уровни в что-то полезное как для людей, так и для языковых моделей. При правильном выполнении краткие изложения не являются лишь декорацией; они становятся основным инструментом для понимания больших и запутанных наборов данных.
Краткие ответы
Что такое отчет о сообществе в GraphRAG? Это текстовый документ, написанный языковой моделью о одном кластере графа. К типичным элементам относятся заголовок, краткое изложение, полный текст, ранг с обоснованием и несколько ключевых выводов. Люди читают его, а шаги поиска впоследствии повторно используют его содержимое.
Почему стоит использовать обзоры сообществ вместо простых фрагментов текста? Некоторые вопросы носят глобальный характер, а не локальный. И в статье, и в документации утверждается, что простой векторный поиск плохо справляется с общими вопросами, касающимися тем или закономерностей во всем корпусе, тогда как заранее сгенерированные обзоры предоставляют общую картину всего набора данных, которую можно объединить для получения более качественных ответов.
Почему важен метод Leiden? Обзор не может быть лучше того кластера, который он описывает. Метод Leiden формирует хорошо связанные между собой сообщества, причем на практике он демонстрирует высокие показатели как с точки зрения времени обработки, так и качества разделения данных. Это делает его подходящей основой для иерархии отчетов.