Галоўная / Артыкулы

Справаздачы супольнасцей у GraphRAG: як граф ведаў ператвараецца ў адказы

Як GraphRAG будуе граф з тэксту, знаходзіць супольнасці іерархічным алгарытмам Лейдэна, піша справаздачы па іх і выкарыстоўвае для глабальнага і лакальнага пошуку.

Выдавец: REACTAPP.TOP6 хв чытання1397 слоў

Крыніцы: Building the Graph with GraphRAG: Community Reports and Summaries

Большая купа дакументаў рэдка калі не мае інфармацыі. Яна не функцыонуе таму, што значэнні распрашаны. У аднам абзаце называецца чалавек, у іншым опісваецца падзея, а ў трэцім — рынак, і нічто не спаюе іх адзін з другім.

Традыцыяны RAG досыць добра выкарыстоўвае значыцыяльныя абзацы, але ён часта сталквецца з труднасцямі паўстаючы з шырокіх або абстрактных запытанняў, ўсобліва тых, якія стосуюцца цэлага набора дакументаў. GraphRAG усуне гэтыя проблемы, стварыўшы граф знанняў з тэксту, агрупаваўшы супаўзелеглы матэрыял і напісавшы статызы, якія дапамагаюць у рассуджэннях над усім колекцыям.

Граф знання — гэта сетка аб’ектаў і зв’язкаў між ямі. Формальна структура графа складаецца з аб’ектаў, адносаў і тройк, пры чым кожная тройка спаўнае два аб’екты за дапамогою пэўнага тыпу зв’язку. Такія графы ужо дапамагаюць у пошуку, перакананні ў правдзі фактов і адпаведзенні на запытанні, таму яны падходзяць для сістэм, якім патрэбны не толькі ізольаваныя фрагменты тэксту.

З неапранога тэксту да графа

Стварэнне графа пачынаецца з разбівання выхіднага матэрыялу на меншыя елементы. У стандартным працэсе GraphRAG дакументы ператвараюцца на TextUnits, а сістэма выкарыстоўвае іх, каб выявіць аб’екты, адносы і іноды твэрджэнні. Пасля чаго яна з’еднае дуплікатныя аб’екты і зв’язкі, а таксама спростае ўпісы пра яны, ператвараючы іх у простыя об’екты графа. Рэзультатам являецца структураваны індэкс з табліцамі і эмбедынгамі, які зберагае важлівыя адносы, а не просты спіс фактов.

Гэта здаецца простым, але хораша графіка выклікаецца не толькі выявленнем імен. Доследжэння паказваюць, што надзеяны прыемнік таксама павінен керавацца займеннікамі і псевдонімамі, шукаць фразы, якія выражаюць стосункі, і прыўязваць гэтыя фразы да правільных аб’ектаў і дзеянняў. У практыцы гэта выклікае неабходнасць рашэння пытанняў корэферэнціі, прыўязкі аб’ектаў, стосункоў і выкалечвання тройных пар. Калі які-небудзь з этапаў ёсць слабым, графіка можа быць неточной яшчэ до таго, калі хтось ўжо зробіць узагальнення.

З аб’ектаў да спільнот

Калі граф аб’ектаў ўжо готавы, наступны крок — выявленне яго структуры. GraphRAG агрупавае супакояныя вузлы ў кластэры на калькольках роўняў за дапамогою іерархічнага выявлення спільнот. Граф перастае быць таблой пошуку і становіцца картою тэмаў, падтэмаў і локальных аб’ектаў. Дасягнення Microsoft опісваюць гэта як сумарызацію з ніжней ступеня да верхней для розумеўця цэлага набора дадзеных, а Microsoft Research стверджуе, што іерархія можа праходзіць ад шырокіх тэмаў да дужа спецыфічных аб’ектаў.

Алгорытм кластэрування мае важнае значэнне. GraphRAG выкарыстоўвае іерархічнае выявлення спільнот Leiden, якое падтрымваецца ў даследжэннях сеткавай наукі. Leiden быў разрабоўваны для гарантавання добра з’яеднаных спільнот, і артыкул у Scientific Reports паказаў, што ён часта стварае лепшыя партыцыі, чым Louvain, і працюе быстрэй. Чым ўжо болей з’яеднаныя спільноты, тым лепшыя сумарызаціі, адтолькі ў модэле концентруецца тэкст, які дзейсна паслужыць разам.

Што містыцца ў звятыні спальнай

Звятыні спальнах і ёсць тым, што робіць граф адпаведным для вжытку. Калі спальні ствароўваюцца, GraphRAG пішчырае звятыну для кожной з іх. Звятына вышэйшага рангу можа опісваць усю базу дадзеных, тым часам звятыні ніжэйшага рангу абарачваюць мензейкія групы ентытаў, адносаў і тэм. Microsoft стварыць, што такі падход адкрывае структуру дадзеных яшчэ перш чым корыстнік задае якія-небудзь запіты.

Хорашая звятына — гэта не проста короткі параграф. У стандартным выходзе GraphRAG яна можа міць заглавле, апытаку, полны тэкст, ранг значыцьбы, адказ на пытанне пра гэты ранг і скупку прыблізна пяці-дзесяці ключоўых вынікаў. У дасягледах паведамляецца, што звятыні прызначаны для чытання людзьмі і для вжыцку сістэмамі пошуку, пры чым короткая апытака служыць кіравай версіяй для паслядніх крокаў.

Гэта дае кожнай спялёчнасці два завады. Гэта дапамагае людзям зрозумець, што значыць кожны элемент графа, і задае сістэме можна-павтарэчны кантэкст для новых запытанняў. Адзыв працуе як адказ для людзей і як слой памяці для машыны, таму адзывы спялёчнасцяў не ёсу дапаможным элементам. Гэта галоўная прычына, чаму GraphRAG можа ператварыць неапранутыя даны на корыстныя адказы.

Як падсумкі ствараюць глобальны і локальны пошук

Падсумкі спялёчнасцяў становяцься корыстнымі, калі прыходзіце запытанне. У стацыянцы GraphRAG адзначаецца, што звычны RAG паслужвае слабка ў глобальных запытаннях, тых, якія стосуюцца цэлага набора даных, а не аднай факты. GraphRAG загадзя стварае падсумкі спялёчнасцяў і выкарыстоўвае іх для такіх шырокіх запытанняў. У антракце стацыянцы паведамляецца, што для запытанняў, якія стосуюцца набораў даных паўторы мільйона токенав, адказы ёсць значна болей вялікімі за обсягам і разнавыдовымі.

У афіцыйным глобальным працэсе пошуку атласы обрабоўваюцца пакетамі у стыле map-reduce. Кожны пакет стварае проміжныя точкі з рэйтынгамі значыцьбы, а точкі з найвышэйшым рэйтынгам разыяўляюцца ў фінальны адказ. У дасягледах пазначаецца компрэсія: ніжыя рангі іерархіі даюць болей дэталізаваныя адказы, але выклікаюць больш часу і вычыслювальных рэсурсоў, таму што трэба прачытаць больш атласоў.

Для болей спецыфічных запытанняў GraphRAG пераходзіць на локальны пошук. У гэтым рэжыме структураваны граф спаўнаецца з адпаведным тэкстам-выкладчыком, тады мадэль можа даўаць дэталізаваныя адказы на запытанні пра конкрэтыя ентытэты з лепшым кантэкстам. Наявнасць обох рэжымаў паяснюе, чаму важныя ёсць апускі спяльнай спадчыны. Яны дазволяюць сістэме рассматрываць шырыя тэмы або заглęбляцца ў дэталі без неабходнасці перзначання усяго кантэксту ў кожны раз.

Урокі для лепшых атласоў спяльнай спадчыны

Сільныя графы ствараюцца на адзінаковай выяўленні даных, а не толькі на хорашым алгорытме кластэрування. Калі ентыты фрагментаваны, аліясы не падпараджаюцца нікому або зв’язкі застаюцца нечыткімі, звярненняяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяя

Колькасць аперацыяў таксама мае значэнне. У рэпазітарыі GraphRAG паветражваецца, што індэксаванне можа быць дорогім, і рэкамендуецца пачаць з простага наладжэння. Кажацца, ў версіі 1.0 ёсць простэйшая настройка, лёгкіяшы модэль дадзэнняў і меньшыя запатрэбнасці ў прыёмнікі для зберагчэння па супэрніцтву з пакульшымі версіямі. У нарадзе таксама радзіцца налаштаваць запросы, адколі стандартныя настройкі не падойдуць для кожнага набора дадзэнняў. У практыцы хорашыя атласы ствараюцца праз парадок: практыкуйце налаштавання запросаў на выкарыстоўванне дадзэнняў, пераканаўцеся ў якасці кластэраў, перасмотрзіце запросы на стварэнне атласаў, і толькі пасля чаго прымножваюце масштабы.

Іншы урок выклікае сама эвалюяцыя GraphRAG. Метод дынамічнага выбору спяльноты з Microsoft Research дадзеў можлівасць фільтрацыі. Перш чым запускаецца працэс загальнага пошуку, сістэма пераглядае звясткі спяльнот і залішае толькі тыя, якія стосуюцца запітання. У тэстах на дадзеныях AP News гэты метод зменіў сярэжны кост токенавання на 77% пры аднам рэвэлі, заўсёды падтрымваючы якасць рэзультатаў на роўні статычнага падходу. Глэбэйшы пошук можа дастаць больш дакладнасці, але за вышэйшую цену. Вывад: не всі звясткі заслуговуюць на аднакавы апрацоўкі, таму выбор правільных з’яўляецца настолькі ж важны, як і ўмелая ўзагальнення іх.

Што гэта дае ў суме

Стварэнне графа насправды апошнія ў стварэнні кантэксту. Спаяванне розраслых тэкстаў — гэта вялікі вклад графа. Адналёгчэнне спяльнот выканае сортаванням гэтага значэння па рубрыках. Атласы і кантакты ператвараюць гэтыя рубрыкі ў ўжытковы матэрыял як для людзей, так і для модэляў мовы. Калі гэта зроблена правільна, кантакты не ўжо толькі дэкоратыўны элемент; яны стаюць галоўным інструментам для розумення вялікіх, хаотычных набораў дадзеных.

Швыя адказы

Што такое атлас спяльноты ў GraphRAG? Гэта тэкстовы дакумент, напісаны модэлем мовы пра адну з кластэраў графа. Тыповыя элементы — заглавле, кантакты, сам тэкст, ранг з абгрунтацыяй і калькі ключоўых нараджэнняў. Людзі чытаюць яго, а крокі пошуку пазней знова ўжываюць яго.

Чаму варта вікорыстовваць підсумкі спільноты заместо простах фрагментаў тэксту? Дзеяныя запытанні ёсць глобальнымі, а не локальнымі. Як сам документ, так і супроводжуваючая яго дакументацыя падкрэсліваюць, што шырые запытанні ў абласці тэмаў чыму-небудзь або патэранаў у цэлым корпусе не можуць быць належна адпаведзеныя простаю вектарной выкарыстоўваннем, тады калі пазычаныя підсумкі даюць вёскавы візуальны апыт, які можа быць перакомбінованы ў лепшыя адпаведзенні.

Чаму важнае значэнне мае Лейдэн? Підсумак не можа быць лепшым за тое, што ён опісвае. Лейдэн стварае спільноты, якія ёсць добра з’ўязанымі, і ён парадзіць ся высокай якасцю як у часе выканання, так і ў якосці розпаду. Гэта робіць яго практычным фундаментам для іерархіі звярненняў.