Галоўная / Артыкулы

Гібрыдны пошук для RAG: спалучаем ключавыя словы, вектары і граф

Як спалучыць BM25, вектарны і графавы пошук у RAG: зліццё рэйтынгаў праз RRF, дзе дапамагае GraphRAG і архітэктура «знайсці, зліць, пашырыць, пераранжаваць».

Выдавец: REACTAPP.TOP6 хв чытання1330 слоў

Крыніцы: Hybrid Retrieval for RAG: Combining Graph, Vector, and Keyword Search

Няма аднаго методу пошуку, які бы адпаваў да кожнага запіту. Пошук за ключовымі словамі найэфектывнейшы для точных слоў, векторны пошук — для значэння, а пошук па графах — для асоцыяцый. Рэальныя запыты часта выклікаюць патрэбу ў всіх трох методах адразу, і самэ гэта ўскладніла працу платформ для пошуку і сістэм GraphRAG, якія цяпер часта выкарыстоўваюць комбінацыю лексычнага, семантычнага і графавага пошуку, замест таго, каб пакласты весь тыл на адну тэхніку.

Чаму адзін метод не падходзіць

Пошук за ключовымі словамі застаецца важлівым, таму што ён зв’язаны з тымі тэрмінамі, якія насправды з’являюцца ў даных. Класычныя методы выкарыстоўвання інформацыі ствараюць зворачаны індэкс на адной з баз дадзенаў, а методы оцэнкі у стылі BM25 удосконалююць простае падабранне тэрмінаў, врачаючы частоту ўпытку тэрміна і дужыну дакумента. Лексычныя двайнеры таксама даюць можлівасці керування, якія семантычныя сістэмы не можаюць запропанаваць сама сабою: фразы ў лапках, булевыя аператары, обмежэнні па полях, аналізаторы токенав і прыцягнутыя падабранні. Калі точны выраз такі ж важлівы, як і значэнне, такія можлівасці керування выграюць.

Эмбеддынгі рашаюць працоўнае слабасці, якія існуюць у працоўнай форме. Тэкст ператвараецца ў вектары, і запіт вяртае тое, што знаходзіцца як можна бліжэй, нават калі формулюванне аблікованага запіту або адпаведнага тэксту абсалютна разнае. У студзіі DPR былі наведэны цыфры: у калькуляцыях на калькуляцыях каля колькіх наборах дадзеных для адпаведзення на запыты з адкрытым доменам, метод густага пошуку даў рэзультаты на 9–19 пунктавей вышэй за базовы метод Lucene BM25, калі оцэнювалася тачнасць у топ-20. У масштабных рэалізаціях практычна ўсе варыянты вікорыстоўваюць індэксы апрыксіматыўных найбліжэйшых суседаў, часта HNSW, таму пошук вяртаеся за каліксекунды.

Граф прадае тое, чаго не можаць два іншыя: чытальную структуру. Вузлы можуць выступаць як аб’екты, а рэшткі — як зв’язкі, пры чым на іх аднойчыну дадаюцца камюнітэты, тэзы і шляхі для калькілявання з калькольнікаў. Аналізы GraphRAG апісваюць прыбутак ад такой структуры як тачнасць і полнасць інформацыі на аб’ектны ўзлёс. Рэалізацыя Microsoft раздзеляе локальны пошук, спрамованы на запытанні пра адзін аб’ект, і глобальны пошук, спрамованы на запытанні пра весь корпус дакументаў. KG²RAG паказвае іншы спосаб выкарыстоўвання: уводзяцца семантычна падходзяшчыя фрагменты, і граф знанняў прыкладзеў іх да стварэння цэлеспраднага, разнараднага комплексу падтрымліваючых доказаў.

Два значэнні слова „граф“

Тут паўедамленне «граф» мае занадта шырокы значэнне. HNSW, як аднай з найпашырэнейшых методаў апрыксіматыўкі найбліжэйшых суседаў, сама ёсць графам, створаным так, каб пошук могаў быстра пераходзіць да сяродзішых вектараў. Дасягледы індэкса вектараў у Neo4j апублікуюць яго настройкі — vector.hnsw.m і vector.hnsw.ef_construction.

Калі людзі гавораць пра сумешанні пошуку па графах, вектарах і ключоўых словах, мова йдзе пра два разныя графы. Адны ёсць внутранняя структура індэкса, якая прыяўлівае пошук сэмабільнасці. Іншы — гэты ўнэйшны граф знанняў, які мадэлюе рэальныя аб’екты і зв’язкі між ямі. Першы дапамагае быстра знаходзіць сэмабільныя вектары, а другі спрыяе рассудкаванню на аднойчы з’яўленых фактах. Плутанне гэтых двух элементаў прыводзіць да неясных дасягледаў па архітэктурэ.

Як у практыцы працюе гібрыдны пошук

Звычным пунктом выканання ў такіх методах ёсць адночасныя два пошукі: лексычны і сэмантычны. Weaviate называе свой падход гібрыдным пошукам: выпалююцца як запіты на векторы, так і на ключавыя словы, а рэзультаты якіх з’едынаюцца. OpenSearch досягае таго ж пасляэфекту за дапамою каналоў пошуку, якія або нормалізуюць балы, або з’едынаюць рэзультаты за рангамі пры вярненні інфармацыі. Neo4j’s HybridRetriever запытае індэкс вектораў і індэкс полнага тэксту, пасля чаго з’едынае яны ў адны спіс з рангаванням. Кожны з падходаў падкрэпляе тое, чаго не можа зробіць другі. Ключавыя словы вяртаюць точныя доказы, а эмбеддынгі — фрагменты, якія маюць тое ж значэнне, але выражаны іншымі словамі.

З’едынэнне спісаў

Наступным выборам являецца спосаб прыяеднання рангаванняў. Reciprocal Rank Fusion (RRF) ўважаецца адмоўным выборам, таму што ён работае з пазіцыямі рангавання, а не з первіснымі баламі. У дасягледах Elastic яго опісваюць як метод, які практычна не трэба налаштовваць і які не выкарыстоўвае аднаковыя шкалы балавання. Гэта мае значэнне, адколі балы BM25 і ступені сэмабільнасці эмбедынга зазвычай знаходзяцца ў вельмі разных чысловых дыяпазонах.

Калі вы хочаце больш кантролі, можна выкарыстоўваць нормалізаванае прыяеднанне з вагамі. Weaviate падтрымляе прыяеднанне на адной шкале балавання, а OpenSearch працюе як з процэсарамі на адной шкале, так і з прыяеднаннем на адной пазіцыі рангавання. Elastic таксама зазначае, што лінейнае прыяеднанне можа перамагаць RRF, калі вагі правільна налаштаваны, але для гэтага трэба рэтка нормалізаваць даны і працаваць з експерыментамі.

Ролі графа

Слой графа зазвычай дадзецца пасля першага этапа адзыскання. У Neo4j інструмент HybridCypherRetriever паказывае гэю ідэю: кандыдаты прыходзяць з вектарнага і повнатэкстовага пошуку, а пасля праходзьба па графе вяртае болей насыцаны кантэкст абоўшчы іх.

Локальны пошук GraphRAG ад Microsoft следуе падобным падходам, спалучаючы кантэкст, які бераецца з графа, з аднойчыным тэкстам. Глобальны пошук выкорыстоўвае іншы шлях і адпавядае на запытанні, якія стосуюцца всіх дадзеных, на аднойчына вычысленых на адпаведныя запытанні звярненняў спяльнай аўдыторыі. Гэта ўжо не проста „BM25 плюс эмбеддынгі“: трэба знайсці хорашы вузел або фрагмент, а потым рухацца даўжэй і скарыстаць факты, якіх не было ў паспаднаваным фрагменце.

Калі GraphRAG прадае свою цэну

Адаптаванне працэса пошуку з урахоўваннем графа ёсць эфектываў, калі запіт стосуецца зв’язкаў між элементамі, а не адзінаковых фрагментаў тэксту. У дасягледах Microsoft чытка апісана падзелка: локальны пошук для конкрэтных ентытэтаў, глобальны пошук для аналізу цэлага набора дадзеных, DRIFT для локальнага аналізу, расшырэнага за дапамогою кантэксту спільнатыпу, а таксама базовы пошук для запытанняў, на якія вектарны пошук ужо добра дае адпаведзі. Графы найбольш дапамагаюць, калі корыстнік хоча, каб сістэма з’ѐднала разныя элементы, выявіла залежнасці, падсумавала ключовыя тэмы або прааналізавала кілька роўней доказаў.

Адзінакоўна, гэта не безкоштовная апградацыя рэлевантнасці. У новай студзіі GraphRAG пра бенчмаркі працэўна спрашваецца пра тое, калі графы ўжыткавы, і выявляецца, што GraphRAG можа паспеліваць за звычным RAG у многіх рэальных задачах. Галоўная ідэя заключаецца у тым, што структура графа ёсць корыстной тады, калі заводка справжньяму выкарыстоўвае іерархічнае выкарыстоўванне інформацыі, разумаванне на аднойчыну з адносамі або шырокую сінтэзу кантэксту. Для простых, локальных запыткаў стварэнне графа, яго праходжэнне і стварэнне апускі можа прынесці мало корысты. Хорашы гібрыдны дызайн ёсць селектываўы, а не максымалістычны.

Архітэктура-параджук

Перш за ўсё — падготовка. Разбійце дакументы на часткі, выявіце ентытэты і зв’язкі там, дзе гэта прыдатна, і створыце чыстыя супарабоцтва між кожной часткай і об’ектамі графа, якія ў яй упомінаюцца. Потым па боку адналежаць тры структуры: лексычны індэкс для паўтарэння токэнаў, вектарны індэкс для значэння і шар графа для праходжэння па лініях чы ўзрошэння спільнатэкаў.

Запыткі выконваюцца за чатырма крокамі: адзысканне, з’едынэнне, узрошэнне і пераранжаванне. Спачатку адбываюцца лексычныя і вектарныя пошукі, а ўсе ўласці з іх стаюць адной структурой. Толькі найболей пераконлівыя рэзультаты адзыскання розглядаюцца далей у межах графа, а пераранжавальны механізм сортавае ўсе ці збірнік доказаў прытым, прычым яны будуць пераданы генератору. Такі падход дазволяе залічыць вартасць вычыслаў у межах, а таксама падтрымаць як кількасць адзысканых рэзультатаў, так і якасць кантэксту.

Куды прымкнуць далей

Продавцы і дзеячыя ў галузі дакладных вычыслаў аб’еднваюцца навакол інтэграваных рашэнняў. Elastic, Weaviate, OpenSearch і Neo4j усе прыносяць гібрыдны спосаб знаходжэння дакументаў як стандартную можлівасць, а не як тымчасова мера. Milvus фіксуе гібрыдную наладку, створаную на базе BGE-M3 — модэлю, чыя нарада опісвае ўплотненыя, розрозненыя і багатавектарныя рэзультаты з адной сеткі. Тэндэнцыя вядзе да меншага колькіства окрэмых спосабоў знаходжэння і да большай колькасці сістэм, якія атрымоўваюць калькі сігналаў рэлевантнасці з тых самых дадзенаў і спалучаюць іх, калі прыходзіць запіт.

Практычныя парады

Найбольшая памылка — спрыягаць гібрыдны спосаб знаходжэння да аднаго алгорытму. Гэта стратэгія:

  • Пачніце з точнасці ключоўых слоў у поўнанні з семантычным вярнам розшуку.
  • Выберыце RRF, калі шкалы балавання не збігаюцца.
  • Перайдзіце на важкаванае спалучэння пасля таго, як створылі дадзеныя для ацэнкі.
  • Дадзіце розгортанне графа толькі там, дзе важныя стосункі.

Адэкватнае пасоўванне таксама не ўсё, што мае значэнне. Вектарныя індэксы займаюць рэальную памяць і спрычыняюць затрымкі, а інструкцыі з аперацыяў Neo4j пазначаюць, што яго вектарныя індэксы, апаратныя на Lucene, сільна завісяць ад кэша файловай сістэмы ОС. Ведаць, калі трэба застацца простым, — часць дызайну.

Гібрыдны спосаб пасоўвання працюе, таму што ён відпраўляецца ад таго, як люды шукаюць інформацыю. Інодзе вы памятаеце точную фразу, інодзе толькі ідэю, а інодзе сама ланцюговая структура звязкаў паяснюе, як два факты адносяцца адзін да другога. Пасоўванне за ключоўымі словамі, вектарамі і графамі задовольняе кожную з эйх потрэб, а найэфектывнейшыя сістэмы пошуку намеравана ўжоўваюць іх разам.

Супаўзеўныя матэрыялы

  • RAG Distractors: Чаму падышанне к-значэння купуе конкурэнтав, а не адказы — Два-дзесятыя пазычкі ў спісе рэзультатаў ўзятыя як адвалкаючыя элементы. Даныя Chroma, перагляд фокусаванага кантэкста і вырахунакі токэнаў з адной сесіі падтрымкі паказваюць, як іх усунуць.