RAG ці граф ведаў? 2160 ацэненых адказаў і ўплыў мадэлі

Чаму взагалі трэба мераваць

Дыялогі пра тэхнічнага асістэнта ў корпорацыях часта застаюцца на аднам і тым жа рубежы. Адна сторона выступае за RAG, іншая — за граф сведчэнняў; обе стороны маюць пераконлівыя аргументы, але ніхто не прыводзіць цыфр. Контрольваны эксперымент можа іх запроста запроста даць: два падходы, тры семьі модэляў, тры павтарэнняі і 120 запытанняў з правільнымі адпаведзеннямі, што дае 2,160 оцэненых адпаведзенняў. Кожна адпаведзенне была оцэнена за дапамогою дэтэрміністычнага паказніка і групай з трохоў суддзяў.

Рэзультаты не ўсё такія задовольнюючыя, як хацелася бы. Не існуе абсалютнага пераможця, напрамак эфекту зменшваецца залежна ад модэля, а зменная з найбольшым эфектам не ўзначае ні адну з стратэгій — гэта проста той модэль, які выкорыстоўваецца ў сістэме.

Для швырага чытання:

• Граф перамагаў RAG з статыстычным значэнням толькі ў аднам з трохоў модэляў.
• Суддзіяўскія групы выбралі RAG у всіх трох прыкладах.
• Змена модэлі палягчыла падвышэнне якосці больш, чым змена стратэгіі.
• Набор дадзеных ўзяты сінтэтычна, а канцэпцыя правільных адказоў была створана самым эксперыментатаром, што обмежвае можлівасці перанесення рэзультатаў.

Ціяя обмежэнні ёсць першымі, таму што яны вялікія, чы рэшта варта чытаць.

Што і чаго не абрабатвае гэта даследжэнне

У яму вімераваецца, якая стратэгія выкарыстоўвання дадзеных дае больш правільныя, болей повныя і легкія да адстэплення адказы пра экосістэму мікросэрвісаў, пры чым модэль генеравання застаецца незменным у кожным параганенні.

У яму не вімераваецца практычная корыстнасць для рэальных распрацоўшчыкаў, вартасць адтрымання працы з часам, якосць з точкі зору людзей, якіе разумеюць гэтую сферу, або працэс выкарыстоўвання рэальных дасведчэнняў з усімі іх нэпасоўнасцямі і прасочынамі.

Ён таксама не вылічвае верхнюю межу падходу на адмініструванне графаў. Граф тут навмысна просты: ён мае суседства на адну пераходу і размытае падпаданне ентытэтаў. Граф, які падтрымвае запыты на калькі пераходаў і глобальную аграгацыю, мог бы адпаведаць на запыты, якія не можа адпаведаць гэты граф, таму частка недзеяў графа ў табліцах стаўляецца да рэалізаціі, а не да самага падходу.

Проблема

Компанія перэйшла на мікросервісы. Які ранейшыя кодаванні помешчаліся ў аднам модулі, цяпер складаюцца з дзесяткаў сервісаў, кантрактаў, запускаемых задач і баз дадзенаў. Знанні розпылены ў документах тыпу README, внутранім каталоге, панелі керування і ў трох адзінакоў, якія іх запамятавалі. Кожды дзень выклікае банальныя, але дорогія запытанні: у якой аплікацыі зберагаюцца персональныя даны, ад чаго залежыць сервіс X, чы гэта ужо існуе і чы можна яго перыскорыстаць? Сёння адпаведзь — спытаць каго-небудзь або прачытаць дакументацыю, якая можа быць застарэлай, і рэальныя затраты — не час на пошук, а тэхнічная рашынка, вынятая на адной старой інформацыі.

Асістэнт для дыялога мог бы вырашыць прыбліжэнні да доступу, якшо толькі ён будзе спецыялізаваны на гэтым напрамку, а літэратура прыменяе два падходы.

Неструктураваныя методы пошуку (RAG) дзелят дакументацыю на часткі, індэксуюць іх у вектарным сховішчы, выкарыстоўваюць урывкі, якія наіболей супадаюць з запытам, і включаюць іх у запрошэнне для обработкі. Што даў гэты тэрмін, — Льюўіс і яго саавтары у 2020 годзе, а Гао і яго саавтары аналізуюць няўзабавныя развіткі. Іх прыемна падтрымліваць, і яны пераспрыяюць адпрацоўкі новых дадзеных без паўторнага навчання, але ўпадаюць у некаторых сітуацыях, калі для адпаведзі на запыт неабходна логіка, а не толькі аналіз явных зв’язкаў.

Структураваныя методы пошуку (графы знанняў) мадэлююць экасістэму як вузлы і рэшткі з адпаведнымі тыпамі: службы, каманды, запускі, базы дадзеных, залежнасці. Запыты ў такіх сістэмах ёсць дэтэрміністычнымі і можна ўсё праследаваць, аднак стварэнне і кераванне графамі ёсць даскладным. Аналіз графаў знанняў, які пракстамаваюць Хаган і яго саавтары, ёсць стандартным джэрэлам інфармацыі.

Гэтыя два падходы суяўляюцца ў GraphRAG, і самэ туды спрамаваны рэзультаты гэтага эксперымента.

Дызайн

Найважлівэйша рашынка была вынесена ўсё раней, чым пачынаецца код: толькі шар знанняў можа разлічвацца. Без гэтага правіла поручваныяя два спосабы рэалізацыі, а не два стратэгіі. Будзь-якія разлікі ў фармаце запіту чы выходных даных парадузяюць рэзультат так, што яго нельга пазнійша аддзельна аналізаваць, і самэ гэта прычына, чаму багатыя неформальныя тэсты RAG ў канцы канцоў меруюць майстэрнасць таго, хто напісаў запіт.

Оба падходы вяртаюць абоўсо той самы контракт адпаведзення: запыт, падход, адпаведзенне, крыніцы, атрыманы кантэкст, час адпаведзення і адказваны косц. Гэта дазволяе коду для ацэнкі, API і інтэрфейсу застаўацца незалежнымі ад выбранага падходу.

Для тэста была патрэбна рэалістычная, публікуемая, воспавядзімая экасістэма, і вжыць рэальную экасістэму працодавца было немагчыма. Таму ў структуры тэсту была створана CreditXPTO — фінтэх-компанія з адзінаменным крэдытом, якой на самай працэ не існуе:

Існаванне сінтэтычных рашэнняў дае тры перавагі. Контэнт належыць пад контролем, вядома правільная адпаведзь на кожны запытанне, і будзь-хто можа перадзеясніць працу без доступу да внутраніх сістэм. Цена за гэта — зовнішняя праваможнасць, галоўныя абмежэнні, пра якія гаворыцца ў канцы.

Тыя ж веды існуюць у обох фарматах прэдставлення, а эквівалентнасць падтрымваюць правіла верыфікацыі, якія працуюць у сістэме неперывнай інтэграцыі: несправныя рэферэнсы робяць набор дадзеных неканэктывным. Інакш адна з сторон могла б таямна ведаць больш, чым другая. 120 запытанняў пазначаныя па катэгорыях (фактычныя, адказвальныя, пра вплыв, адносныя, дакладнія, неодназначныя), па ступеню складнасці і па тыпу вед, пры чым кожна з іх мае адпаведную адпаведзь і джэрэла.

У частцы RAG выкарыстоўваюцца фрагменты па 512 токенаў з перакрыццем у 50 токенаў і параметрам top-k равным 5. Эмбедынгі атрымліваюцца з модуля BAAI/bge-small-en-v1.5, які запускаецца локальна, пры чым як сховішча вектараў выкарыстоўваецца Qdrant. Працэс шукання па ўсіх даных адбываецца за схемай, популярнайякія Карпухін і яго колегі (DPR); эмбедынгі рэчэнцаў базуюцца на Sentence-BERT, а сям’я модуляў BGE опісана ў C-Pack.

У частцы, якая працуе з графамі, у памяці выкарыстоўваецца бібліятэка NetworkX, створаная безпасульна з адпаведных вучэбных файлаў, таму яна завжды састаёцца у зусімстве з дадзенням. Паўнасць падабенства аб’ектаў ацэніваецца за дапамогою фаззы 70/100, а шуканне адбываецца у межах суседства аднае гэпы.

Оцэнка

Ацэнка выконвалася на двух рэвэлях. Першы рэвэль ёсць гіюрэтычны: лексычная садоўпа, наявнасць ключоўых энтытэтаў і ступень пакрыцця ісхіднага тэкста. Ён дышэўкі, дэтэрміністычны і воспавядаемы, але таксама поверхневы, адтым што карае парафразы. Гэта вядомая слабас метрык перакрыцця n-грамаў і прычына існавання сэмантычных альтэрнатываў, такіх як BERTScore.

Другі рэвэль — група з трох суддзяў-LLM, по аднаму з кожнай сямейкі модэляў, якія оцэнююць правільнасць, полноту, адпаведнасць дадзенням і яснасць за шкалай з 0 да 3. Парадыгма LLM-касуддзя была закрэплена Чжэнгам і яго саавтарамі за дапамогою MT-Bench.

Ёсць адзін важлівы дэтал: ключовая метрыка ўзята з розных груп. Для кожнай адпаведзі ў расчытках не берэцца суддзя з той жа групы, да якой належыць генератор. Мадэлі распазнаюць свой сабе тэкст і ставяць яму вышэйшыя оцэнкі, а Panickssery і яго саавтары (2024) паў’язуюць такую самапрэферэнцію з гэтым самараспазнаваннем. Ядзіны спосаб прыбліжна нейтралізаваць гэта явішча — структурны, а не праграмаваннем вымогі до беспакосьці ў запітах.

Значэнне выклікаеся за дапамогою спароўанага тэста McNemar, адколі обе стратэгіі адпавядаюць на тыя ж запытанні. Для вычыслення інтэравалів вікорыстоўваецца метод bootstrap з 5 000 перэпісваў, а згоду суддзяў ацэнюецца за дапамогою каляркі Коэна.

Рэзультаты

У першай табліцы паказана строгая точнасць, пры якой уваходзяць толькі абсалютна правільныя адпаведзі; у кожнай клетцы n = 360:

Важлівыя два показнікі.

Паўначальнае — знак меняецца ў залежнасці ад модэлі. RAG выграўа з двумя генератарамі, а граф выграўа з трэцім, і толькі гэта апошнее разлікі ёсць значным. Адрабатка эксперыменту з адной модэллю, як гэта робяць у большасці тэстаў, дала бы паверлівы, але некарэктны вынік, уключаючы інтэравал паверы. У рэзультатах не было бы нічога, што могла б на гэта натыкнуць.

Другае — разлік між модэлямі перавышае разлік між падходамі. Пераход з claude-sonnet-4-6 на gpt-5.5 дапамагае больш, чым змена стратэгіі ў межах адной модэлі. Гэта прыводзіць до таго, што пытанне «RAG чы граф?» стае рашэннем другага парадку, і гэта ёсць аднаковым вынікам усіх доследжэнняў.

Парадоксальна сітуацыя выступае, калі тэст перарабатваецца з шырокім вакліканням, калі даецца пашчотна оцэнка плюс частковая оцэнка, а штрафуецца толькі явная памылка. У такім случае RAG значна пераганяе першыя два модэлі, а перадача графа на трэцім становіцца не такой значной. Точны вывод такі: перавага RAG не ў тым, што ён правільна адпавядае чашчэ, а ў тым, што калі і адпавядае неправільна, то не так сільна. Калі запошук інфармацыі ёсць частковым, ён дае неповныя адпаведзі. Калі падбіранне ентытэў не выходзіць, граф дае неправільную, але впэўненую адпаведзь. Для внутршньага асістэнта гэта разлік мае вельмі важлівое значэнне: распрацоўшчык можа дапрацаваць неповную адпаведзь, але неправільная адпаведзь з цітаваным джэрэлам будзе перанесена на зустрэч.

Рэзультаты журы будуць паказаны далей:

Комітэт вярнее выбірае RAG для ўсіх трохох модэлей, укладаючы і тую, дзе гіерактычны метод даў графу значны прыорытэт. гэта явысць эфектам інструмента, а не суперасункам. У аднам конкрэтным прыкладзе запытак отрымаў показнік лексычнай сэмаблівнасці 0,25 і быў класіфікаваны як некарэктны гіерактычным методам, пры тым камітэт даў яму 2,88 з 3 балоў. Адказ быў правы, проста сказаны іншымі словамі. Метрыкі N-gram меруюць слоўнік, а метрыкі LLM-суддзяў — спрыймаемую правільнасць, з уперакладамі. Ні адна з іх сама по сабе не дае адказу на запытанне, а калі яны не пагоджуюцца, гэты неспакоў паказвае, куды трэба адзірнуцца.

Комітэт заслуговае на чысты застэрэжны прыметак: згода суддзяў была толькі сярэдняя, пры чым показнік Коэна каппа складаў ад 0,09 да 0,56. Комітэт з суддзяўі LLM-аў — гэта не інструмент для вімеры точнасці. Гэта структураваная другая думка, і такія фрэймворкі, як RAGAS, існуюць самэлькі таму, што ацэнка генеравання з дапамогою адзысквання інфармацыі застаецца нерашаным пытаннем.

Чыгунаючы з адзінчасцю, RAG быў на 12–20% быстрэйшы ў всіх трох мадэлях. Кантэкст графа ёсць болей компактны, але запыт выконваецца з дадатковым крокам. Косць разлічыцца залежна ад мадэлі: граф ёсць дэшавейшы ў двух генераторах, а дорожэйшы ў аднам. Співвялічэнне токенав вхідных і выходных дадзеных значна разлічыцца між прадаўцамі, што можа змяніць ўзнаку косці. гэта ўжоўвачанне, а не вывад, адколі склад токенав не быў формальна перапытаны.

Як кожны падход не выконваецца

Гэта самая корыстная частка, і яе няма ні ў якай табліцы.

Граф структурна нефункцыянальны. Калі запытаць, які база дадзеных выкарыстоўваеяся сервісам, ён вяртае ідэнтыфікатор вузла, а не сам механізм, таму што гэты атрыбут не быў урахаваны. Калі запытаць, сколькі команд выкарыстоўвае певную тэхналогію, суседзтва адзінаго крока вяртае два сервісы, і ён адпавядае з упэўненасцю, што іх два. А якшо метод нечыстага падабенства выбірае неправільную ентытэ, весь кантэкст стае некорэктным, пры чым няма нічога, што бы гэта пазначыла.

RAG нефункцыянальны праз непашырэнасць. Ён правільна выявляе, што сервіс выкарыстоўвае Redis, але обмежвае адпаведзь толькі атрыбутамі адзінаго запытанага сервіса, калі запытанне выклікае неабходнасць атрыбутаў всей сістэмы.

Оба падходы некарэктныя, але по-разнаму. Недакладнасці яных дапоўнююць адна другую, і самэ гэта ўсёлікавае прычыну для гібрыднага падходу, калі маршрутызацыя адбываецца за тыпам запытання.

Рэкамендацыі

• Спачатку выберыце модэль. эта зменная здабывае найбольшы эфект. Адкладванне часоў на налагоджэнне розмеру фрагмента, пры тым калі яе спрыяваць як дэталю рэалізацыі, дапамага оптымізаваць параметр другага парадку.
• Пачніце з RAG. У яго лепшыя характэрыстыкі і дышэўнейшыя затраты на адтрыманне, а спосаб яго абяцкання ёсць прыемлімым.
• Дадзіце структуру адзін за адным, для залежнасцяў, власнасці і апрацоўкі запускаеў. Не прабуйце мадэляваць весь экасыстэму прычымоў да выдання чаго-небудзь.
• Не павержайцеся адной-едзінай метрыце. Іспользуйце дэтэрміністычны гістэрычны метод і набор памероў з разных груп. Калі яны не састаюцца, значыць з’явіўся цікавы кейс, а не баг.
• Іспользуйце парныя тэсты. Обе стратэгіі адпавядаюць на тыя ж запытанні, а параванне сярэгоў без методу Макнемара дае адказ, якога дадзеныя не падтрымляюць.

Абмежэнні

• Набор дадзеных ўтвораны сінтэтычна, а канцэпцыя правільных адказоў — гэта супэльнік эксперыментатора. Яго не пераканалі рэальныя корыстнікі. Гэта дазволяе контролюваць рэзультаты і ўтвараць ўзаўтварніцтва, але паслабляе зовнішню валіднасць.
• Рэалізацыя графа ўмышлена простая, таму частыя слабасці ў агрэгацыі могу выйшаць з самай рэалізацыі, а не з прынцыпаў парадыгмы.
• Практычная корыснасць і можлівасць адтрымання не былі вымераны. Яны былі сярод цялей і засталіся кантэнтна-характэрнымі.
• Гістэрычны падход не быў перакананы па адносу да людскага суджэння. Група экспертаў часткова смягчае гэта пытанне, але не рашае яго.
• Ад 2,160 адказоў адзіннаццаць (0,51%) былі вызваны памылкамі сеткі прадаўцоў, а не памылкамі самай сістэмы.

Вывык

Нямалася надзея, што рэштка будзе «выкорыстоўваць граф» або «выкорыстоўваць RAG». У выніку выявілася, што жаднага з гэтых адказоў няма, пакуль не будзе выявлены мадэль, і што зменная, якая лічылася фонавай, мела найбольшы важылак. Гэта менш задовольняюча, але болей практычна. Гэта таксама праіснуюе за межы гэтага прыкладу: бенчмарк з закрытай зменной не дае явных парадох, а дае інтэрвал паверы. Перш чым выбраць архітэктуру, запытайцеся, што было застаўлена стацыярным у эксперыменце, і чы рэальна гэта мяла застаць стацыярным.

Спадневаная літэратура

• Развітыя тэхналогіі RAG у працэйнай асяроддзі: архітэктура, інструменты і компромісы — Аналіз прыемкі RAG у практычных умовах: прыемка дадзейнаў, ўзлагоджэнне, разбіўка на часткі, стварэнне эмбедынгаў, храненне вектараў, гібрыдны спосаб выкарыстоўвання інформацыі, пераранжаванне рэзультатаў, ацэнка эфектыўнасці і захаванне дадзейнаў, а таксама компромісы, якія супакоўваюць кожны з этых аспектаў.
• GraphRAG проты Vector RAG: чаму вектарны пошук не функцыонуе у масштабных умовах і як гэта парадкація — Vector RAG сталкніваецца з проблемамі ў ізоляцыі частак дадзейнаў, логічным аналізам між документамі і працэйнай спроможнасцю ў вялікіх масштабах. Дакладна показана, як GraphRAG стварае структуры для лепшага аналізу дадзейнаў і які час выбіраць тую чы іншую тэхналогію.

ROE протык TechRAG: GraphRAG на Docker і Qdrant або на SQLite і LanceDB — Два падходы да адной тэзы GraphRAG: Qdrant, MongoDB і мадэль на 120 мільярда параметраў протык LanceDB, SQLite і qwen2.5 на 7 мільярда параметраў, з парабянамі адносна логікі выкарыстоўвання дадзенняў і выведаннем усвідамленняў.