Галоўная / Артыкулы

Гібрыдны пошук для RAG: BM25, зліццё рэйтынгаў і пераранжаванне перамагаюць вектары

Чысты вектарны пошук прапускае дакладныя тэрміны. BM25 разам з эмбедынгамі, Reciprocal Rank Fusion і крос-энкодэр далі гэтай наладзе RAG 91% дакладнасці пошуку.

Выдавец: REACTAPP.TOP6 хв чытання1365 слоў

Крыніцы: `I Stopped Using Vector Databases. My RAG Got Better.`

Першыя рэкамендацыі ў галіні RAG здаюцца практычна абсалютнымі: выберыце Pinecone, Weaviate або Chroma, увярніце дакументы, зберагучы вектары, запрацавайце семантычны пошук і ўсё готава. Багато команд следуюць гэтаму падходу абсалютна точна. Яны дзельнуюць дакументы на часткі, ствараюць увярнення за дапамою хоставанага модэлю, завантажуюць базу дадзэння вектароў і пішуць функцыю пошуку, якая выбірае пяць наіболей схожых частак для кожнага запіту. Гэта працуе, але толькі часткова, і самэ гэта ёсць тыя моменты, калі пачынае мяць значэнне тачнасць.

Дзе ламаецца чысты пошук вектароў

Простыя, абкрытыя запытанні даўаюць прыемныя рэзультаты пошуку. Усё, што выкалікае патрэбу ў тачнасці, дае пасляўтныя наследкі: конкрэтныя даты, точныя цыфры, апісанні конкрэтных раздзялоў, тэхнічныя запытанні з велікай колькасцю ключоўых слоў. Тады LLM абавязкова стварае адпаведзь на аднойчы не тых частках. Модэль не вінаваты, таму што сістэма пошуку дала яму некарэктны кантэкст.

Звычная рэакцыя — гэта зваліць віну на генераванне. Людзі правяць запіты, дадзягаюць інструкцыі на кшталт «вядомаць толькі на адпаведным кантэксце» і ствараюць цыклы самапрацоўкі. Нічга з гэтага не дапамагае, калі отрыманы матэрыял некарэктны. Слабы ўзлокет — гэта пошук, а не генераванне.

Эмбедынгі добра справляюцца з значэнням, але страждаюць з конкрэтнымі дэталямі, і конкрэтны прыклад паказвае гэта. Спадзяймося, у адзорнаме ёсць рэчка, якая пісае, што дохадкі за чэрвёнскі квартал 2024 года склалі 12,8 мільйона долераў, што на 23% больш, чым за трэці квартал. Пользоватэль запытаеся, якія былі дохадкі за чэрвёнскі квартал 2024 года. Здаецца, гэта простая задача для эмбедынгаў.

Гэта тое, што на самай працо выканаецца. Мадэль адгэтування ператварае запіт і кожны фрагмент у вектары з высокай размернасцю, а пасля шукае концэптуальную блізасць да падзеяў „дохады“, „фінансавая дзеяўнасць“ і „квартальныя рэзультаты“. Яна можа вярнуць фрагменты, якія стосуюцца дохад у загальным сэнсе, прогназы на будучыню або паказнікі за 3-й квартал, адтуды што ўсе яны знаходзяцца поблізу ідэі квартальных дохад. Фрагмент з тэкстам „12,8 мільйона долераў“ можа апынуцца на чатвертай аб пяцой пазіцыі, або ўвесь знікнуць, калі межы фрагментаў перэрвуць рэчэнне неадэкватна. Звычны пошук па ключоўым слову „дохады за 4-й квартал 2024 года“ знайшоў бы яго адразу.

Масштаб ускладнюе сітуацыю

З 50 дакументаміў семантны пошук працюе непагана, часткова таму, што мало фрагментаў конкуруець. З 5 000 дакументаміў ён перастае працаваць. Большы корпус містыць больш фрагментаў, якія семантычна блізкі, але фактычна несутыядныя, таму спявазанне сігналу і шуму падупае, і сістэма выкарыстоўвае абдзяцкі з „правільнага раёну“, якія несу некорэктную інфармацыю.

Адны тэст на тэхнічным корпусе з прыблізна 3 000 стораніцаў (дакументы API, логі змян і кансалтатыўпіі з інтэграцыі) паказаў, што точнасць чыстага вектарнага пошуку становіла абоўшы 62%. Гэта значыць, што майжэ чатыры з дзесяці запытанняў падаваліся до LLM з непашырэнай або некорэктной інфармацыяй. Жадных манёў з підготовкай запытанняў не было, аднойчы як сама база ўжо была зламаная.

Адмова ад вектарнага пошуку не была рашэннем. Проблема была ў тым, што паслугваліся ім адным. Трывыпадовая структура падняла тачнасць у тым тэсце з 62% да 91%.

Першая частка: BM25 для точных тэрмінаў

BM25 быў створаны ў 1990-х гадох і да сёння належыць да найэфектывнейшых алгорытмаў пошуку. У тым час як эмбеддынгі спяшчаюцы розбір інфармацыі, ён паўтарае самыя словы: для фразы „Дохадкі за чэрвень 2024 года“ ён выбірае кожны фрагмент, які містыць гэтыя словы, і сортавае іх па частоце павтарэння і рэлевантнасці ў корпусе. Ён працуе быстра, дае аднаковыя рэзультаты ў кожны раз і можа працаваць без GPU. Для яго існуе невялікая бібліятэка, і не трэба вектарных баз дадзеных — достатнік толькі індэкса тэксту, створанага на базе фрагментаў.

Дзяржына другая: застаўляйце эмбеддынгі, але як адна сістэма

Эмбеддынгі зберагаюць свою цэннасць, таму што ўловляюць намеры корыстувальніка і выявляюць супаўзеліглы контэнт. Корыстувальнік, які запытаецца „Як кераваць аўтэнтыфікацыяй?“, у дакументах пад назвамі „Кераванне входам корыстувальніка“ отрымае рэзультаты ад семантычнага пошуку, якіх BM25 ніколі не даў бы. Такім чынам эмбеддынгі стаюць аднам з істочнікаў кандыдатаў, але ніколі не ўсім істочнікам.

Сярод найлепшых рэзультатаў ад обох алгорытмаў адбываецца злучэнне за дапамогай Reciprocal Rank Fusion (RRF) — простаг методу, які спаўнае рангаваныя спісы, надаючы вышэйшыя балы фрагментам, якія прысутны ў обох. Фрагмент, які займае першае месца па крытэрыю BM25 і трэцяе па рэйтынгу сэмантычнага пошуку, атрымвае значна вышэйшыя балы, чым той, які ўказаны толькі ў аднам спісе. Гэта сама сабою паднімае ранг фрагментаў, якія ёсць рэлевантнымі як па ключоўым словам, так і па значэнні. Рэалізацыя складаецца з апошніх 20 ліній коду на Python, і для яе не трэба жадных фрэймворкаў.

Частка трэцяя: перарангаванне

Этап пераранжавання — гэты ўрадзік, які большасць команд працяўна ігнаруе, і самэ ён найбольш паўлічыў рэзультаты. Калі гібрыдны спосаб злучэння дае 15–20 кандыдатаў, крос-кодэр для пераранжавання оцінюе кожнага з іх. Мадэль эмбедынгу кодуе запіт і дакумент окрэма ад другога. У той час як крос-кодэр прабывае запіт і аднаго кандыдата праз мадэль адночасна, тады оцэнка паказвае, насколькі добра гэтая пара падходзіць.

Маленькая мадэль для пераранжавання даўа прыблізна 200 мс затрымкі, але значна павышае якосць тых фрагментаў, якія потрапляюць у фінальны кантэкст. Пяць лепшых пасля пераранжавання практычна завжды ўсё правыя. Хораша метафора — гэта як рыбалка: BM25 паўсаўмаў з семантычным пошукам распускае шырокую сетку, а пераранжаванне сортавае прадукты пошуку і залішае толькі найлепшыя.

Да і пасля

Ціфры, якія паказаны для гібрыднага пілотаў проты чыстага вектарнага пошуку:

Метрыка Толькі пошук за вектарамі Гібрыдны метод з перэранківанням
Точнасць выкарыстоўвання топ-5 рэзультатаў 62% 91%
Правільнасць адпаведзей 58% 87%
Рэгламент галюцінацый 31% 8%
Звесткі аб неправільных адпаведзях ад корыстувачаў прыблізна 3 на дзень прыблізна 2 на тыдзень

Нечаканыя паслядкі — гэта вартасці. Пасля анулювання хоставання базы дадзеных за вектарамі выдаткі на інфраструктуру зменіліся на адпоўна 60%. BM25 працуе на аднам CPU, а прыстрой для перэранківання патрэбуе толькі невялікага GPU або CPU з прыемным часам адпаведзу.

Чаму рэкамендаціі спрамованы на базы дадзеных за вектарамі

Компаніі, які ствараюць базы дадзеных вектароў, залучылі вельмі вялікія сумы грошаў, а іх маркетынг відзначаецца ў кожным нарадчыку, курсе і відэа, якія пачынаюцца фразай «Крок 1: наладзіце сваю базу дадзеных вектароў». Ніхто з тых, хто іх продае, не будзе зарабляць, якшо з’явіцца, што алгорытм, які існуе ўжо дзесяткі гадоў, паўз маленькі ранкрэйнер лепшы за ўсе іх продукты у большасці сцэнарыяў.

Аднак базы дадзеных вектароў не ўсунутыя з практыкі. Яны маюць вялікую цэннасць для:

  • Эксплоратарскага пошуку, калі корыстувальнікі працуе з інфармацыяй, а не толькі шукаюць факты.
  • Багатамодальнага адзысквання інфармацыі з зображэнняў, аудыя чы коду.
  • Вялічзіных колекцыяў, якія налічваюць мільярды дакументаў, дзе індэксы BM25 становяцца некарыстнымі.

Для большасці сістэм RAG, такіх як внутршні базы знанняў, пошук у дакументацыі, боты падтрымкі і інструменты дакарання, гібрыдны спосаб адзысквання інфармацыі без спецыяльнага хранення вектароў дае лепшыя рэзультаты і коштуе менш.

Практычны пацёг міграцыі

Няма прытупкайце патэнтнага аналізу. Дапаможа поступовы падход:

  1. Дадзіце BM25 паляўкі ў шыроку зону існуючага пошуку вектараў. Бібліятэка на Python, такая як rank-bm25, можа стварыць індэкс з тых сабе фрагментаў, на што патрабуецца апошні час.
  2. З’едыніце рэзультаты за дапамою Reciprocal Rank Fusion. Формула оцэнкі ўсьмохнутая і добра задокументаваная.
  3. Дадзіце адкрытага кода cross-encoder для перэранкавання, запрацаваце яго локальна або праз API. Працявіце з’едыненыя кандыдаты праз яго і застаўце пяць лепшых.
  4. Звярніце увагу на рэзультаты. Створыце маленькі набор для ацэнкі, напрыклад 50 запытанняў з вядомымі адпаведзямі, і паравняйце тачнасць аднаходжэння да і пасля. Разліка будзе відчутна ўжо за час.
  5. Потым запытайце ся, чы рэальна патрэбны база дадзеных вектараў. Для багато сістэм яна не патрэбна.

Большы патэрн

Ажыяне рэдка калі вядома пра найлепшы варыянт. Лепшы выбар частае ўсё тое ж просты, звычайны і легка зрозумелы. BM25 ёсць просты, гібрыдны пошук ест просты, а дзеячыя у галузі адзысквання інфармацыі дзесяткі гадоў вучыцца тэхнікам пераранжавання. Апавесць пра паўтарны выкарыстоўкі 30-гадовага алгорытму не прывабіць фінансавання ад венчурных фондоў чы ўвагі соцыяльных мераж. Надзеяныя AI-раслёжынкі ўсё ж ствараюцца па выбору правільнага інструмента, нават калі ён не ў модзе.

Калі тэкстуальная паўтарная адзыскванняя сістэма працюе неэфектыва, бывае спакуса звычайна звынувачваць LLM, перапісваць запіты чы налаштаваць мадэль эмбеддынгу. Найлепшае — адзірнуцца на сам працэс адзысквання, бо там як правілы і лежыць проблема. Рашэннем можа стаць старэйшы, простыяй метод пошуку, які будзе супрацоўваць з савэчным механізамам пераранжавання, каб запалаваць разлік. Інодзе прагрэс значыць спачатку адзірнуцца назад.

Спадневаная літэратура

  • Gemini's 1M Window Replaced My Vector Store; Latency and Provenance Objected — Апробацыя методу заполнення паводлом цэлага кантэксту проты RAG на 500 пытанняў падтрымкі: рэзультаты па точнасці, звольненні часу і косцях, прычыны значэння паводлу і гібрыдная наладка, якая захавала оба прынтэсы. —