Пераранжаванне ў RAG са Spring AI і Pinecone: адказ з чацвёртага месца на першае
Пераранжаванне ў RAG са Spring AI і Pinecone: звычайны вектарны пошук супраць кроку bge-reranker на даведніку HR, дзе схаваны адказ падымаецца з 4-га месца на 1-е.
Крыніцы: Reranking in RAG: The Spring AI and Pinecone Implementation
Уводзіце запіт у інструмент пошуку компаній, і аплікуюць пяць рэзультатаў. Усе яны выглядаюць супаўзянымі, пры тым той, які насправды адпавядае на запыт, знаходзіцца на троце, пад двумя параграфамі, якія проста маюць калькі спакойных слоў. Сістэма пошуку зрозумела тое, што было сказана, але не абоўсюдзе тое, што было мяркавана. Гэты маленькі разлік межу тым, калі тэкст здаецца супаўзяным, і тым, калі ён сапраўды супаўзяны, — гэта прычына існавання пераранжавання: вектарны пошук знаходзіць тэксты, якія звучаць падобна, але не обавязкова тэксты, якія адпавядаюць на запыт.
Тое, што следуе, ператварае гэю ідэю на функцыональны код. Два шляхі пошуку працуюць над тым самым дакументам парадульна, таму разлік можна пабачыць, а не прыймаць на веру. І выявляецца, што ён большы, чым чакалася.
Эксперымент
Тэст спецыяльна створаны так, каб адказ на яго падзяліўся ў „закопанай“ частцы. Рэальны практычны падручнік па кадрам раздзелены на маленькія фрагменты, і ставіцца запіт, адказ на які знаходзіцца ў раздзеле, які ніхто не зможа знайсці першым. Потым адказ шукаюць двума способамі: першы — шукаюць фрагменты, якія звучаць падобна да запіта; другі — беруць тыя ж фрагменты, правільна ацэнююць кожны з іх і ствараюць новы парадак на адной з аснов таго, што на самай працоўны адказвае. Сама сутнасць тэста — у тым, што два такія порадкі для аднаго і таго ж запіта разніцяцца.
Тэхнічныя вакалітэты і прыямыя прычынкі
Працэс запускаецца на Java 21 з Spring Boot 3.5.14 і Spring AI 1.0.8. Функцыі імбеддынгу адпавядае модуль text-embedding-3-small ад OpenAI. Pinecone выполняе два завадзі: ён служыць сховішчам вектараў і хостуе API для пераранжавання, а модэль для пераранжавання — bge-reranker-v2-m3.
Чаму таксама вікорыстоўваць Pinecone для пераранжавання? У VectorStore Spring AI няма можлівасці для пераранжавання, таму гэта ўзначальны момент, калі сістэма выходзіць за межы абстракцыі і выклікае первасны Java SDK Pinecone для адной лішней калінацыі ранкінгу.
Спачатку патрэбны тры элементы. Першы — адказнае кантактнае карточка Pinecone з індэксам, размер якога становіць 1536, ў якім адпаведае выходу модэлю эмбедынга. Другі — ключ API OpenAI, каб можна было стварыць эмбедынгі. Трэці — Gradle для керавання залежнасцямі.
Падготовка падручніка
Для пошуку спачатку трэба даны, таму каналадзець павінен быць разбіты на часткі і завантажаны ў Pinecone. Для гэтага існуе адзін канцэнтр /ingest: файл чытаецца, дзельвіецца на часткі по 300 токенав і зберагаецца як вектары, а механізм запобежэння дуплікацыям не дазволяе павтараць працэс, калі ўсё ужо ўбрана. Файл знаходзіцца пад адрэсай src/main/resources/docs/abc_company_employee_handbook.txt. Перад працэю кароткае прачытанне каналадзца ёсць корыстным, бальшаваць — частка пра работу з дому, дзе ёсць адны з найскладнейшых адказаў.
Два канцэнтры
Тая ж запытка прыходзіць праз два канцэнтры, якія ззовні выглядаюць практычна ідэнтычна:
GET /api/search/without-reranking?query=your question here
GET /api/search/with-reranking?query=your question here
Першы спосаб — гэта простая базовая версія. Ён запытае базу дадзеных вектараў, выберае найбліжэйшыя падходы і вяртае іх у тым парадку, якія былі атрыманы, без дадатковых аналізаў. Другі спосаб робіць усё тое ж, што і першы, але перад вярненням дадае ўсё ж адну додатковую ступеню апрацоўкі. Ён перадае тыя ж фрагменты модэлю для пераранжавання і запытае, які з іх насправды адпавядае на запытанне. Фрагменты вяртаюцца пераранжаваныя згодна з гэтым рашэннем.
Оба спосабы вяртаюць той самы фармат адпаведзі. Разлікаецца толькі парадак, і саме парадак ёсць ключовым моментам. Цікавая работа выконваліцца на адны ўрак пад кантролерам, у класе RetrievalService.
Шлях 1: просты пошук за схожасцю
Цялком простацтва ёсць метай: запытаць базу дадзеных вектараў пра яе найбліжэйшыя фрагменты, прыняць іх як атрыманыя і завершыць. Далейшая апрацоўка не выканваліцца. Адна метода адпавядае за атрымоўку дадзеных:
private List<Document> retrieveTopK(String query) {
return handbookVectorStore.similaritySearch(
SearchRequest.builder().query(query).topK(topK).build());
}
У настройках значэнне topK становіцца 5, таму выбіраюцца пяць чакункоў, якія маюць найбольшую схожасць па косай схожасці. Гэта і ёсць весь процэс аднаходжэння інфармацыі. Кожны чакунк прыходзіць разам з сваім балам схожасці, які вычысляеяся скарбніцай вектараў, і паказвае, насколькі ён блізкі за значэнням да запіту.
Самэ тут і выступаюць проблемы. Тэкст можа быць дужа блізкі да запіту, але ўсё раве не адпавядаць на яго. Дакладныя вяскі пра хворобы ўкладзеныя ў правіла працы з дому, таму асоўваныя з імі тэксты выглядаюць як ідэальныя падходы, а пошук за схожасцю ранжуе іх толькі за гэтым крытэрыям. Не пераканальваецца, чы рэальна адпаведзь ў ціх тэкстах. Рэзультатам стае прыемны спіс кандыдатаў, без вывару, які з іх ёсць справжняя адпаведзь, а другі падход даўае гэты вывод.
Падход 2: дадаўанне крока пераранжавання
Цель зараз — выявіць, які фрагменты насправды адпавядаюць на запітанне. Шлях пачынаецца адносна так сама: адбываецца той самы пошук і запрашуюцься тыя самыя фрагменты:
List<Document> hits = retrieveTopK(query);
Гэта тыя ж самыя пяць фрагментаў, якія былі выкарыстоўваны першым канцэнтрам, і якія былі спецыяльна перыякты. Разны пошук тут не залеў бы ніякой адпаведнай падставы для парабярання двух рэзультатаў.
Потым выконваецца сама пераранжаванне. Spring AI не можа чым-небудзь дапамогчы, адколі яго база вектараў не мае жаданага уявлення пра тое, што такое пераранжаванне, таму код безпасэроджа вызывае хоставаны модэль Pinecone:
return pinecone.getInferenceClient().rerank(
rerankModel, // bge-reranker-v2-m3
query,
documents, // the same five chunks
List.of("content"), // the text to judge
topN, // keep the best 3
true,
Map.of("truncate", "END"));
Гэта справжній запіт даўнему модэлю, а не шляхавацкі спосаб, які выкананы локальна. Апранкер чытае запіт разам з кожным фрагментам і оцінюе, насколькі добра фрагмент адпавядае запіту. На адміну, пошук сэроднечы ніколі не чытае два тэксты паўзу па паўзу, а супароўнае вектары, якія былі вырахаваны загадзя.
Уявіце, што апранкеру даўна пяць параграфаў, і яго прабуюць запытаць пра троха найкрашчых. У замяну на вярненне тэксту ён адпавядае пазіцыямі — напрыклад, спачатку номер 4, потым 1, а потым 5 — паказваючы, які фрагмент знаходзіцца на якой пазіцыі ў радку. Пасляльній маленькі крок перакладае гэтыя пазіцыі знадворы ў рэальныя фрагменты. Калі модэль называе номер 4, код вяртаецца да первіснага спісу, берае чэтвёрты фрагмент і выкарыстоўвае яго тэкст і оцэнку.
Document original = hits.get(ranked.getIndex());
results.add(toChunkResult(original, ranked.getScore().doubleValue()));
Адзін тонкі змяненні: рэглінг, які цяпер паказуецца, — гэта рэглінг пераранку, тое ўзначае, насколькі добра фрагмент адпавядае на запытанне, а не ранейшы рэглінг сэмліварнасці. Гэта той самы фрагмент, але цячка па яго боку узначае ўсё іншае. Гэта змена значэння — гэтае вось цэлая ідэя.
Пазірэнне разліку
Прабуйце запытанне ў обох сэрвісах і прачытайце лог-файл. Выбранае запытанне добра маскіруе сваю адпаведзь: што робіць пасля хворобы, калі працуеш з дому?
У звычнам пошуку пяць фрагментаў паказваецца па рангу сэмліварнасці разам з іх рэглінгамі. Фрагмент, які насправды адпавядае, з індэксам 6, апыніваецца на 4-й пазіцыі з рэглінгам 37,5%. Тры фрагментаў, якія знаходзяцца раней, гавораць пра работу з дому або выпуск за хворобу ў загальных рысах і маюць вышы рэглінгі, таму што у яных больш спільнай лексікі з запытаннем. Настоямая адпаведзь займае адна з найслабейшых пазіцый, хоць яе ёсць ўсё ж адна ўпоўненая.
У перарангаваным канцэнтры выкорыстоўваюцца тыя ж пяць фрагментаў, і мадэль оцэнюе кожны з іх па тым, чы розпаведае ён аб пытанні. У рэзультатах паказваецца ранг адпаведнасці і прымечанне пра змяну рангу. Фрагмент з адпаведнасцю 95,6% перайшоў з чэтвёртага на першы месца з атрыбутам «Выражнае падабенне», тады як фрагменты з адпаведнасцю 20,4% і 6,2% атрыбутаваныя сталі «Слабае падабенне». Існуе ўсё ж адна дадатковая дэталі: фрагмент з індэксам 5, які раней стаў лідэрам у рангаванні падабення, не змог зайсці сярод трох або чатырох лепшых пасля перарангавання. Падабенне было на яго боку, але адпаведнасць — прычынай яго выключэння з топ-3.
Вывык
Пошук на адрэсах вектараў даходзіць да прыбліжнай адпаведзі, а пасляранкінг выбірае самэ ўсё тое. Перадача скорачанага спісу модэлю, які чытае запіт і кожны фрагмент як пару, часта вялічыць, чы рэзультаты будуць доверлівыя для карыстальніка чы ён будзе працягваць скролліраванне. Адработка дэмана з прыватнымі дакументамі паказвае той самы эфект на рэальных даных, калі фрагменты перасуваюцца вверх і вніз у ранкінгу.