Переранжування в RAG за допомогою Spring AI та Pinecone: переміщення відповіді з 4-го на 1-ше місце
Переранжування в RAG за допомогою Spring AI та Pinecone: звичайний пошук векторів проти кроку bge-reranker для посібника з HR, де відповідь, яка була «похована», переміщується з 4-го на 1-ше місце в рейтингу.
Джерела: Reranking in RAG: The Spring AI and Pinecone Implementation
Введіть запит у інструмент пошуку компаній, і повернеться п’ять результатів. Усі вони здаються пов’язаними, проте той, який справді відповідає на запит, знаходиться на третьому місці, під двома абзацами, які мають лише кілька спільних слів. Система пошуку зрозуміла те, що було сказано, але не зовсім те, що малося на увазі. Саме ця невелика різниця між здаваннямся релевантним та справжньою релевантністю є причиною існування переранжування: векторний пошук знаходить текст, який звучить схоже, але не обов’язково текст, який відповідає на запит.
Те, що йде далі, перетворює цю ідею на функціональний код. Два шляхи пошуку обробляють один і той самий документ паралельно, тож різницю можна побачити, а не просто повірити їй. І виявляється, що вона більша, ніж очікувалося.
Експеримент
Тест навмисно побудований навколо прихованої відповіді. Справжній посібник з управління персоналом розділений на невеликі частини, і ставиться запитання, відповідь на яке знаходиться у розділі, який ніхто не зможе вгадати спочатку. Потім відповідь шукають двома способами. Перший полягає у пошуку фрагментів, які схожі за змістом на запитання. Другий полягає у ретельному аналізі цих самих фрагментів та формуванні нового порядку на основі того, який з них найкраще відповідає на запитання. Саме у тому й полягає суть — побачити, що ці два порядки відрізняються для одного й того ж запитання.
Технології та передумови
Збірка працює під Java 21 з Spring Boot 3.5.14 та Spring AI 1.0.8. Ембеддинги отримуються з моделі OpenAI text-embedding-3-small. Pinecone виконує подвійну функцію: є сховищем векторів та хостованим API для переранкінгу, а модель для переранкінгу — bge-reranker-v2-m3.
Чому використовувати Pinecone також для переранкінгу? У VectorStore Spring AI немає підтримки переранкінгу, тому це єдиний випадок, коли система виходить за межі абстракції та використовує первинний Java SDK Pinecone для одного виклику переранкінгу.
Спочатку необхідно мати три речі. По-перше, це обліковий запис у Pinecone із індексом, розмірність якого становить 1536, що відповідає результатам моделі ембеддингу. По-друге, ключ API OpenAI для генерації ембеддингів. По-третє, Gradle для керування залежностями.
Підготовка посібника
Для пошуку спочатку потрібні дані, тому посібник необхідно розділити на частини та завантажити до Pinecone. Для цього використовується один кінцевий пункт /ingest: файл читається, розділяється на частини по 300 токенів та зберігається у вигляді векторів, а механізм запобігання дублікаціям не дозволяє повторним запускам знову додавати все з нуля. Файл знаходиться за адресою src/main/resources/docs/abc_company_employee_handbook.txt. Коротке ознайомлення з ним заздалегідь є корисним, особливо розділ про роботу з дому, де міститься одна з найскладніших відповідей.
Два кінцеві пункти
Те саме запитання надсилається через два кінцеві пункти, які ззовні виглядають майже ідентично:
GET /api/search/without-reranking?query=your question here
GET /api/search/with-reranking?query=your question here
Перший підхід — це чесна базова версія. Він запитує базу даних векторів, бере найближчі результати та повертає їх у тому порядку, в якому їх отримано, без додаткової оцінки. Другий підхід робить усе те саме, що й перший, але перед поверненням додає ще один крок: він передає ті самі фрагменти у модель переоцінки та запитує, які з них насправді відповідають на запитання. Фрагменти повертаються у переупорядкованому вигляді відповідно до цього рішення.
Обидва підходи повертають однакову структуру відповіді. Відрізняється лише порядок, і саме порядок є ключовим моментом. Цікава робота відбувається на рівень нижче контролера, у класі RetrievalService.
Шлях 1: простий пошук за схожістю
Тут метою є простота: запитується база даних векторів щодо найближчих фрагментів, вони приймаються як результат та справа закінчується. Додаткової обробки не відбувається. Один метод відповідає за отримання даних:
private List<Document> retrieveTopK(String query) {
return handbookVectorStore.similaritySearch(
SearchRequest.builder().query(query).topK(topK).build());
}
У налаштуваннях topK дорівнює 5, тому беруться п’ять найближчих фрагментів за косинусовою схожістю. Це і є весь процес пошуку. Кожен фрагмент супроводжується власним балом схожості від сховища векторів, який показує, наскільки він близький за змістом до запиту.
Саме тут виникають проблеми. Уривок може знаходитися дуже близько до запитання, але все одно не відповідати на нього. Інформація про хворобу міститься всередині правил роботи вдома, тому навколишній текст про роботу вдома виглядає як ідеальний варіант, і пошук за схожістю ранжує його лише за цією близькістю. Не перевіряється, чи відповідає текст запитанню. У результаті отримується непоганий список кандидатів без висновку про те, який з них є справжньою відповіддю, а другий підхід додає саме цей висновок.
Шлях 2: додавання кроку переранжування
Зараз мета — з’ясувати, які фрагменти насправді відповідають на запитання. Шлях починається однаково, виконується та сама пошукова операція та отримуються ті самі фрагменти:
List<Document> hits = retrieveTopK(query);
Це ті самі п’ять фрагментів, які використовував перший ендпоїнт, і їх навмисно використано знову. Інший пошук тут не залишить жодних об’єктивних підстав для порівняння двох результатів.
Далі йде сам процес переранжування. Spring AI не може допомогти, оскільки його сховище векторів не має уявлення про те, що таке переранжування, тому код безпосередньо викликає хостовану модель Pinecone:
return pinecone.getInferenceClient().rerank(
rerankModel, // bge-reranker-v2-m3
query,
documents, // the same five chunks
List.of("content"), // the text to judge
topN, // keep the best 3
true,
Map.of("truncate", "END"));
Це справжній запит до хостованої моделі, а не швидкий спосіб обробки на місці. Реранкер читає запит разом із кожним фрагментом та оцінює, наскільки добре фрагмент відповідає. На відміну від цього, пошук за схожістю порівнює вектори, обчислені заздалегідь, і ніколи не читає обидва тексти поруч.
Уявіть собі, що реранкер отримує п’ять абзаців та просить назвати найкращі три. Замість того, щоб повернути текст, він відповідає позиціями — наприклад, спочатку номер 4, потім 1, потім 5, вказуючи на фрагменти за їхнім місцем у рядку. Останній крок перетворює ці позиції назад у справжні фрагменти. Коли модель вказує номер 4, код повертається до початкового списку, бере четвертий фрагмент та витягує з нього текст та оцінку.
Document original = hits.get(ranked.getIndex());
results.add(toChunkResult(original, ranked.getScore().doubleValue()));
Одна тонка зміна: тепер вказаний рейтинг — це рейтинг переранжування, тобто ступінь, у якій фрагмент відповідає на запитання, а не попередній рейтинг схожості. Це той самий фрагмент, але число поруч з ним означає зовсім інше. Саме ця зміна значення є суттю всього.
Бачення різниці
Пройдіть одне запитання через обидва інструменти та перегляньте консоль. Обране запитання добре приховує свою відповідь: що робити після захворювання під час роботи з дому?
При звичайному пошуку виводяться п’ять фрагментів у порядку схожості разом із їхніми рейтингами. Фрагмент, який справді відповідає, з індексом 6, опиняється на 4-му місці з рейтингом лише 37,5%. Три фрагменти перед ним обговорюють роботу з дому чи відпустку через хворобу взагалі та мають вищі оцінки, оскільки мають більше спільного лексичного матеріалу з запитом. Справжня відповідь посідає одне з найслабших місць серед результатів, хоча є єдиною повною відповіддю.
У переоціненому кінцевому пункті використовуються ті самі п’ять фрагментів, і модель оцінює кожен з них щодо того, чи він відповідає на запитання. У результаті додається індекс релевантності та примітка про зміну рангу. Фрагмент відповіді піднімається з четвертого на перше місце з рівнем релевантності 95,6% та позначкою „Відмінна відповідність“, тоді як аналогічні фрагменти опускаються до рівня „Слабка відповідність“ з показниками 20,4% та 6,2%. Ще одна деталь є примітною: фрагмент з індексом 5, який раніше очолював рейтинг схожості, не потрапив до трійки лідерів після переоцінки. Схожість йому сприяла, але релевантність його відкинула.
Висновок
Векторний пошук знаходить близький варіант відповіді, а повторна класифікація визначає остаточну відповідь. Передача скороченого списку моделі, яка читає запитання та кожен фрагмент як пару, часто вирішує, чи буде користувач довіряти отриманій інформації чи продовжить скроллювати. Тестування демо-версії на приватних документах показує такий самий ефект на реальних даних — фрагменти переміщуються вгору та вниз у рейтингу.