Переранжировка в RAG с помощью Spring AI и Pinecone: перемещение ответа с 4-го на 1-е место в рейтинге
Переранжирование в RAG с помощью Spring AI и Pinecone: обычный поиск векторов против шага переранжирования с использованием BGE для справочника по управлению персоналом, при котором скрытый ответ перемещается с 4-го на 1-е место.
Источники: Reranking in RAG: The Spring AI and Pinecone Implementation
Вы вводите вопрос в инструмент поиска компании, и возвращается пять результатов. Все они кажутся связанными, однако тот, который действительно отвечает на вопрос, находится на третьем месте, под двумя абзацами, в которых просто есть несколько общих слов. Система поиска поняла сказанное, но не совсем поняла смысл. Именно эта небольшая разница между кажущейся релевантностью и реальной релевантностью является причиной существования механизма переранжирования: векторный поиск находит текст, звучащий похоже, но не обязательно текст, который действительно отвечает на вопрос.
Далее эта идея превращается в рабочий код. Два пути поиска обрабатывают один и тот же документ параллельно, так что различия можно наблюдать, а не просто верить им. И оказывается, что эти различия больше, чем ожидалось.
Эксперимент
Тест специально построен так, чтобы ответ находился в скрытом месте. Настоящий руководство по управлению персоналом разделено на небольшие части, и задаётся вопрос, ответ на который находится в разделе, который никто не сможет угадать сразу. Затем ответ ищут двумя способами: первый заключается в поиске фрагментов, похожих по смыслу на вопрос; второй — в тщательной оценке этих же фрагментов и формировании нового порядка на основе того, какой из них наилучшим образом отвечает на вопрос. Суть заключается именно в том, что эти два порядка для одного и того же вопроса бывают разными.
Технологическая стек и предварительные требования
Сборка выполняется под управлением Java 21 с использованием Spring Boot 3.5.14 и Spring AI 1.0.8. Эмбеддинги получаются из модели OpenAI text-embedding-3-small. Pinecone выполняет двойную функцию: служит хранилищем векторов и веб-сервисом для переранкинга, причём модель переранкинга — это bge-reranker-v2-m3.
Почему также использовать Pinecone для переранжирования? У сервиса Spring AI VectorStore нет возможности для переранжирования, поэтому именно здесь применяется прямой вызов неабстрагированного Java SDK Pinecone для выполнения операции переранжирования.
Сначала необходимо наличие трех элементов. Первый — это аккаунт Pinecone с индексом, размерность которого составляет 1536, что соответствует выходным данным модели генерации эмбеддингов. Второй — ключ API OpenAI для генерации эмбеддингов. Третий — инструмент Gradle для управления зависимостями.
Подготовка руководства
Для поиска сначала необходимы данные, поэтому руководство нужно разбить на части и загрузить в Pinecone. Для этого используется один конечный пункт /ingest: файл считывается, разделяется на части по 300 токенов и сохраняется в виде векторов, а механизм защиты от дубликатов предотвращает повторную загрузку всего содержимого. Файл находится по адресу src/main/resources/docs/abc_company_employee_handbook.txt. Предварительный быстрый просмотр оказывается полезным, особенно раздел о работе из дома, в котором содержится один из более сложных ответов.
Два конечных пункта
Тот же вопрос обрабатывается через два конечных пункта, которые снаружи выглядят практически идентично:
GET /api/search/without-reranking?query=your question here
GET /api/search/with-reranking?query=your question here
Первый вариант — это простая базовая реализация. Он запрашивает векторную базу данных, берет наиболее близкие результаты и возвращает их в том порядке, в котором они были получены, без дополнительной обработки. Второй вариант делает все то же самое, что и первый, но перед возвращением результатов добавляет еще один шаг: он передает те же фрагменты в модель переранжирования и определяет, какие из них действительно отвечают на вопрос. Фрагменты возвращаются в переупорядоченном виде согласно этому решению.
Оба варианта возвращают результаты в одинаковом формате. Различается только порядок, и именно порядок является ключевым фактором. Наиболее интересная обработка происходит на уровень ниже контроллера, в классе RetrievalService.
Путь 1: простой поиск по сходству
Здесь главная цель — простота: запрашивается векторная база данных для получения наиболее близких фрагментов, они принимаются в том виде, в котором были возвращены, и процесс завершается. Дальнейшая обработка не производится. Для получения данных используется один метод:
private List<Document> retrieveTopK(String query) {
return handbookVectorStore.similaritySearch(
SearchRequest.builder().query(query).topK(topK).build());
}
В настройках значение topK равно 5, поэтому выбираются пять чанков с наибольшим сходством по коэффициенту косинуса. Это и есть весь процесс поиска. Каждый чанк сопровождается собственным баллом сходства, указывающим на степень его близости к запросу по смыслу.
Именно здесь возникают проблемы. Отрывок может находиться очень близко к вопросу, но при этом не отвечать на него. Информация о больничном включена в правила удаленной работы, поэтому окружающий текст о удаленной работе кажется отличным совпадением, и поиск по сходству оценивает его исключительно по этой близости. Не проверяется, отвечает ли текст на вопрос. В результате получается приличный список кандидатов без вывода о том, какой из них является настоящим ответом, а второй подход добавляет именно такой вывод.
Подход 2: добавление шага переоценки
Теперь цель — выяснить, какие именно фрагменты действительно отвечают на вопрос. Путь начинается одинаково: выполняется тот же поиск и получаются те же фрагменты:
List<Document> hits = retrieveTopK(query);
Это те же самые пять фрагментов, которые использовал первый конечный пункт, применённые снова намеренно. Другой поиск здесь не даст никакой обоснованной основы для сравнения двух результатов.
Затем происходит само переранжирование. Spring AI не может помочь, поскольку его хранилище векторов не имеет понятия о том, что такое переранжирование, поэтому код напрямую обращается к хостинговой модели Pinecone:
return pinecone.getInferenceClient().rerank(
rerankModel, // bge-reranker-v2-m3
query,
documents, // the same five chunks
List.of("content"), // the text to judge
topN, // keep the best 3
true,
Map.of("truncate", "END"));
Это настоящий запрос к хостингуемой модели, а не ускоренный способ обработки в локальных условиях. Механизм переоценки сначала читает вопрос вместе с каждым фрагментом текста и оценивает, насколько хорошо этот фрагмент отвечает на вопрос. В отличие от этого, поиск по сходству сравнивает заранее вычисленные векторы и никогда не читает оба текста одновременно.
Представьте, что механизм переоценки получает пять абзацев и должен выбрать три лучших. Вместо возвращения текста он указывает позиции — например, сначала номер 4, затем 1, затем 5, указывая на фрагменты по их местоположению в строке. Последний этап преобразует эти позиции обратно в реальные фрагменты текста. Когда модель указывает номер 4, код возвращается к исходному списку, берет четвертый фрагмент и извлекает из него текст вместе с оценкой.
Document original = hits.get(ranked.getIndex());
results.add(toChunkResult(original, ranked.getScore().doubleValue()));
Одно незаметное изменение: теперь указывается оценка переранжирования, то есть степень соответствия фрагмента вопросу, а не ранее использовавшаяся оценка сходства. Это тот же фрагмент, но число рядом с ним означает совершенно другое. Именно такое изменение смысла и является сутью всего подхода.
Видимость различий
Пройдите один вопрос через оба сервиса и просмотрите вывод в консоли. Выбранный вопрос хорошо скрывает свой ответ: что делать, если заболели во время работы из дома?
При обычном поиске выводятся пять фрагментов в порядке сходства с их оценками. Фрагмент, который действительно содержит ответ (индекс 6), оказывается на 4-м месте с оценкой всего 37,5%. Три фрагмента выше него касаются работы из дома или больничных в целом и имеют более высокие оценки, поскольку имеют больше общего лексического состава с запросом. Настоящий ответ оказывается одним из самых слабых результатов, хотя является единственным полным ответом.
На переранжированном конце точки входа используются те же пять фрагментов, и модель оценивает каждый из них с точки зрения того, отвечает ли он на вопрос. В результате выводится индекс релевантности и примечание о изменении ранга. Фрагмент с ответом поднимается с четвертого на первое место с индексом релевантности 95,6% и меткой «Отличное совпадение», в то время как аналогичные фрагменты падают до категории «Слабое совпадение» с показателями 20,4% и 6,2%. Еще одна деталь бросается в глаза: фрагмент с индексом 5, который ранее возглавлял рейтинг по сходству, не смог попасть в тройку лидеров после переранжирования. Сходство было на его стороне, но релевантность отвергла его.
Вывод
Векторный поиск находит приблизительный ответ, а повторная классификация помогает определить именно его. Передача списка кандидатов в модель, которая интерпретирует вопрос и каждый фрагмент как пару, часто определяет, доверит ли пользователь увиденному или продолжит скроллить. Демонстрация на приватных документах показывает аналогичный эффект на реальных данных: фрагменты перемещаются вверх и вниз в рейтинге.