Поиск в инженерном вики: BM25, плотные окна безопасных токенов и RRF
Поиск с оценкой в первую очередь для технического вики: цели точного подтверждения, базовая модель BM25, ошибка обрезки в MiniLM, окна токенов и результаты слияния обратного ранга.
Источники: Building RAG from the Corpus Up, Not the Model Down
Одна идея лежит в основе всего на этапе поиска в рамках этого проекта RAG, ориентированного на оценку качества, который работает с большой инженерной вики:
То, что находит совпадение, и то, что возвращается, не обязательно должны быть одним и тем же.
Процесс разбиения текста уже привел к созданию небольших, ограниченных по объему записей для поиска, при этом каждый исходный блок оставался нетронутым. Это вызывает практические вопросы: следует ли использовать поиск на основе ключевых слов или векторных представлений? Должен ли совпавший фрагмент напрямую поступать в языковую модель? Сколько результатов следует возвращать? И как можно сравнить эти варианты, не опираясь на небольшое количество запросов, которые случайно кажутся убедительными?
Вики является приватной, поэтому приведенные здесь примеры синтетические, а информация о корпусе скудная. Выборы при реализации и полученные результаты — реальные. Метки релевантности пока носят исследовательский характер и не следует воспринимать их как окончательные значения для производственного использования.
В первую очередь — контракт доказательств
Не каждая запись поиска считается авторитетным доказательством. Обычный блок заголовка может служить как единицей совпадения, так и единицей, возвращаемой в результате поиска. Рекурсивный подэлемент, фрагмент JSON или окно кода — это что-то другое. Они существуют для того, чтобы поисковая система могла найти более крупную структуру, и не должны заменять саму эту структуру.
Следовательно, каждая запись поиска соответствует определенной цели извлечения:
ordinary chunk -> exact chunk
recursive child -> exact parent chunk
JSON locator -> exact source document
code locator -> exact source document
Эта привязка выполняется до окончательного ранжирования. Когда два перекрывающихся дочерних элемента одного и того же родителя совпадают, они объединяются в одну целевую запись, поэтому два результатовых слота никогда не тратятся на фрагменты, указывающие на одно и то же доказательство.
Процесс гидратации происходит после ранжирования. Механизм поиска берет идентификатор целевой записи и загружает оригинальный родительский фрагмент или исходный документ, сохраняя его содержимое, путь источника, диапазон строк и хэш. Мелкий дочерний элемент остается в качестве части цепочки совпадений, но не предлагается в качестве полного контекста ответа. Кратко: поиск через оптимизированные локаторы, ранжирование уникальных целей, возврат авторитетных доказательств.
Начало с лексической основы
Часто считается, что плотный поиск является стандартом для технологии RAG, однако технические вики полны терминов, с которыми лексический поиск справляется без труда — таких как названия API, ключи конфигурации, пути, коды ошибок, команды оболочки, аббревиатуры и названия сервисов.
BM25 был выбран в первую очередь из-за своей скорости, возможности интерпретации и трудности обхода при работе с точными идентификаторами. Токенизатор сохраняет целыми такие термины, как api/v2, config.yaml и error-code, вместо того чтобы удалять именно те символы, которые делают их уникальными. Каждая запись индексируется вместе с определённым окружающим контекстом:
document title
heading path
exact record content
Название и путь заголовка важны, поскольку короткий фрагмент сам по себе может быть двусмысленным. Фраза вроде «Перезапустить рабочий процесс» приобретает больше смысла, когда индекс также показывает раздел «Операции > Устранение неполадок > Восстановление». Такой контекст используется только для поиска соответствий и никогда не включается в официальный исходный контент.
BM25 обеспечил надежную и понятную базу для сравнения, а также выявил особенность набора данных для оценки. Вопросы, сформулированные на основе исходных документов, часто повторяют словарный запас самих документов, что способствует лексическому поиску. Поэтому успех BM25 в этом наборе данных не может считаться гарантией хороших результатов при обработке будущих запросов пользователей.
Плотный поиск и скрытая ошибка обрезки
Для генерации базовых векторов использовался sentence-transformers/all-MiniLM-L6-v2, который создаёт нормализованные векторы размером 384 измерения, поэтому коэффициент косинусного сходства сводится к скалярному произведению. В первой версии каждая запись поиска преобразовывалась в одну строку. Метод разбиения на части уже предусматривал ограничение по количеству слов, что казалось безопасным.
Но это было не так. Ограничения по объёму частей рассчитывались приблизительно по количеству слов, тогда как модель MiniLM принимает не более 256 токенов. У путей, маркировки, JSON-данных и идентификаторов нет стабильного соотношения слов к токенам, поэтому запись, входящая в лимит объёма части, всё равно могла превысить возможности модели. Sentence Transformers обрезал такие записи без уведомления. Текст в конце длинной записи никогда не доходил до кодировщика. Исходный текст существовал, и часть была индексирована, но запрос мог остаться без ответа, поскольку соответствующее предложение было обрезано до момента кодирования.
Урок: лимит на разбиение текста на фрагменты — это не тот же лимит, что и лимит на встраивание данных, если оба показателя не измеряются с использованием токенизатора выбранной модели.
Окна безопасности для токенов
Исправленный плотный индекс обращается напрямую к токенизатору модели. Для каждой записи определенный лимит токенов отводится на название документа и путь заголовков, а оставшаяся часть — на содержимое. Длинное содержимое приводит к возникновению перекрывающихся окон токенов с уровнем перекрытия 32 токена. После формирования окончательного текста он снова токенизируется, чтобы убедиться, что его длина не превышает 256 токенов.
search record
-> contextual prefix
-> tokenizer-aware content windows
-> normalized embedding per window
-> collapse matching windows to one retrieval target
В ходе полного эксперимента было получено примерно в два раза больше плотных окон, чем записей поиска исходного текста. Это ожидаемо. Окна расширяют область совпадений, но не добавляют новых доказательств для возврата, поскольку несколько окон всё равно соответствуют одному и тому же родительскому фрагменту или исходному документу.
Здесь легко спутать три понятия:
- Исходная единица: оригинальный документ или точный родительский фрагмент.
- Единица поиска: дочерняя структура с учётом контекста или обычный фрагмент.
- Единица встраивания: окно поискового текста, размер которого соответствует параметрам токенизатора.
Только первая считается доказательством. Единицы поиска и встраивания лишь указывают на неё.
Оценка за пределами фразы «всё выглядит неплохо»
Было составлено двадцать вопросов, основанных на исходном тексте, для охвата процедурных, концептуальных, содержащих множество идентификаторов и кросс-секционных паттернов. Каждый вопрос содержит один или несколько соответствующих ID целей поиска. Метки умышленно отмечены как требующие дополнительной проверки. Вопросы, основанные на исходном тексте, хорошо тестируют всю систему обработки, но сопровождаются двумя предвзятостями: формулировки, напоминающие исходный текст, способствуют преимуществу алгоритма BM25, а первые метки могут упускать другие фрагменты, которые также могут уместно ответить на вопрос. Поэтому эти оценки служат сравнительными данными для данного набора данных, а не эталоном для практического использования.
Используемым критерием было пять возвращенных фрагментов с тремя показателями:
- MRR@5 показывает, на каком раннем этапе появляется первая соответствующая цель.
- Recall@5 показывает, какая часть известных соответствующих данных попадает в топ-пять.
В результате первого сравнения были получены следующие показатели:
- Contextual BM25: MRR@5 0.4875, Recall@5 0.5583, nDCG@5 0.4533.
- Windowed MiniLM: MRR@5 0.1392, Recall@5 0.2500, nDCG@5 0.1593.
- Гибридный метод с использованием фузии обратных рангов: MRR@5 0.5308, Recall@5 0.7583, nDCG@5 0.5480.
На этом наборе данных BM25 значительно превзошел метод плотного поиска. Однако это не делает эмбеддинги бесполезными. Оба метода поиска демонстрировали ошибки по-разному, что создало возможность для их фузии.
Гибридный поиск без гибридного индекса
Индексы BM25 и плотного поиска остаются отдельными, а их ранжированные результаты объединяются с помощью фузии обратных рангов. Для цели d суммарный балл представляет собой сумму по всем методам поиска значений 1 деленных на (k плюс ранг данного метода для цели d), причем в этом эксперименте k установлено равным 60.
Каждый поисковик предоставляет свои 10 лучших уникальных целей, затем алгоритм слияния объединяет их рейтинги, в результате чего возвращаются пять лучших результатов. Оценки по лексическим и плотным критериям никогда не требуют взаимной калибровки, поскольку алгоритм слияния учитывает позиции в рейтинге, а не абсолютные значения оценок.
Показатель Recall@5 вырос с 0,5583 при использовании только алгоритма BM25 до 0,7583, также улучшились показатели первого успешного поиска и nDCG. На этом экспериментальном наборе взаимодополняющие плотные результаты оказались полезными, несмотря на то что сам по себе алгоритм плотного поиска был слабым.
Реализация представляет собой координирующий поисковик, а не третий физический индекс:
query
-> BM25 top 10 targets
-> dense top 10 targets
-> target-level RRF
-> top 5 targets
-> exact parent/source hydration
Он также фиксирует ранг каждого поисковика и соответствующий локатор. Благодаря этой структуре любой результат можно объяснить: указывается, нашел ли его алгоритм BM25, метод плотного поиска или оба вместе, а также какой подфрагмент или окно эмбеддингов привело к авторитетной цели.
Разнообразие, которое привело к обратному эффекту
В гибридных результатах иногда присутствовало несколько фрагментов из одного документа, что казалось избыточным. Был протестирован выборщик максимального количества элементов на документ. Результаты стали более разнообразными, но качество поиска снизилось. В процедурной или строго структурированной документации могут потребоваться все разделы одной страницы. Разнообразие документов служило скорее визуальным критерием, чем сигналом релевантности. Этот выборщик остается доступным для будущих экспериментов, но по умолчанию отключен.
Важно помнить: повторяющиеся документы не являются повторяющимися доказательствами. Объединение дочерних элементов, которые ведут к одной и той же цели, является правильным подходом. Исключение отдельных релевантных разделов лишь из-за того, что они находятся в одном документе, — это отдельное решение, требующее доказательств, специфичных для конкретной задачи.
Гарантии окончательного пути
- BM25 и плотные индексы охватывают одни и те же записи контекстного поиска.
- Плотные записи обрабатываются с учетом реального лимита токенов модели.
- Соответствия дочерних элементов и окон объединяются в уникальные цели поиска.
- Метод фьюжн объединяет десять кандидатов от каждого поисковика без калибровки оценок.
- Возвращаются пять точных родительских фрагментов или исходных документов.
- Оригинальный контент и хэш-значения сохраняют свою авторитетность.
- Рейтинги поисковиков и цепочки сопоставлений остаются доступными для анализа.
- Диверсификация документов применяется только тогда, когда доказательства показывают ее полезность.
Retriever преднамеренно прост в использовании. Он координирует существующие индексы, процессы слияния и гидратации, не скрывая поведение за абстракциями фреймворка и не добавляя дополнительные хранилища данных.
Что ещё отсутствует
Система теперь может принять запрос и вернуть пять отсортированных фрагментов с точными доказательствами, указав источник каждого из них, а также сравнить варианты поиска с использованием воспроизводимых метрик. Однако это всё ещё не полноценная система RAG. На следующем этапе необходимо определить, как фрагменты объединяются в контекст модели, какие цитаты требуются, как обрабатываются противоречивые или недостаточные доказательства и когда системе следует воздержаться от ответа. Метрики поиска также должны быть связаны с критериями достоверности ответа и корректности цитат, чтобы генерируемые ответы чётко разделяли то, что указано в вики, и то, что модель лишь знает.