Пятьдесят лет исследований в области поиска информации, скрытых внутри вашей системы RAG.
Разбиение текста на фрагменты, гибридный поиск, HyDE, переранжирование и оценка — все эти методы имеют предшественников, существующих уже десятилетиями в области поиска информации. Обзор исследований и их ограничений.
Источники: We deleted fifty years of information retrieval and called it RAG
Спираль разбиения на части, которая ничего не решила
Представьте, что вы создаете систему обработки документов для финансового клиента и тратите несколько бессонных ночей на определение размеров частей. Начальный размер составляет 256 токенов, затем он увеличивается до 512, потом до 1024, после чего снова возвращается к 512 с перекрытием в 64 токена, и в итоге останавливается на уровне 384 из-за рекомендации из форума. В одной вкладке находится небольшой инструмент для оценки, а в других — два чат-ассистента. Один из них допрашивают относительно стратегии разбиения на части, как будто он старший инженер, и его ответы сравниваются с тем, что было опубликовано в Интернете в тот месяц. Эта работа кажется исследованием неизведанных территорий, и каждый раунд заканчивается победителем и графиком.
Затем корпус данных растет. Чем больше документов попадает в векторный хранилище, тем хуже становится процесс поиска. То, что казалось точным на небольшой выборке, при масштабировании становится неэффективным, и в результате возвращаются фрагменты, находящиеся близко друг к другу в векторном пространстве, но на самом деле бесполезные. Естественной реакцией является более тщательная настройка процесса разбиения на части, поскольку это единственный параметр, с которым все знают, как работать. Проходят дни, при каждой попытке меняются какие-то значения, и каждое изменение воспринимается как прогресс. Но ничего из этого не решает реальной проблемы.
Затем коллега бросает взгляд на конфигурацию и совершенно без иронии спрашивает: «Что такое BM25?» Ответа у нас нет. BM25 — это устаревший метод, который можно описать как «простой поиск по ключевым словам», тот самый, от которого, как считается, все уже отказались. На самом деле это показывает, что вся наша работа сводится к участию в пятидесятилетней дискуссии, при этом мы даже не знаем имен тех, кто уже участвует в ней.
Вот признание, лежащее в основе этой статьи, и оно применимо в целом. Почти каждый этап «создания RAG» уже имеет своё название, причём большинство из этих названий возникли ещё до того, как появились люди, которые продают эти идеи вместе с презентациями. Эти продавцы в основном тоже не знают их происхождения. Упоминаемые ниже «мы» и «эта область» относятся к специалистам в целом, и каждая из этих ошибок является распространённой.
Другие тоже заметили эту закономерность. Один из опытных инженеров по поиску из Vespa написал в 2024 году, что гибридные системы поиска и ранжирования позволяют сочетать сигналы из ненадзорных методов, таких как BM25, с надзорными нейронными алгоритмами ранжирования. Загрузка документов для использования в запросе — это поиск информации, и этот процесс выходит далеко за рамки простого расчёта косинусного коэффициента, включая переписывание запросов, их объединение, повторное ранжирование и поэтапный поиск. Опытный инженер по оценке релевантности неоднократно подчёркивал аналогичную мысль: поиск не исчез, он просто скрылся и продолжает тихо управлять миром.
Оба утверждения верны, хотя фраза «RAG — это просто поиск информации» является слоганом, а слоганы ничего не стоят. То, что меняет рабочие привычки, — это анализ получаемых результатов. Ниже приведена карта этих процессов, которая начинается не с 2020 года, без упущения первых пятидесяти лет.
Чанкинг, эмбеддинги и смысл
Начнем с разбиения на фрагменты — именно отсюда возникли проблемы. Разделение документов на отдельные части вместо обработки их целиком — это идея, существующая уже десятилетиями. В 1993 году извлечение фрагментов уже было предметом исследований (Salton, Allan и Buckley), а в следующем году Callan изучал доказательства на уровне фрагментов. К 1997 году Kaszkiel и Zobel опубликовали статью «Passage Retrieval Revisited», что означало, что тема достаточно устарела, чтобы ее снова рассмотреть. Их эксперименты с размером и сегментацией фрагментов показали, что простые фрагменты фиксированной длины демонстрировали удивительно хорошие результаты, что полностью совпадает с тем, что получается при использовании более сложных методов после многократных проб.
Технология TextTiling, разработанная Marti Hearst в том же году, определяет границы там, где действительно меняется тема, игнорируя при этом количество токенов. Современные поставщики услуг «семантического разбиения» перепродают эту концепцию, при этом основная статья по ней была написана еще до появления первых компьютеров у большинства их основателей.
Далее идет метод вжимания, который представляет собой по-настоящему современный подход, отличающий людей, работающих с такими технологиями, от тех, кто использует простые ключевые слова. Представление документов и запросов в виде векторов и их оценка с помощью косинусного коэффициента восходит к работам Салтона, Вонга и Янга в 1975 году, когда была предложена модель векторного пространства. Придание дополнительного веса редким терминам — задача, которую сегодня модели вжимания решают с помощью своих параметров, — была предложена Карен Спарк Джонс в 1972 году. А этап, который обычно считается сутью всего процесса: сопоставление по смыслу, а не по буквальным словам, что позволяет игнорировать несоответствия в лексиконе, — это латентный семантический анализ, описанный Дирвестером и его коллегами в 1990 году с использованием метода SVD для матрицы терминов-документов с целью выявления скрытой структуры.
Замена SVD на трансформер позволила многим людям утверждать, что идея принадлежит им. Трансформер представляет собой реальное улучшение, а не лишь косметическую правку, поскольку он анализирует каждое слово с учётом окружающих его слов, чего никогда не смог бы сделать статический вектор LSA. Основной принцип остался прежним: смысл имеет большее значение, чем форма выражения.
Слияние данных, переписывание запросов и переранжирование
Гибридный поиск в настоящее время является самым популярным вариантом: при нем смешиваются лексические и плотностные показатели, благодаря чему все кажутся умными. Метод смешивания, реализованный в Elasticsearch, OpenSearch, Weaviate и Azure AI Search, называется взаимным слиянием рангов и был представлен Кормаком, Кларком и Бюттчером на конференции SIGIR в 2009 году. Один из моментов, описанных в этой статье, заслуживает большего внимания, чем получил: простейшее слияние с использованием константы 60, которая никогда не настраивалась, показало лучшие результаты, чем обученные системы для определения рангов, с которыми его сравнивали. Ненастроенный стандартный вариант превзошел модели, которые люди сами обучали. Сочетание результатов нескольких поисковых движков уже было стандартной практикой в 1994 году, когда Фокс и Шоу для этой цели использовали алгоритмы CombSUM и CombMNZ.
Переписывание запроса — это ситуация, когда «чашка кофе» может быть поставлена слишком сильно. В HyDE модель создаёт фиктивный документ с ответом, и система вставляет его вместо самого вопроса, исходя из предположения, что правдоподобный неверный ответ находится ближе к правильным документам, чем сам вопрос. Это умный трюк, но он также напоминает метод Rocchio 1971 года.
Метод обратной связи по релевантности Роччо смещает вектор запроса в сторону документов, которые кажутся релевантными, и в сторону тех, которые ею не являются. Метод псевдообратной связи по релевантности Крофта и Харпера 1979 года осуществляет аналогичное смещение без участия человека, просто предполагая, что результаты с наивысшим рангом достаточно хороши для извлечения из них информации. С этой точки зрения HyDE представляет собой нейронную псевдообратную связь по релевантности — ту же самую стратегию, реализованную с использованием трансформеров спустя многие годы. В их статье не упоминается Роччо, что показывает, что явление забывания не ограничивается учебными материалами и темами форумов, а иногда затрагивает сами статьи.
В более ранних работах также было дано название проблеме, мучающей системы в стиле HyDE в производственных условиях: смещение запроса. Когда результаты поиска оказываются некачественными, расширение запроса на основе этих результатов только усугубляет ситуацию, именно поэтому опытные специалисты использовали обратную связь лишь один раз, а затем прекратили это делать. Сейчас агентные циклы повторяют этот процесс снова и снова, и тогда все удивляются, когда результаты поиска смещаются в несвязанную область.
Остальные подходы следуют той же схеме. Дополнительный ранжер на основе кросс-кодера, вводимый после первого этапа поиска для улучшения результатов, представляет собой двухэтапную каскадную структуру. Концепция каскадного ранжирования была сформулирована Вангом, Лином и Метцлером в 2011 году, а RankNet уже в 2005 году предоставил нейронный ранжер для алгоритмов обучения ранжированию. Пайплайн, в котором сначала применяется алгоритм BM25, а затем кросс-кодер, несколько раз выпускался в течение одного года и является стандартной двухэтапной каскадной структурой под другим названием.
Оценка — здесь возникают наибольшие проблемы
Оценка — это та область, где уроки даются наиболее тяжело, поскольку с ней обращаются худшим образом. Практика замораживания корпуса данных, составления запросов для тестирования, сбора оценок релевантности от людей и использования систем оценивания в автономном режиме — это парадигма Крэнфилда, зародившаяся у Клевердона и его коллег в 1966 году. NIST расширил её с 1992 года, а Вурхис и Харман описали её в книге 2005 года. Метод объединения данных, позволяющий оценивать результаты без просмотра всего корпуса, возник благодаря этим исследованиям десятилетия назад, как и такие значимые показатели, как MAP и nDCG.
Типичная «оценка» в подходе RAG — это её крошечный, не задокументированный аналог. Оценок релевантности не существует, в качестве оценщика выступает невалидированный языковой модель, а тестовый набор формируется из запросов, которые уже оказались эффективными.
У классического IR есть не очень лестное название для этой последней привычки — отбор примеров на основе зависимой переменной. Если оценка строится с использованием запросов, известных по своей эффективности, то всё проходит успешно, но затем система терпит неудачу при обработке всего того, что никто не решился протестировать. Эти сбои называют «галлюцинациями», поскольку нет инструментов, позволяющих выявить истинную причину. Несмотря на это, подготовленный набор всё же имеет определённую ценность, так как он выявляет реальные проблемы с запросами, важными для пользователей, но он ничего не говорит о вопросах, которые никто не задавал, и именно они приводят к сбоям в реальных условиях. В финансовой системе это происходило с первым вопросом, не входящим в набор, например, когда речь шла о значении выше установленного порога или о диапазоне дат — о типичных форматах финансовых запросов, которые никто не тестировал.
Цифры труднее оспорить. Рассмотрим предположение, согласно которому люди настраивали размеры блоков вместо того, чтобы использовать базовый вариант — а именно, что плотный поиск превосходит лексический поиск по умолчанию. В исследовании BEIR, проведённом Тхакуром и его коллегами в 2021 году, десять систем соревновались с восемнадцатью наборами данных, и был получен результат, который стоит указать в каждом репозитории типа RAG. Результаты на обучающей выборке мало говорят о производительности в других ситуациях. BM25 отставал от нейронных моделей на семь–восемнадцать пунктов на данных из той же области, но превосходил большинство из них, когда данные поступали из другой распределённой выборки. Самый сильный плотный би-кодер победил лишь в восьми из восемнадцати наборов данных.
Нишевый финансовый корпус — это именно тот специализированный материал, не входящий в стандартные дистрибуции, о котором предупреждает BEIR. Предположение о том, что метод dense всё равно окажется лучшим, было настолько укоренившимся, что никто даже не провёл тестирование на основе лексического базового уровня, хотя статья, рекомендующая его, уже четыре года находилась в открытом доступе.
Необходимо учесть один нюанс: границы между методами постоянно смещаются. Некоторые коммерческие рейтинги теперь показывают, что метод dense превосходит BM25 на 15–25 процентов в тестах BEIR. Возможно, но эти цифры приводятся поставщиками в условиях, выбранных ими сами, поэтому к ним следует относиться с сомнением, как и к любому другому тестированию, проводимому его продавцом. Работы, прошедшие рецензирование, всё равно приходят к однозначному и верному выводу: BM25 остаётся надёжным базовым методом, а гибридные решения — безопасным стандартом. Если что-то изменится, это должен показать кто-то, у кого нет интересов в продвижении своих продуктов.
Ещё более печальной и устаревшей привычкой является уничтожение слабых базовых решений и называние полученного результата прогрессом. В статье Джимми Лина 2018 года с забавно раздражительным названием «Нейронные хайпы и сравнения с слабыми базовыми решениями» утверждалось, что многие победы нейронных методов в задачах поиска были на самом деле победами над конфигурацией BM25, которую никто даже не потрудился настроить. В последующем исследовании 2019 года были проанализированы статьи, опубликованные за несколько лет на основе одного стандартного набора тестов, и не было обнаружено никакой тенденции к улучшению эффективности; лучшие показатели, опубликованные десять лет назад, до сих пор не превзойдены ничем новым. Поэтому, когда в тестах типа RAG наблюдается снижение качества методов «поиска по ключевым словам», первым шагом должно быть использование конфигурации BM25. Самым распространённым результатом в этой области является проигрыш эффективного старого метода его собственной небрежной копии.
Склонность к определённому положению, вновь открытая
Смещение из-за положения — это результат, который кажется забавным, но по неверной причине. В исследовании «Заблудившись посередине» (Liu и соавт., 2023) модели использовали информацию наилучшим образом, когда она находилась в начале или в конце контекста, и наихудшим образом — посередине, что приводило к формированию кривой в форме буквы U. Результаты оказались неоднозначными. При решении вопросов на основе нескольких документов, где использовалось двадцать–тридцать полученных документов, модель GPT-3.5-Turbo показала худшие результаты, когда ответ находился посередине, чем её показатель 56,1 процента при решении задач без ознакомления с материалом; следовательно, добавление полученного контекста ухудшило её результаты по сравнению с ответами, основанными на памяти. В синтетическом тесте самые слабые модели показали результаты ниже сорока процентов, когда целевая информация находилась посередине входных данных, причем кривая в форме U наблюдалась у моделей GPT-4, Claude и нескольких других открытых моделей. Специалисты в этой области восприняли это как новость о какой-то экзотической новой машине.
В 2005 году Йоахимс и его коллеги провели исследование с использованием технологии отслеживания взгляда, изучающее способ, которым люди читают результаты поиска с ранжированием, а в 2007 году повторили его. Внимание пользователей сосредотачивалось в верхней части списка, и они продолжали кликать на первую ссылку, даже когда более релевантная информация находилась ниже. В научной литературе это явление называют предвзятостью доверия. Порядок представления доказательств влияет на то, как они используются, независимо от того, хороши ли сами доказательства, и об этом было известно о людях за восемнадцать лет до того, как кто-либо «обнаружил» это в моделях.
Это сравнение несовершенно, и утверждение о его полной точности привело бы к той же ошибке, которую мы критикуем. Классическое смещение из-за позиции является монотонным: оно наибольше у верхушки списка и постепенно уменьшается внизу, тогда как эффект модели имеет форму буквы U с «мертвой зоной» посередине и усилением в конце из-за недавности данных. Формы различаются, несмотря на общность проблематики. Версия модели также нестабильна: более поздние исследования, некоторые из которых датируются 2025 годом, показывают, что штраф в середине меняется по мере приближения входных данных к пределу контекста, вместо того чтобы исчезать. Это ещё одна причина не считать работу «Lost in the Middle» священным текстом. Остается тот факт, что порядок искажает использование данных, а точная кривая постоянно меняется, что обосновывает необходимость измерений вместо запоминания.
Где заканчиваются старые карты
Уступки делают процесс отклонения менее удовлетворительным, но ограничение себя лишь фактами привело бы к кажущемуся умным отклонению, что на самом деле является способом долго ошибаться. Старые карты действительно исчерпываются, и именно там, где они теряют актуальность, это имеет наибольшее значение.
Самая глубокая проблема касается того, кто или что осуществляет анализ. В течение полувека человек просматривал ранжированный список, поэтому релевантность означала всё то, что человек мог оценить с первого взгляда. Теперь анализ выполняет генератор, и недавние исследования ясно показывают эту смену: речь идет о поиске ИИ, а не человека. Следовательно, релевантность зависит от окружающей среды и заранее трудно определить её точно.
Это изменение полностью опрокидывает старые предположения. В статье SIGIR 2024 года, написанной Куконасу и его коллегами под названием «Сила шума», был проведен соответствующий эксперимент. Ожидался один результат: документы с наивысшими оценками у системы поиска давали худшее качество выводов, когда они были близки по тематике, но не содержали ответа. Другой результат оказался удивительным: случайные, не связанные между собой документы повышали точность на тридцать пять процентов. В подходе Cranfield релевантность документа рассматривалась как его собственное независимое, аддитивное свойство. В подходе RAG полезность отрывка зависит от всего остального в контексте и от того, как генератор сочетает его с другими элементами. Основная единица оценки релевантности изменилась, однако большинство метрик по-прежнему учитывают прежнюю единицу.
Ещё один способ сбоя не имеет классического предшественника, поскольку старые системы не могли его вызвать. Классические системы интеллектуального поиска могли давать плохие результаты, но они не могли лгать. Они возвращали существующие документы и никогда не писали плавных, уверенных абзацев, прямо противоречащих этим документам. Верность, то есть наличие подтверждения генерируемого текста в полученных данных, представляет собой новую оценочную характеристику. Инструменты вроде RAGAS, появившиеся в 2023 году, позволяют измерять то, что ранее во всей этой области даже не требовалось называть.
Агентный поиск — это не совсем новое явление. Сам запрос на поиск существует уже давно. Разница заключается в модели, которая разбивает вопрос на части, формирует собственные подзапросы, анализирует результаты и корректирует свой план, тем самым создавая автономный цикл управления обычным процессом поиска. Именно этот цикл и является инновацией. Проекты DSP и DSPy от Хаттаба представляют собой серьезный подход к решению этой проблемы, и это логично, учитывая, что их автор хорошо знаком с более ранней литературой по данной теме.
Необходимо также переосмыслить методы оценки. Показатели nDCG, MAP и MRR оценивают ранжированный список для человека, просматривающего его по порядку, но они не учитывают, является ли генерируемый в итоге ответ правильным, полным и обоснованным. Простое использование старых метрик без изменений недостаточно для решения задачи.
Исследователи по-прежнему работают над этой проблемой
Люди, которые создали всё это, не ушли на пенсию на пляж. Несколько из них тихо внедряют подход RAG в традиции оценки, которую RAG игнорировал в течение двух лет.
Джимми Лин поддерживает проекты Anserini и Pyserini — инструменты, позволяющие свести хорошо настроенный алгоритм BM25 к одному командному запросу, тем самым устраняя оправдание в виде слабой базовой модели. После публикации раздражающих статей о «нейронных технологиях» он в 2019 году опубликовал статью «The Neural Hype, Justified! A Recantation», в которой признал, что в условиях ограниченных ресурсов нейронные методы эпохи BERT действительно давали преимущества по сравнению с сильными базовыми моделями. Ранее он утверждал, что эта область слишком преувеличена, но, изучив более убедительные доказательства, изменил своё мнение в печатном виде; при этом он всё ещё отчасти был прав насчёт преувеличений. Такой подход стоит принять с обеих сторон: опытные специалисты должны ориентироваться на новые разработки, а новички — изучать прошлые работы, чтобы понимать, что именно они обновляют.
В 2018 году Бхаскар Митра и Ник Красвелл написали вводный материал по нейронным методам поиска, в котором нейронные модели были твердо отнесены к классической традиции, а алгоритм BM25 рассматривался как эталон, заслуживающий уважения. С 2019 года они руководили секцией глубокого обучения на конференции TREC, оценивая всю нейронную эпоху на основе собранных и многократно используемых данных, которые Крэнфилд и TREC совершенствовали на протяжении десятилетий. Эта революция оценивалась с помощью старых инструментов данной области, созданных ее специалистами, и она была принята. Строгость критериев оценки была сохранена с самого начала, если кто-то этого хотел.
Эллен Вурхис и Донна Харман подготовили стандартный труд по оценке в рамках проекта TREC. Вурхис много лет изучала один сложный факт: суждения людей о релевантности часто противоречат друг другу, и именно это является основной проблемой при попытке заменить людей-оценщиков большими языковыми моделями. Когда сообщество по поисковой индексации рассматривало такую возможность, оно обосновывало её в печатных материалах и предупреждало исследователей, что это может незаметно испортить саму науку. Пилотные данные показали, что оценки моделей хорошо совпадают с оценками людей, при этом коэффициент Кендалла-тау составил около 0,86. Это может показаться обнадёживающим, но одна лишь корреляция ничего не говорит о том, в чём именно происходят разногласия, а те разногласия, которые имеют значение, касаются документов с неоднозначной релевантностью, определяющих победителя.
Теперь существует специальная номинация для этого. В 2024 году NIST запустил номинацию TREC RAG с 301 темой на основе уникализированной коллекции MS MARCO, содержащей 113 миллионов текстовых фрагментов. Те, кто считает оценку эквивалентной запуску команды pytest, должны понимать, сколько усилий требуется для создания надежного набора тестов. В рамках этой номинации оценивается воспроизведение ключевых фрагментов, что возвращает старый метод Voorheesа к эре больших языковых моделей, а также наличие цитат, проверяющее, подкреплены ли сгенерированные утверждения найденными текстами. В 2025 году запросы изменились: вместо коротких строк с ключевыми словами стали использоваться длинные, запутанные многострочные повествования, более близкие к реальным вопросам. Эта традиция не исчезла — была создана новая номинация, в которую был включен подход RAG, что является типичным шагом TREC.
Что меняется при обработке исторических данных
Поиск информации не умер, и технология RAG не изменила всего. Любой, кто распространяет одну из этих версий, заслуживает подозрений, поскольку обе позволяют человеку избежать работы. Правда более скромна и полезна. В этой области появился удобный способ обработки полученного текста, но в спешке было заброшено пятьдесят лет накопленных знаний о том, как правильно осуществлять поиск.
Эти знания можно вновь изучить в любое время. Граф цитирований доступен для публики, критерии оценки также публичны, а исследователи, как правило, с радостью удивляются, когда кто-то моложе задает осмысленный вопрос.
Практические изменения сделаны намеренно скучными:
- Сначала настраивается базовая модель BM25, прежде чем приступать к работе с эмбеддингами.
- Создаются наборы для оценки на основе тех запросов, которые вызывают опасения, а те, которые уже работают, игнорируются.
Ничто из этого не приносит того восторга, который возникает при настройке размера блоков. Базовый вариант, который, как ожидается, победит, лишен волнения, связанного с повторным определением границ, и отсутствие этого волнения имеет реальные последствия. Кроме того, это приводит к тому, что инструмент, хорошо работающий на примерах, отличается от того, который функционирует на корпусе данных, который никто не собирал.
Коллега, который спрашивал о BM25, не отставал от времени. Он получил ту же информацию, что и все остальные — версию, начинающуюся с 2020 года без первых пятидесяти лет. Решение заключается в поиске пропавших страниц, и хорошая новость в том, что они никогда не терялись; люди просто перестали их читать.
Оригинальные статьи, сгруппированные
Прочтение хотя бы одной из этих статей лучше, чем простое принятие чужих слов за истину.
Отрывки, разбиение на блоки и вкладки:
- Солтон, Аллан и Бакли (1993) — о поиске отрывков в системах с полным текстом, за много лет до появления поисковых систем в Интернете.
- Каллан (1994), статья «Доказательства на уровне отрывков при поиске документов», в которой сравнивались абзацы и отрывки фиксированной длины в реальной системе поиска. У стратегии «блокирования» есть предшественник.
- Кашкиел и Зобель (1997), статья «Повторный анализ поиска отрывков», в экспериментах с размером отрывков было установлено, что отрывки фиксированной длины эффективны; этот результат может быть вновь обнаружен любым инструментом оценки при наличии такой возможности.
- Хирст (1997), статья «Текстовое тайлинг», посвящённая разделению текста при смене субтемы. У каждого способа семантического блокирования есть более ранняя цитата.
- Солтон, Вонг и Янг (1975) — модель векторного пространства, в которой в 1975 году были описаны операции, выполняемые векторной базой данных во время запроса.
Фьюжн, обратная связь и переранкинг:
- Кормак, Кларк и Бюттчер (2009) — метод слияния рангов, используемый в нескольких крупных поисковых системах в качестве гибридного способа поиска; константа 60 без настройки превосходила результаты обученных методов.
- Фокс и Шоу (1994) — объединение нескольких поисковых запросов с использованием методов CombSUM и CombMNZ, уже ставших стандартом.
- Гао, Ма, Лин и Каллан (2022) — статья HyDE, описывающая изящный трюк с фиктивными ответами, который по сути представляет собой нейронную имитацию обратной связи по релевантности.
- Роччио (1971) — первоначальный подход к обратной связи по релевантности, направленный на то, чтобы направить запрос к кажущимся релевантным результатам.
- Крофт и Харпер (1979) — псевдообратная связь по релевантности, также называемая смещением запросов.
- Ванг, Лин и Метцлер (2011) — формальная каскадная модель ранжирования, лежащая в основе конвейеров BM25-then-cross-encoder.
- Берджес и его коллеги (2005) — RankNet, доказательство того, что в 2005 году уже существовал рабочий нейронный алгоритм для ранжирования.
Оценка:
- Клевердон, Миллс и Кин (1966) — Cranfield II, шестидесятилетняя модель, включающая корпус, запросы, оценки и оффлайн-рейтинг.
- Вурхис и Харман (2005) — книга по оценке TREC, посвящённая тестированию систем поиска без самообмана.
- Ярвелин и Кекялайнен (2002) — происхождение показателя nDCG и обоснование его использования.
- Вурхис (2000) — о степени несогласия среди людских экспертов, а также о проблеме, лежащей в основе замены их ИИ-экспертом.
- Фаджиоли, Дитц, Кларк и соавторы (2023) — исследование использования больших языковых моделей для оценки релевантности, откуда и исходит предупреждение о возможном искажении научных результатов.
- Митра и Красвелл (2018) — введение в нейронные методы индексации, помещающее нейронные модели в рамки классической традиции.
- Красвелл и соавторы (2019) — обзор секции по глубокому обучению на конференции TREC 2019.
Эмпирические результаты:
- Тхакур и соавторы (2021) — исследование BEIR, показывающее превосходство алгоритма BM25 над большинством сложных моделей при работе с данными, отличными от обучающих.
- Лин (2018) и Ян, Лу, Ян и Лин (2019) — исследования слабых базовых решений и отсутствия роста эффективности моделей.
- Лин (2019) — отказ от прежних выводов, когда критик меняет своё мнение в печатном виде.
- Лю и соавторы (2023, опубликовано в 2024 г.) — статья «Затерянные посередине».
- Йоахимс и соавторы (2005, с дополнительным исследованием в 2007 году) о клик-через как о косвенной обратной связи и о предвзятости, которая из-за этого возникает.
- Весели, Чибане, Тонева и Коллер (2025) о смещениях позиционных предвзятостей по мере приближения входных данных к пределу окна контекста.
Что действительно нового:
- Куконасу и соавторы (2024), «Сила шума», где случайные несвязанные документы повышали точность.
- Эс, Джеймс, Эспиноса-Анке и Шоккарт (2023), RAGAS — инструменты для оценки верности результатов.
- Хаттаб и соавторы (2022 и 2023), Demonstrate-Search-Predict и DSPy — более серьезная версия агентного поиска.
- Рубрика RAG на конференции TREC 2024 в NIST, включающая 301 тему, 113 миллионов текстовых фрагментов, функции восстановления ключевой информации и поддержку цитирования.
Связанная литература
- Практические заметки: Что такое Retrieval-Augmented Generation (RAG)? Практическое руководство — Подробное пошаговое руководство по практическим заметкам: Что такое Retrieval-Augmented Generation (RAG)? Практическое руководство: шаблоны контрактов, проверок и готового кода для команд, использующих эту модель.
- От прогнозирования следующего токена к рабочему коду: как LLM генерируют Python — По порядку объясняются токены, функция softmax, параметр температуры, механизм самообратной связи и слои с передачей сигнала, приводится пример пошаговой сортировки и описываются ограничения, вытекающие из процесса прогнозирования.