П’ятдесят років досліджень у сфері пошуку, які приховані всередині вашої системи RAG.
Розбиття тексту на фрагменти, гібридний пошук, HyDE, переранжування та оцінка – усі ці методи мають десятиліттями існуючі аналоги в галузі пошуку інформації. Огляд досліджень та їхні обмеження.
Джерела: We deleted fifty years of information retrieval and called it RAG
Спіраль чанкінгу, яка нічого не виправила
Уявіть собі створення потоку обробки документів для фінансового клієнта та кілька безсонних ночей, витрачених на визначення розміру чанків. Початковий розмір становить 256 токенів, потім він зростає до 512, далі до 1024, після чого знову повертається до 512 із перекриттям у 64 токени, і нарешті закінчується на рівні 384 через рекомендацію з форуму. У ноутбуці знаходиться простий інструмент оцінки, а в інших вкладках розташовані два чат-асистенти. Одного з них запитують про стратегію чанкінгу, ніби він старший інженер, а його відповіді порівнюються з тим, що було опубліковано в Інтернеті того місяця. Ця робота нагадує дослідження нових територій, і кожен етап закінчується переможцем та діаграмою.
Тоді корпус даних зростає. Чим більше документів потрапляє до сховища векторів, тим гіршою стає процедура пошуку. Те, що здавалося точним на невеликій вибірці, при масштабуванні стає нечітким, і система повертає уривки, які знаходяться близько один до одного у векторному просторі, але насправді є марними. Природною реакцією є посилення налаштувань розділення на частини, адже саме з цим кожен може працювати. Минають дні, кожен запуск змінює певні параметри, і кожна така зміна сприймається як прогрес. Проте жоден з цих кроків не вирішує справжньої проблеми.
Потім колега кидає погляд на конфігурацію та без жодної іронії запитує: «Що таке BM25?» Готової чіткої відповіді немає. BM25 — це старий метод, який можна описати як «пошук за ключовими словами», те, що, за припущенням усіх, вже залишилося позаду. Насправді цей момент показує, що вся робота велася в межах п’ятдесятирічної дискусії, без того, щоб люди дізналися імена тих, хто вже був у цій «кімнаті».
Ось зізнання, що стоїть за цією статтею, і воно є загальновживаним. Майже кожен крок у процесі створення RAG вже має назву, причому більшість з цих назв походять з часів, що є ранішими за часи тих, хто пропонує ці ідеї у вигляді презентацій. Ці пропоненти здебільшого також не знають їхнього походження. Позначення „ми“ та „ця галузь“, використані нижче, стосуються фахівців в цілому, і кожна з цих помилок є поширеною.
Інші також помітили цю закономірність. Досвідчений інженер з пошуку з Vespa у 2024 році написав, що гібридні системи отримання та ранжування даних дозволяють поєднувати сигнали з некерованих методів, таких як BM25, з керованими нейронними алгоритмами ранжування. Збір документів для використання у запиті — це процес пошуку інформації, і ця робота значно виходить за межі простого розрахунку коефіцієнта косинуса, охоплюючи переписування запитів, їх об’єднання, повторне ранжування та поетапний пошук. Досвідчений інженер з оцінки релевантності неодноразово підкреслював подібну думку: пошук не зник, він просто перейшов у «підпілля» та продовжує тихо керувати світом.
Обидва спостереження є актуальними, хоча фраза «RAG — це просто пошук інформації» є слоганом, а слогани нічого не коштують. Те, що змінює способи роботи, — це аналіз отриманих результатів. Нижче наведена карта цих процесів, яка не починається з 2020 року без видалення перших п’ятдесяти років.
Чанкування, ембеддинги та значення
Почнімо з розділення тексту на частини — саме там все й почалося. Розділення документів на абзаци замість того, щоб розглядати їх як цілісні об’єкти, — це ідея, якій вже кілька десятиліть. Збір інформації з абзаців вже був предметом досліджень у 1993 році (Salton, Allan та Buckley), а наступного року Callan досліджував докази на рівні абзаців. До 1997 року Kaszkiel та Zobel опублікували працю „Passage Retrieval Revisited“, тож ця тема вже була настільки старою, що потребувала повторного розгляду. Їхні експерименти з розміром та сегментацією абзаців показали, що прості абзаци фіксованої довжини показували дивовижно гарні результати, що саме й досягається за допомогою методу перегляду розмірів частин за ніч, але з гіршими результатами.
Технологія TextTiling, розроблена Marti Hearst у той самий рік, встановлює межі там, де справді змінюється тема, та ігнорує кількість токенів. Сучасні постачальники послуг „семантичного розділення тексту“ перепродають цю ідею, причому оригінальна стаття була опублікована ще до того, як у більшості їхніх засновників з’явилися перші комп’ютери.
Далі йде ембеддинг, який є справді сучасним кроком, що відрізняє людей від тих, хто працює з ключовими словами. Представлення документів та запитів у вигляді векторів та їх оцінка за допомогою косинуса походить від Салтона, Вонга та Янга у 1975 році — це була модель векторного простору. Надання додаткової ваги рідкісним термінам, завдання, яке тепер ембеддингова модель виконує за допомогою своїх параметрів, було запропоновано Карен Сперк Джонс у 1972 році. А крок, який зазвичай вважається серцем цього підходу — зіставлення за значенням, а не за буквальними словами, щоб розбіжності у словниковому запасі більше не мали значення, — це латентний семантичний аналіз, опублікований Дірвестером та його колегами у 1990 році з використанням методу SVD матриці термінів-документів для виявлення прихованої структури.
Заміна SVD на трансформер дозволила багатьом людям стверджувати, що ідея належить їм. Трансформер є справжнім покращенням, а не лише косметичним, оскільки він аналізує кожне слово з урахуванням слів навколо нього, чого ніколи не зміг би зробити один статичний вектор LSA. Основний принцип залишився незмінним: значення має вищу цінність, ніж форма.
Фузія, переписування запитів та переранжування
Гібридний пошук є нинішнім фаворитом – у ньому поєднуються лексичні та інтенсивні оцінки, що створює враження, ніби всі діють розумно. Метод поєднання, який використовується в Elasticsearch, OpenSearch, Weaviate та Azure AI Search, – це метод взаємного об’єднання рангів, запропонований Кормаком, Кларком та Бюттчером на конференції SIGIR у 2009 році. Одна деталь у цій статті заслуговує більшої уваги, ніж отримує: просте об’єднання з використанням константи 60, яка ніколи не налаштовувалась, показало кращі результати, ніж навчені системи для оцінки рангів, з якими її порівнювали. Неналаштований стандартний варіант перевершив моделі, які люди самі навчали. Поєднання результатів з кількох пошукових двигунів вже було стандартною практикою у 1994 році, коли Фокс та Шоу використовували для цього CombSUM та CombMNZ.
Переписування запиту — це ситуація, коли кавова чашка може бути сильно поставлена на стіл. У HyDE модель створює фальшивий документ з відповіддю, і система вставляє його замість запиту, ґрунтуючись на припущенні, що правдоподібна неправильна відповідь знаходиться ближче до правильних документів, ніж сам запит. Це цікавий трюк, але він також нагадує метод Rocchio 1971 року.
Фідбек релевантності Роччоо зміщує вектор запиту у бік документів, які здаються релевантними, та від документів, які не є такими. Псевдо-фідбек релевантності Крофта та Гарпера 1979 року здійснює таке саме зміщення без будь-якого участі людини, просто припускаючи, що результати з найвищим рангом достатньо якісні для навчання. З цієї точки зору HyDE є нейронним псевдо-фідбеком релевантності — тією самою технологією, але реалізованою за допомогою трансформерів через багато років. У їхній статті не цитується Роччооо, що свідчить про те, що це явище забування не обмежується навчальними матеріалами та темами форумів, а іноді стосується й самих статей.
У попередніх дослідженнях також було названо проблему, яка турбує системи у стилі HyDE у промисловому використанні: зміна критеріїв пошуку. Коли результати пошуку є поганими, розширення запиту на основі цих результатів лише погіршує ситуацію, тому досвідчені фахівці використовували зворотний зв’язок лише один раз, а потім припиняли це робити. Тепер агентні цикли повторюють цей процес знову та знову, і всі дивуються, коли результати пошуку відхиляються у несумісному напрямку.
Решта підходів також слідують цій самій схемі. Додавання крос-кодеру для переранжування після першого етапу пошуку з метою вибору найкращих результатів є прикладом двоетапної каскадної структури. Концепція каскадного ранжування була сформалізована Вангом, Ліном та Метцлером у 2011 році, а RankNet у 2005 році додав нейронний механізм для ранжування у підхід learning-to-rank. Потік обробки даних, який спочатку використовує алгоритм BM25, а потім крос-кодер, і який кілька разів випускався протягом одного року, є стандартною двоетапною каскадною структурою під іншою назвою.
Оцінка є найбільш проблематичною частиною
Оцінювання — це та сфера, де уроки даються найважче, оскільки з нею поводяться найгірше. Практика заморожування корпусу даних, написання запитів для тестування, збору оцінок релевантності від людей та використання систем оцінювання офлайн є парадигмою Cranfield, яка походить від досліджень Cleverdon та його колег у 1966 році. NIST розширив цю парадигму починаючи з 1992 року, а Voorhees та Harman описали її у книзі 2005 року. Метод об’єднання даних, який дозволяє оцінювати результати без необхідності читання всього корпусу, виник ще кілька десятиліть тому завдяки цим дослідженням, так само як і такі значущі показники, як MAP та nDCG.
Типова „оцінка“ для RAG є її невеликою, недокументованою версією. Оцінок релевантності не існує, суддею виступає невалідований LLM, а набір тестових даних формується шляхом використання запитів, які вже виявилися ефективними.
У класичному IR для останньої з цих проблем є негативна назва – відбір зразків за змінною-залежною. Якщо оцінка будується на запитах, які, як відомо, дають хороші результати, це гарантує успіх, але система зазнає невдач у всьому, що ніхто не подумав спробувати. Ці невдачі позначаються як „галюцинації“, оскільки жоден інструмент не вказує на справжню причину. Навіть спотворений набір даних має певну цінність, адже він виявляє справжні регресії у запитах, які важливі для користувачів, але він нічого не говорить про запити, яких ніхто не ставив, і саме вони зазнають невдач у реальних умовах. У фінансовому процесі це траплялося з першим запитом, який не належав до набору – наприклад, з показником, що перевищує певний поріг, або з діапазоном дат, що є типовими для фінансових запитів, але які ніхто не тестував.
Цифри важче спростувати. Розгляньмо припущення, яке спонукало людей налаштовувати розміри частин даних, коли їм слід було просто використовувати базовий підхід: а саме, що щільний пошук кращий за лексичний за замовчуванням. У дослідженні BEIR, проведеному Тхакуром та його колегами у 2021 році, десять систем були протиставлені вісімнадцяти наборам даних, і було отримано результат, який варто було б надрукувати в кожному репозиторії типу RAG. Показники продуктивності на території навчання мало що говорять про продуктивність в інших умовах. BM25 відставав від нейронних моделей на сім–вісімнадцять балів на даних з цієї ж території, але перевершував більшість з них, коли дані походили з іншої дисперсії. Найсильніший щільний бі-енкодер виграв лише у вісім з вісімнадцяти наборів даних.
Нішевий фінансовий корпус — це саме той спеціалізований матеріал, який не належить до загальноприйнятої дистрибуції, про який попереджає BEIR. Припущення про те, що алгоритм dense все одно буде кращим, було настільки абсолютним, що ніхто не провів тестування на основі лексичного базового рівня, хоча стаття, яка його рекомендувала, була опублікована вже чотири роки тому.
Слід бути обережним, адже межі постійно змінюються. Деякі комерційні топ-листи зараз повідомляють, що алгоритм dense досягає кращих результатів, ніж BM25, на 15–25 відсотків у тестах BEIR. Можливо, але ці цифри надані постачальниками за умовами, визначеними ними самими, тож до них слід ставитися з сумнівом, як і до будь-якого тестування, проведеного його продавцем. Роботи, перевірені колегами, все одно дійшли до простого, але правильного висновку: BM25 є міцним базовим алгоритмом, а гібридний підхід — безпечним стандартом. Якщо щось зміниться, це має показати хтось, у кого немає нічого, що можна було б продати.
Ще більш сумною та поширеною практикою є знищення слабких базових рішень та називання цього результатом прогресу. У статті Джиммі Ліна 2018 року з чудово іронічною назвою „The Neural Hype and Comparisons Against Weak Baselines“ стверджувалося, що багато перемог нейронних систем у завданнях пошуку були насправді перемогами над конфігурацією BM25, яку ніхто навіть не потрудився налаштувати. У наступному дослідженні 2019 року було проаналізовано численні статті на основі однієї стандартної колекції тестів та не виявлено жодної тенденції до покращення ефективності; найкращі опубліковані результати були за десять років до того, і жодні новіші результати не наблизилися до них. Тож коли у тестах типу RAG спостерігається зменшення ефективності методів „пошуку за ключовими словами“, першим кроком має бути використання конфігурації BM25. Найпоширенішим результатом у цій галузі є те, що ефективний старий метод програє недбалій копії самого себе.
Упередження щодо позицій, знову відкрите
Упередженість через положення — це результат, який здається кумедним, але в неправильному сенсі. У дослідженні „Lost in the Middle“ (Liu та співавтори, 2023) моделі найкраще використовували інформацію, яка знаходилась на початку чи в кінці контексту, а найгірше — посередині, що утворювало криву у формі літери U. Результати були різкими. Під час відповідей на запитання з кількох документів, коли використовувалося двадцять чи тридцять отриманих документів, GPT-3.5-Turbo показав гірші результати, коли відповідь знаходилась посередині, ніж його показник 56,1 відсотка при роботі без підказок, тож додавання отриманого контексту лише погіршило ситуацію порівняно з відповідями з пам’яті. У синтетичному тесті найслабші моделі показали результати нижче сорока відсотків, коли мета знаходилася посеред інформації, і крива у формі літери U спостерігалася як у GPT-4, так і у Claude та кількох інших відкритих моделей. Спільнота сприйняла це як новину про екзотичну нову машину.
У 2005 році Йоахімс та його колеги провели дослідження з відстеження погляду, щоб з’ясувати, як люди читають результати пошуку з ранжуванням, а у 2007 році повторили його. Увага спрямовувалась на верхню частину списку, і користувачі продовжували клацати на першому посиланні, навіть коли щось нижче було більш релевантним. У науковій літературі це називають упередженням довіри. Порядок, у якому подаються докази, впливає на те, як вони використовуються, незалежно від того, наскільки вони є корисними, і про це вже було відомо про людей на вісімнадцять років раніше, ніж хтось „виявив“ це явище в моделях.
Це порівняння є недосконалим, і стверджувати, що воно точне, означало б вчинити ту саму помилку, яку ми критикуємо. Класична упередженість, пов’язана з позицією, є монотонною: найсильнішою вона є на вершині та зменшується вниз по списку, тоді як ефект моделі має форму літери U із середньою „мертвою зоною“ та пізнім підйомом через свіжість даних. Форми відрізняються, незважаючи на спільність проблемної сім’ї. Версія моделі також є нестабільною: пізніші дослідження, деякі з 2025 року, показують, що середня каральна пеня змінюється, коли вхідні дані наближаються до межі контексту, замість того, щоб зникати. Це ще одна причина не вважати „Lost in the Middle“ священним текстом. Те, що залишається, — це теза про те, що порядок спотворює використання, а точна крива є мінливою, що обґрунтовує необхідність вимірювання замість запам’ятовування.
Де закінчуються старі карти
Якщо піти на поступки, процес видалення стає менш задовільним, але якщо обмежитися лише підтверджуючими даними, це призведе до „розумного“ видалення, що є способом довго помилятися. Старі карти справді закінчуються, і саме ті місця, де вони не спрацьовують, мають найбільше значення.
Найглибша проблема стосується того, хто чи що здійснює аналіз. Протягом півстоліття людина переглядала впорядкований список, тож релевантність означала все те, що людина могла оцінити одним поглядом. Тепер аналіз здійснює алгоритм, і нещодавні дослідження чітко показують цю зміну: це пошук для ШІ, а не для людини. Тому релевантність залежить від його середовища та важко визначити її заздалегідь.
Ця зміна повністю скасовує старі припущення. У статті SIGIR 2024 року, написаній Куконасу та його колегами під назвою „Сила шуму“, був проведений експеримент. Очікувався один результат: документи з найвищими оцінками у системи пошуку давали гірші результати, коли вони були близькі за тематикою, але не містили відповіді. Інший результат був несподіваним: випадкові, непов’язані документи підвищували точність на тридцять п’ять відсотків. Cranfield розглядав релевантність документа як окрему, незалежну властивість. У RAG корисність уривка залежить від усього іншого в контексті та від того, як генератор поєднує його з іншими елементами. Основна одиниця релевантності змінилась, а більшість метрик досі враховують попередню одиницю.
Ще один спосіб збою не має класичного попередника, оскільки старі системи не могли його спричинити. Класичні системи інформаційного пошуку могли давати погані результати, але вони не могли брехати. Вони повертали документи, які справді існували, і ніколи не створювали плавних, впевнених абзаців, які б прямо суперечили цим документам. Вірність, тобто чи підтверджується створений текст тим, що було знайдено, є новою ознакою. Інструменти на кшталт RAGAS, які з’явилися у 2023 році, вимірюють те, що всі попередні системи ніколи не мусили називати.
Агентний пошук є лише частково новим. Один із способів пошуку існує вже давно. Різниця полягає у моделі, яка розбиває запит на частини, ставить власні підзапити, аналізує результати та коригує свій план, що становить автономний контрольний цикл навколо звичайного пошуку. Саме цей цикл є інновацією. Проекти DSP та DSPy від Khattab є серйозним підходом до цієї проблеми, і цілком логічно, що вони створені людиною, добре обізнаною зі старішою літературою.
Систему оцінювання також потрібно переглянути. Метрики nDCG, MAP та MRR оцінюють відсортований список для людини, яка його прочитує, але вони не враховують, чи є остаточна отримана відповідь правильною, повною та обґрунтованою. Без змін використання старих метрик недостатньо для вирішення проблеми.
Дослідники все ще працюють
Люди, які створили все це, не пішли на пенсію на пляж. Кілька з них тихо впроваджують RAG у традиції оцінювання, яких RAG ігнорував протягом двох років.
Джиммі Лін підтримує проекти Anserini та Pyserini — інструменти, які дозволяють скоротити налаштований BM25 до однієї команди, що усуває виправдання через слабкі базові методи. Після критичних статей про „нейронну хайп-культуру“, які він опублікував, у 2019 році він видав статтю „The Neural Hype, Justified! A Recantation“, у якій визнав, що у умовах обмежених ресурсів нейронні методи епохи BERT дійсно забезпечували покращення порівняно з сильнішими базовими методами. Він стверджував, що ця галузь переоцінена, дослідив більш переконливі докази та змінив свою думку у друкованому вигляді, проте все ще мав частку рації щодо цієї хайп-культури. Такий підхід варто запозичити з обох боків: досвідчені фахівці мають орієнтуватися на нові досягнення, а новачки — читати минулі роботи, щоб зрозуміти, що саме вони оновлюють.
У 2018 році Бхаскар Мітра та Нік Красвелл написали посібник з нейронних методів пошуку, який міцно вписав нейронні моделі в класичну традицію та розглядав BM25 як базовий інструмент, якому слід віддавати належну повагу. З 2019 року вони керували секцією глибокого навчання TREC, оцінюючи всю еру нейронних моделей за збірками даних, які Cranfield та TREC удосконалювали протягом десятиліть. Цю «революцію» оцінювали за старими методиками цієї галузі, створеними саме тими людьми, і вона пройшла успішно. Строгість оцінювання була портативною з самого початку, якщо хтось її хотів.
Еллен Вурхіс та Донна Харман редагували стандартний документ з оцінки TREC. Вурхіс багато років досліджувала проблему: судження людей щодо релевантності суперечать один одному, і саме ця складність стоїть перед тими, хто намагається замінити людських оцінювачів на ШІ. Коли спільнота з пошуку інформації розглядала таку заміну, вона наводила аргументи у друкованих матеріалах та попереджала дослідників, що це може таємно пошкодити науку. Дані пілотних досліджень показали, що оцінки моделі дуже схожі на людські — коефіцієнт Кендалла-тау становив близько 0,86. Це здається обнадійливим, але одна лише кореляція не розкриває, у чому саме виникають розбіжності, а ті розбіжності, що мають значення, стосуються документів на межі релевантності, які визначають переможну систему.
Тепер існує спеціальна ніша для цього. У 2024 році NIST започаткував нішу TREC RAG із 301 темою на основі унікалізованої колекції MS MARCO, що містить 113 мільйонів уривків. Ті, хто вважає оцінку виконанням команди pytest, повинні розглянути важку роботу, яка потрібна для створення надійного набору тестів. У цій ніші оцінюється точність відтворення ключової інформації, що приводить старий метод Voorheesа до ери ШІ, а також наявність посилань, які перевіряють, чи підтверджуються сформульовані твердження отриманими уривками. У 2025 році запити змінилися з коротких рядків ключових слів на довгі, складні багатослівні текстові послання, що більше нагадує справжні запитання. Ця система не зникла, а створила нову нішу та запрошує технологію RAG, що є типовим кроком TREC.
Що змінюється, коли читають історію
Пошук інформації не вмер, і технологія RAG не змінила всього. Кожен, хто пропонує одну з цих версій, заслуговує на підозру, адже обидві дозволяють людині уникнути роботи. Правда є меншою, але кориснішою. У цій галузі з’явився значний інструмент для обробки знайденого тексту, і в поспіху було відкинуто п’ятдесят років накопичених знань про те, як ефективно знаходити інформацію.
Ці знання можна відновити в будь-який час. Граф цитувань є публічним, критерії оцінки також публічні, а дослідники, за своєю репутацією, приємно здивовані, коли хтось молодший ставить обґрунтоване запитання.
Практичні зміни робляться навмисно нудними:
- Спочатку налаштуйте базову модель BM25, перш ніж працювати з ембеддингами.
- Створюйте набори для оцінки на основі запитів, які викликають занепокоєння, і ігноруйте ті, які вже працюють належним чином.
Жоден з цих підходів не створює того захоплення, яке виникає під час налаштування розміру частин. Базовий варіант, який, як очікується, має перемогти, позбавлений ентузіазму відновлення нових меж, і ця втрата ентузіазму має реальні наслідки. Крім того, це розділяє систему, яка добре демонструє свої можливості, від тієї, що працює лише з корпусом даних, який ніхто не обробляв.
Колега, який запитував про BM25, не відстав від часу. Він отримав ту саму інформацію, що й усі інші — версію, яка починається з 2020 року без перших п’ятдесяти років. Рішенням є знаходження відсутніх сторінок, і щастило тим, що вони ніколи не були втрачені; люди просто перестали їх читати.
Оригінальні статті, згруповані
Читання принаймні однієї з цих статей краще, ніж просто вірити словам інших.
Уривки, часткове оброблення та ембеддинги:
- Salton, Allan та Buckley (1993) про пошук уривків у системах з повним текстом, за кілька років до того, як у Інтернеті з’явився пошуковик.
- Callan (1994), „Passage-Level Evidence in Document Retrieval“, у якому порівнювалися абзаци та уривки фіксованої довжини в реальній системі пошуку. У „стратегії чанкінгу“ є попередник.
- Kaszkiel та Zobel (1997), „Passage Retrieval Revisited“, у чиїх експериментах з розміром уривків було виявлено, що уривки фіксованої довжини є ефективними — результат, який будь-який інструмент оцінки зможе знову виявити, якщо йому це дозволено.
- Hearst (1997), „TextTiling“, про розділення тексту там, де змінюється підтема. Кожен підхід до семантичного чанкінгу має старішу цитату.
- Salton, Wong та Yang (1975) — модель векторного простору, у якій у 1975 році було описано операції, які виконує векторна база даних під час пошуку.
Фузія, зворотний зв’язок та переранжування:
- Кормак, Кларк та Бюттчер (2009) – фузія рангів шляхом взаємодії, гібридний метод пошуку, який використовується у кількох провідних пошукових системах, з неналаштованою константою 60, яка перевершує результати навчених методів.
- Фокс та Шоу (1994) – поєднання кількох пошукових операцій, де методи CombSUM та CombMNZ вже є стандартними.
- Гао, Ма, Лін та Каллан (2022) – стаття HyDE, елегантний трюк із фальшивими відповідями, який у своїй суті є нейронним псевдозворотним зв’язком за релевантністю.
- Роччо (1971) – початковий підхід зворотного зв’язку за релевантністю, спрямований на наведення запиту на шлях до релевантних результатів.
- Croft та Harper (1979) – псевдофідбек релевантності, який також називається зміщенням запитів.
- Wang, Lin та Metzler (2011) – формальна модель ієрархічного ранжування, що лежить в основі конвеєрних систем BM25-then-cross-encoder.
- Burges та співробітники (2005) – RankNet, доказ того, що у 2005 році вже існував ефективний нейронний алгоритм для ранжування.
Оцінка:
- Cleverdon, Mills та Keen (1966) – Cranfield II, шістдесятирічна модель корпусу, запитів, оцінок та офлайн-рейтингування.
- Voorhees та Harman (2005) – книга з оцінки TREC, присвятована тестуванню систем пошуку без самообману.
- Järvelin та Kekäläinen (2002) – походження показника nDCG та обґрунтування його використання.
- Voorhees (2000) – про те, наскільки різняться думки людських оцінювачів, та про проблему використання оцінювача на основі LLM.
- Faggioli, Dietz, Clarke та їхні колеги (2023) – дослідження використання ШІ для оцінки релевантності, звідки походить попередження про можливе спотворення наукових результатів.
- Mitra та Craswell (2018) – вступ до нейронних методів індексації, який розміщує нейронні моделі в межах класичної традиції.
- Craswell та його колеги (2019) – огляд секції з глибокими мережами на конференції TREC 2019.
Емпіричні результати:
- Thakur та його колеги (2021) – дослідження BEIR, яке демонструє, що алгоритм BM25 перевершує більшість щільних моделей у умовах зовнішньої дистрибуції даних.
- Lin (2018) та Yang, Lu, Yang та Lin (2019) – про слабкі базові моделі та відсутність тенденції до покращення їхньої ефективності.
- Lin (2019) – відмова від попередніх тверджень, коли критик змінює свою думку у друкованому виданні.
- Liu та його колеги (2023, опубліковано у 2024) – „Загублені посередині“.
- Йоахімс та колеги (2005, із наступним дослідженням у 2007 році) про клік-через як неявну зворотну відповідь та упередження, які це викликає.
- Веселі, Чібане, Тонева та Коллер (2025) про зміну позиційних упереджень у міру наближення вхідних даних до меж контекстного вікна.
Що справді є новим:
- Куконасу та колеги (2024), „Сила шуму“, де випадкові непов’язані документи підвищували точність.
- Ес, Джеймс, Еспіноса-Анке та Шоккаерт (2023), RAGAS – інструменти для вимірювання вірності.
- Хаттаб та колеги (2022 та 2023), Demonstrate-Search-Predict та DSPy – серйозна версія агентного пошуку.
- Розділ RAG TREC 2024 у NIST із 301 темою, 113 мільйонами уривків, підтримкою відтворення ключової інформації та цитування.
Пов’язана література
- Практичні нотатки: Що таке Retrieval-Augmented Generation (RAG)? Практичний посібник — Детальний огляд Практичних нотаток: Що таке Retrieval-Augmented Generation (RAG)? Практичний посібник: контракти, перевірки та шаблони коду для команд, які використовують цю модель.
- Від прогнозування наступного токена до функціонального коду: Як LLM генерують Python — Послідовне пояснення токенів, алгоритму softmax, параметра температури, механізму самоуваги та шарів з передаванням сигналу, з прикладом поетапної обробки та обмеженнями, що випливають з прогнозування.