Пяцьдзясят гадоў даследаванняў пошуку ўнутры вашага RAG-канвеера
Разбіўка на фрагменты, гібрыдны пошук, HyDE, пераранжаванне і ацэнкі ў RAG маюць дзесяцігадовых продкаў у інфармацыйным пошуку. Агляд даследаванняў і іх слабых месцаў.
Крыніцы: We deleted fifty years of information retrieval and called it RAG
Спіраля частакавання, яя нічога не выправіла
Уявіце, што вы ствараеце ляйн-ап дакументаў для фінансавага кліента і прасілі калькі вечараў на выбір розмеру частак. Пачатковы розмер складае 256 токенав, пасля чаго ён падыходзіць да 512, а потым да 1024; пасля чаго знову вяртаецца да 512 з перакрыццем у 64 токана і заканчваецца на 384, таму што така ціфра была падтрымана адпаведным тэмам на форуме. У ноутбуке знаходзіцца просты інструмент для ацэнкі, а ў іншых вікнах знаходзяцца два чат-асістэнты. Аднаго з яных запытваюць пра стратэгію частакавання, як якаго-небудзь старшагі інжынера, а яго адказы практычна перапылваюць з тым, што было опублікована ў Інтэрнэце тым месцам. Гэтае заведамства нагадвае дакледжэнне новых тэрыторый, і кожны раунд заканчваецца з выграўшым і графікам.
Тады корпус расрастаецца. Чым большае колькасць дакументаў падае ў сховішча вектараў, тым гorsа стае ўзнавамленне інфармацыі. Тое, што на малай вялічыне прыкладаў выглядала чытра, у масштабе становіцца нечыткай і вяртае фрагменты, якія знаходзяцца поблізу ў вектарнам прасторы, а на самай працэ ўсё ж неякія. Прыродныя рэакціі — адстройваць працэс разбівання на часткі адносна строга, таму што разбіванне — гэта той параметр, які ўсі ведаюць, як налажваць. Ходзяць дні, пад час кожнага запуску змінюецца якаясь цыфра, і кожная такая зміна спрыймаецца як прагрэс. Нічога з гэтага не тычыцца у справжню проблему.
Потым колега заглядае ў настройкі і, без жаднага іронічнага тону, спытае: «Што такое BM25?» Адпаведзі ўжо не ёсць. BM25 — стары метод, і гэта ў сутнасці «толькі пошук за ключавымі словамі», тое, ад чаго, як сумніваюцца, усі ужо адмахнуліся. Насамперадзе гэта паказвае, што весь наш працавы напор быў спрамованы ў межах пяцдзяцягоддзевай дыялогі, не выучыўшы імен нават тых, хто ужо ў цім прасторы прысутны.
Гэта ўсвядомленне стоіць за гэтым матэрыялам, і яно прыменяецца ў шырокім сэнсе. Практычна кожны крок у процэсе стварэння RAG ужо мае сваё названне, прычаму большасць гэтых назваў маюць даты, якія ўжо старэйшыя за тых, хто продае гэія ідэі разам з прэзентацыямі. Гэтыя продавцы здзейчай таксама не ведаюць пра ўсю історыю ўзнікнення гэтых тэхнолагій. Ужываныя ніжэй «мы» і «гэтая галузь» аднасоўваюцца да практыкантам у цэлым, і кожна з гэтых памылак ёсць распашчастай.
Іншыя таксама зазначылі гэтыя законамасці. Аднаго з давольна давняго часу інжынераў па пошуку з Vespa у 2024 годзе было напісана, што гібрыдныя сістэмы адзыскання і ранжыравання дозволяюць спаўніваць сігналы з некераваных методаў, такіх як BM25, з кераванымі нейральнымі алгорытмамі ранжыравання. Збір дакументаў для ўключэння ў запіт — гэта адзысканне інформацыі, і гэтае заведамства выходзіць далека за межы простага косай коефіціента, апіваючыся перапісвам запытаў, ўзаўмешчаннем, пераранжыраваннем і поэтапным адзысканнем. Аднаго з апытных інжынераў па рэлевантнасці таксама не раз падкрэсліў гэтае: адзысканне не згінула, яно проста перайшла ў таінственную дзеяльнасць і продовжыла тыхо кераваць светам.
Оба заўважэння застаюцца актуальнымі, хоча фраза «RAG — гэта проста адзысканне інформацыі» ёсць слоганам, а слоганы нічога не коштаюць. Тое, што змінюе спосабы работы, — гэта аналіз рэзультатаў. Далей прыводзіцца карта такіх спосабаў, якая не пачынаецца з 2020 году, без выкарыстоўвання першых пяцідзесятых гадоў.
Чанкаванне, эмбеддынгі і значэнне
Пачатак należy рабіць з разбіювання на часткі, дзе і пачаталася проблема. Разбіўка дакументаў на аблака замест таго, каб тратаваць іх як цэласць, — гэта ідэя, якая існуе вялікія гады. Адзысканне аблакаў ужо было тэмай даследжэнняў у 1993 году (Salton, Allan і Buckley), а ў наступны год Каллан аналізав доказы на рэвэліме аблакаў. До 1997 году Кашкіель і Зобель выдалі працу «Passage Retrieval Revisited», таму гэтая тэма была настолькі старая, што патрабавалася ўточнэння. Іхні експерыменты з розмерам і сегментацыяй аблакаў паказалі, што простыя аблакі фіксаванага розмеру парадкава добра функцыонавалі, што ўсё тое самае, што і адна ноч працы з разбіюванням на часткі даходзіць да таго ж рэзультата, але з горшым методам.
TextTiling, створаны Марты Херстам там жа тым годам, встановляе межы там, дзе справжня тэма змініцца, і ігноруе колькіснае пісанне токенав. Сучасныя прадавцы «семантычнага разбіювання» перэпродаюць гэю ідэю, а сама базовая праца была напісана раней, чым большасць з іхніх заснавальнікаў пачала вжываць першыя камп’ютары.
Далей ідзе метод уявлення, які выглядае як сапраўдна савэцкая парадокс, якая адзначае людзей ад тых, хто выкарыстоўвае простыя ключавыя словы. Практыка прэдставлення дакументаў і запыткаў у вачэнні вектараў і ўзначэння ўсёга за дапамогою косай дзейны, якая існуе з 1975 года, калі Салтон, Вонг і Янг стварылі мадэль вектарнага прастору. Ідэя надаць дадатковага вагі рэдкім тэрмінам, якую сёння метод уявлення перадае праз сваія параметры, была запропанавана Карэн Спярк Джонс у 1972 году. А шаг, які зазвычай вважаецца сэрцам усьго — падбіранне за значэннем, а не за буквальнымі словамі, так што несувязанасць слоўніка больш не мае значэння, — гэта аналіз ляжачых сэмантыкаў, які быў опублікаваны Дырвестэром і яго колегамі у 1990 году з выкарыстоўванням методу SVD для матрыцы тэрмін-дакумент з мэтай адкрывання схованай структуры.
Замена SVD на трансфармер дазволіла багатым людзям стварыць вражэнне, што ідэя належыць ім. Трансфармер — гэта справжня апгрэйд-функцыя, а не толькі косметычная, таму што ён аналізуе кожнае слова на фоне слоў, якія яго абгрунтаваюць, чаго ніколі не мог бы зрабіць статычны вектар LSA. Основны прынцып застаўся незменным: значэнне мае вышэйшую прыорытэтнасць чым форма выражэння.
Фюзыя, перапісва запыткаў і перэранкіраванне
Гібрыдныя способы пошуку ў настоўчы час ўзялі на сябе праднае месца — у іхся лексычныя і іншы показнікі сумашчаюцца, і кожны адчувае ся розумным. Метод сумашчання, які вікорыстоўваецца ў Elasticsearch, OpenSearch, Weaviate і Azure AI Search, — гэта метод взаімнага злучэння рангаў, запрактыкованы Кормакам, Кларкам і Бютчэром на конферэнцыі SIGIR у 2009 годзе. Аднак у той статыцы ёсць дэталь, якая заслуговае на большую увагу: простае злучэння з вікорыстаннем сталяго значэння 60, якое ніколі не налаштоввалася, параджала сістэмам, якія былі навучаны для ранжавання. Неналаштаваная стандартная настройка параджала мадэлям, якія люды самі навучалі. Сумашчанне рэзультатаў з калькулятораў пошуку ўжо было стандартной практыкай у 1994 годзе, калі Фокс і Шоу для гэтага вікорыстоўвалі CombSUM і CombMNZ.
Перапісва запіту — гэта тады, калі кухоль з кафэю можа быць падставленаў з велікай сілой. У HyDE модэль стварае фальшывы дакумент з адпаведзю, і сістэма вбудоввае яго заместо запіту, выкладваючыся на тое, што правдападобная неправільная адпаведзь знаходзіцца бліжэй да правільных дакументаў, чым сам запіт. Гэта круты трук, і гэта таксама метод Rocchio з 1971 года.
Фідбек адэкватнасці Раччыя перасвайпвае вектар запіту ў напрамку дакументаў, які здаюцяся адпаведнымі, і даўжэй ад тых, якія такімі не ўзьяўляюцца. Псэўа-фідбек адпаведнасці Крофта і Харпера з 1979 года выканае той самы перасвайп без жаднага участку чалавека, проста прыпускаючы, што рэзультаты з высокім рангам дастаткова хорашы, каб з іх можна было навучыцца. Якшча адносіцца да гэтага падходу, HyDE ёсць нейральны псэўа-фідбек адпаведнасці — і ж самая тактыка, але рэалізаваная за дапамогою трансфармера чырвоныя гады пазней. У ўзорку ў гэтым артыкуле не цітуюцца працы Раччыя, што паказвае, што забыванне не обмежваецца толькі навучальнымі матэрыяламі і тэмамі форумаў, а іноды распрастраńваецца на самыя артыкулы.
У пакуальных работах таксама была названа прычына проблем, якія трапляюцца ў сістэмах у стылі HyDE пад час працы: «дрэйф запытку». Калі першыя рэзультаты ўжо некаліткія, ўдосконаленне запытку на адной з іх толькі пагаршвае сітуацыю, таму джэральнікі выкарыстоўвалі адзін раз фідбек і пасля таго перасталі гэта робіць. Агентныя цыклы ж павтараюць гэта знова і знова, і тады всі дзіваюцца, калі рэзультаты пачынаюць праблукаваць у некаляжаных направленнях.
Рэшты элементаў таксама паўтараюць той жа патэрн. Додаванне крос-кодэра-ранкера пасля першага этапу адналёгчэння, каб паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабавац
Ацэнка ў тым аспекце, дзе урок вызывае найбольшыя труднасці, таму што ёй паслужаюць найгоршыя падходы. Практыка заморажвання корпуса даных, напісання запітоў для тэстаў, збору ацэнак людзей ў чысці значэння і вікорыстання сістэм ацэнкавання па зв’язку з мерэжай — гэта парадыгма Cranfield, якая бачыла свет у робах Cleverdon і яго саавтараў у 1966 годзе. NIST расшырыў ёю свае методы з 1992 года, а Voorhees і Harman задокументавалі ў кнізе 2005 года. Метод агрэгавання, які дазволяе ацэніць рэзультаты без чытання всіх даных, а таксама значымыя показнікі, такія як MAP і nDCG, з’явіліся ў рэзультаце тых доследжэнняў дзесяткі гадоў тыму.
Тыповая „ацэнка“ для RAG — гэта мініяцюрная, не задокументаваная версія таго падходу. Не існуе ацэнак значэння, як суддзю выступае неперапрацаваны LLM, а тэставы набор складаецца з запітоў, якія вучыльна працавалі ўжо.
Класычныя методы IR маюць негатыўную назву для гэтага апошнага прыёму – выбір прыкладоў на адной з залежных змянных. Калі працэс ацэнкі будуе на запытках, якія, як вядома, даюць правільныя рэзультаты, то ўсё праходзіць гладка, але сістэма зазнае няудач у всіх тых віпадках, якія ніхто не падумаў перапрацаваць. Гэтыя няудачы атрыбутуецца пярэднем «галюцынацыяй», адтолькі што няма жадных інструментаў, якія б паказалі рэальную прычыну. Нават зманіпульаваны набор прыкладоў застаецца карысным, адтолькі што ён выявляе рэальныя проблэмы ў запытках, якія маюць значэнне для корыстувачаў, але ён нічога не сказвае пра тыя запыткі, якія ніхто не ставіў, і самэ гэтыя запыткі зазнаюць няудач у рэальных умовах. У фінансовых працэсах гэта траплялася з першым запыткам, які не ўхоўваўся ў набор – напрыклад, калі трэба было пераканацца, чыі показнік перавышае певны порог або чы якісь даты падпадаюць пад певны дыяпазон; гэта былі звычайныя фарматы фінансовых запыткаў, якія ніхто не тэставаў.
Цыфры важнейшыя для аргументацыі. Паглядзіце на гіпотэзу, што падвігла людзей на налагоджэнне розмера частак, калі ім трэба было працаваць з базовым варыянтом: што ў спецыяльных методах аналізу даных рэзультаты лепшыя за стандартны пошук за лексыкай. У даследжэнні BEIR, якое у 2021 году адбылася Тхакур і яго колегі, дзесяць сістэм было прымешана з адзіннадцяцьма наборамі даных, і былыя аднакова значныя рэзультаты, якія варта было б прадрукуваць у кожным рэпазітарыі тыпу RAG. Рэзультаты на тэрмінале навчання мало што сказваюць пра рэзультаты в іншых сцэнарыях. BM25 ахвотав за нейроннымі мадэлямі на семь-адзінаццаць пунктав на даных з таго ж домэна, але пасля таго, калі даныя сталаўся з іншага дыстрыбуцыя, ён перадраў большасць з іх. Найсільнейшы спецыяльны бі-кодэр выграў толькі на восьмі з адзіннадцяці набораў даных.
Нішавы корпус фінансавых дадзейнаў — гэта самэ спецыялізаваны, не належачы да стандартнага распадзелу матэрыял, пра які паветарае BEIR. Прыпуск, што метод dense все рава будзе лепшы, быў настолькі абсалютны, што ніхто не адрабатаваў лексычны базовы варыянт, нават па-працоўкі, якая яго рэкамендавала, была опублікована ўжо чатыры годы.
Патрэбныя застэрэжненні, адколькі граніцы продолжаюць перашырвацца. Дзеяныя комерчыя табелі лідэраў зараз паказваюць, што метод dense даходзіць да крашчых рэзультатаў, чым BM25, на 15–25 процэнтав у тэстах BEIR. Можліва, але гэтыя цыфры даўцы атрымліваюць за умов, якія самі выбралі, таму ўсе такія тэсты заслуговуюць на сумневы. Работы, пераглянутыя экспертамі, як і раней, выходзяць да простага, але правільнага вывару: BM25 — гэта сільны базовы метод, а гібрыдны варыянт — безпечны стандарт. Калі гэта змяніцца, гэта павінен паказаць хтось, у каго няма нічога, што трэба было бы праспаміцваць.
Адзін з сумнейшых і старэйшых звычакаў — гэта знішчэнне слабых базовых рэшэнняў і называнне гэтага рэзультата прыгоўорам. У стацыі Джыммі Ліна 2018 года з чароўным, раздражаючым заглавлём «The Neural Hype and Comparisons Against Weak Baselines» аргументавалася, што багатыя успехі нейральных методаў аднаўлення дакументаў былі на самае практыцы успехамі працы протыў настройкі BM25, якую ніхто не падзяліўся на належны спосаб настроіць. У далейшым даследжэнні 2019 года былі аналізаваны стацыі пра адну стандартную колекцыю тэстаў, і не было знайдзена ніякога адныяцягу ў эфектывнасці; найлепшыя опублікованыя показнікі былі за дзесяць гадоў, а нічога новага не могло ўжо парабіцца з імі. Таму, калі крэйтарыя тэсты RAG паказваюць, што векторы, выкарыстоўваныя для «пошуку па ключоўым слову», становяцца менш эфектывнымі, першым крокам павінна быць пераўтарка на настройку BM25. Найчымнейшым рэзультатам у гэй калярцы ёст тое, што эфектыўны стары метод праграе недбалай версіі сабе самога.
Пакаштаненне па пазіцыі, зноў адкрытыя
Пакшэнтныя падачы — гэта такія рэзультаты, якія здаюцца кумічнымі, але за неправым чынам. У даследжэнні „Lost in the Middle“ (Liu і саўецкія, 2023) мадэлі выкарыстоўвалі інфармацыю наякша, калі яна з’являлася на пачатку чы ў канцы кантэксту, а наякша — унутры, палягаючы на крывай у форме літэры U. Рэзультаты былі простыя. У задачах на адпаведзенне на запытанні з колькімасцю дзесяці чы трохцяці атрыманых дакументаў GPT-3.5-Turbo паспела гэтэй задачы гэрш, калі адпаведзенне знаходзілася унутры, чым яго 56,1 процэнта з рэзультатаў без адгляду на дакументы, таму адналежнае даданне з дакументаў пагоршыла сітуацыю, чым адпаведзенне на аснове памяці. У сінтэтычным тэсце найслабейшыя мадэлі паспелі гэтой задачы гэрш, чым на чацверцы процэнта, калі мета знаходзілася унутры вхідных дадзенняў, і крывая у форме літэры U была зафіксавана ў мадэлях GPT-4, Claude і кальколькі іншых адкрытых модэляў. Спецыялісты спрацавалі гэта як новыні пра экзотычную новую машыну.
У 2005 году Йоахімс і ягоўскія саавтары адрабаталі даследжэнне з відстэйкання погляду, якое б прабавіла з’ясавіць, як людзі чытаюць рэзультаты пошуку, ранжаваныя за значэннем, і адрабаталі яго знову у 2007 году. Увага людзей сфокусавалася на верхній частцы спісу, і корыстувальнікі продовжвалі клікаць на першыя лінкі, нават калі іншы, які знаходзіўся ніжэй, быў болей рэлевантным. У науковай літэратурэ гэта называецца падачай на довер’е. Парадак, у якім прыставляюцца доказы, вплывае на тое, як іх вікорыстоўваюць, незалежна ад таго, чы яны ўзагалі ўжыткавыя, і гэта было вядома пра людзей за адзіннаццаць гадоў да таго, калі хтось «знайшоў» гэтае явішча ў матэматычных мадэлях.
Паралель гэта непаштоўна, і стварэнне міфу пра ўсуненне розніцы ўскладніць рашэнне пра проблему, якая ужо крытыкуецца. Класычныя уперадзеўкі падаюць монотонна — яны найсільнейшыя ў верхній частыні і слабеюць ў напрамку ніжыней, тады калі эфект модэлі мае форму літэры U з мертвай зоны ў серэдзіне і падыскам у канцы заводзячыся з няўяроўна свежых дадзеных. Формы гэтыя разныя, нават якшо прычыны проблемы аднаковыя. Версія модэлі таксама нестабільна: пазнейшыя доследжэння, дзеякія з 2025 года, паказваюць, што штрафы ў серэдзіне зменшаюцца, калі даныя набліжаюцца да межы кантэксту, а не знікаюць цэлком. Гэта ўжо ўтроці прычына не вважаць «Lost in the Middle» за абовесны істочнік інформацыі. Што застаецца — гэта тэза пра тое, што парадакс спакалюе выкарыстанне дадзеных, а точная крывая ўстойчыва да змян, таму лепшая ўжо ведаць, як яе мерыць, чым проста запамячваць.
Дзе заканчываюцца старыя карты
Якшае паслуханне робіць працэс аналізу менш задовольняючым, але якшае ставленне толькі да фактовых даных прынесла бы розумны аналіз, што ў сушчыні ўсё равна ўсунула бся з правіл. Старыя карты адносна скора заканчываюцца, і самэ там, дзе яны перастаюць быць корыстнымі, мае вялікое значэнне.
Найглыбэйшыя проблемы стосуюцца таго, хто чы ў што аналізуе інфармацыю. Палову стагодзіны чалавек сканаваў спіс з рангаванням, таму значэнне інфармацыі значыла ўсё тое, што чалавек могаў разгледзець за мгненне. Цяпер аналіз вядзе алгорытм, і няўзабавныя даследжэнні чыста адзначаюць гэтыя змяны: гэта ўжо не пошук чалавека, а пошук ШЫ. Таму значэнне інфармацыі залежыць ад ўмов, у якіх яна працуе, і яго важка загадзя адначытаць.
Эя змянэ цэлкам перакідае старыя прыпускі. У стацыянцы SIGIR 2024 года, напісанай Куконасу і яго саавтараў пад назвай „Сіла шуму“, быў адбыты эксперымент. Адначак спакоюецца адна рэзультатацыя: дакументы з найвышымым балам у сістэмы адналокавання давалі гіршыя рэзультаты, калі яны былі блізкія па тэме, але не мелі адпаведнай адказы. Іншая рэзультатацыя ўражаючая: абыяковыя, несувязаныя дакументы паднімалі точнасць на 35 процэнтаў. У методэце Cranfield рэлевантнасць дакумента спакоювалася як самастоятня, аддытыўная власнасць. У падходзе RAG корыснасць фрагмента залежыць ад усяго іншага ў кантэксце і ад таго, як генератор яго спаўяжае. Базовая ейкавацыя рэлевантнасці змянілася, а большасць метрык усё яшчэ вылічвае пакойную ейкавацыю.
Іншы спосаб збою не мае класычнага прадку, таму што старыя сістэмы не маглі яго стварыць. Класычныя сістэмы інтэлектуальнага аналізу маглі даваць некалькі некорэктных рэзультатаў, але не маглі казаць брэху. Яны вярнулі дакументы, якія існавалі, і ніколі не пісалі паводлівых, абяцковых тэкстаў, якія бы проста заперачылі тыя дакументы. Аддакласнасць, тыяму, чы рэзультаты генераванняя тэкста даследжваюцца на адпаведнасць таму, што было знайдзена, являецца новым параметрам. Такія інструменты, як RAGAS, якія з’явіліся у 2023 годзе, меруюць тое, калі ўсё паканальне поле раней не мяло прычыны называць.
Агентныя методы адгаворкі ў частыні ўжо існуюць. Самыя пошуковыя запыты ёсць давялікімі. Разлік заключаецца ў модэлі, які разбівае запіт на частыні, стварае сабе падзапыты, чытае рэзультаты і корэктуе свой план, што стварае автонамны цыкл кантролю над звычайной адгаворкай. Гэты цыкл і ёсць інновацыяй. Праекты Khattabа DSP і DSPy ўсвідомлена падходзяць да гэтай проблемы, і гэта логічна, калі ўчаснікіях яныя людзі, якія добра разумеюць старэю літэратуру.
Таксыкацыю таксонаў таксама трэба перадумаць. nDCG, MAP і MRR ацэнююць спіс, упорадкованы па рангу, для чалавека, які яго чытае, але не вказываюць, чы ўжо гэта заканчоўны адпаведны адпаведзь правільны, повны і обосаваны. Проста застосавіць старыя показнікі без змян недастатнька.
Дзеярнікі досліджэнняяў яшчэ існуюць
Людзі, які створылі усё гэта, не пайшлі на пляж. Калькі з іх тых тыхо прыўлекаюць RAG да традыцыі ацэнкі, якую RAG два гады ігнараваў.
Джыммі Лін падтрымвае Anserini і Pyserini — інструменты, якія ператвараюць добра настроены БМ25 у адну команду, чым усунуцца выправданні наявнасцю слабых базовых методаў. Пасля крытычных статэйкаў пра „нейральны хайп“ ён у 2019 годзе опублікаваў статэю „The Neural Hype, Justified! A Recantation“, у якой прызнаў, што протыў сільных базовых методаў нейральныя методы эпахі BERT дасяглі прыбылей у умовах малых рэсурсаў. Ён казаў, што гэтая галоўна перэценена, апрацаваў болей сільныя доказы і змяніў свою думку, пры тым застаўшыся часткова правым ў паўтарэнні крытыкі. Такой стаўленне варта пераняць з обох бакоў: ветэраны павінны пераходзіць да новых рашэнняў, а новякі — чытаць старыя матэрыялы, каб разумець, што яны апдэйтуюць.
Бхаскар Мітра і Нік Красвелл у 2018 годзе напісалі вводны тэкст па тэму нейральных IR-модэляў, які ўпэўнена разместыў нейральныя модэлі ў рамках класычнай традыцыі і расследзіў BM25 як базовы метод, якому трэба пашанаў. З 2019 годзе яны керавалі секцыяй глыбокага навучэння TREC, ацэнюючы всю эпоху нейральных модэляў на адной купленай, можнаеўскай колекцыі дадзеных, якую Cranfield і TREC што дзесяць гадоў удосконалялі. Рэвалюцыю ацэнілі за дапамой старых інструментаў галузі, створаных самімаў тымі, хто іх стварыў, і яна была прынята. Строгасць ацэнкі была прыемлівая з самага пачатку, калі толькі хтось яе хацеў.
Эллен Вурхіс і Донна Харман рэдагавалі стандартны тэкст па адзынакоўванню TREC. Вурхіс гады праспялі, развучваючы проблему: суджэнні людзей пра значыцьце інфармацыі суперасходзяцца між сабой, і гэта якраз тая труднасць, з якой сталкаецца кожны, хто намагаецца заменіць людзях-ацэнавачоў на ШМ. Калі спільнатэка з інформацыяйным адзынакоўваннем расследавала гэты варыянт, яна практычна адстаўалася ад ідэі замены, а таксаваныя дактаранты паведамлялі, што гэта можа таямніча пашкадзіць науку. Даныя пілотных даследжэнняя паказалі, што суджэнні модэляў адпавядаюць суджэнням людзей з кэндалліўскім тау-коефіцыентам прыблізна 0,86. Гэта выглядае адрадна, але адна толькі корэляцыя нічога не паведамляе пра тое, дзе адны і другія не пагоджуюцца, а тыя неспакоўкі, якія маюць значэнне, стосуюцца дакументаў на межы, якія вяршаюць выбір паводлівага сістэмы.
Уж зараз існуе спецыяльны направленні для гэтага. У 2024 году NIST запусціў направленні TREC RAG з 301 тэмай на адной унікальнай колекцыі MS MARCO, якая налічвае 113 мільйонаа тэкстаў. Тыя, хто супакоўваецца, што ацэнка адбываецца за дапамогою pytest, должны розумець, сколькі працы трэба вклаць, каб стварыць надзеяны набор тэстаў. У гэтым направленні ацэнюецца ступень вярнага выявлення інформацыі, што прыносіць стары метод Voorheesа ў эпоху LLM, а таксама наявнасць цітатаў, якія пераканваюць у тым, што створаныя тверджэнні падтрымліваюцца выкарыстоўванымі тэкстамі. У 2025 году запыты зменіліся з короткіх рэчэнак з ключоўымі словамі на дзяўжыя, заплутаныя, багатасловяныя тэксты, якія больш прымыкаюць да рэальных запытанняў. Цяжкасці не прымусілі ўстанову прыпыніць сваю дзеяльнасць; усё-такі было створана новае направленні, у якое быў запрошаны метод RAG, што ўпорацоўваецца з прынцыпамі TREC.
Што змініцца, калі будзе чытвацца історыя
Адаптаванне тэксту не згінулася, і тэхналогія RAG не змяніла усяго. Кожны, хто распространяе такі версіі, заслуговае на падозру, адколі обеяе дозволяюць людзі ухіліцца ад працы. Правда ёсць меншай і болей корыстной. У галузі з’явілася выдаюшчаяся способнасць для аналізу адаптаванага тэксту, і ў спешцы было занедбана п’ятдэсят гадоў назбіраных знанняў пра тое, як правільна адаптаваць тэкст.
Гэтыя знанні можна знову адзёрваць у будзь-яй момант. Граф сацыянацый ёсць публічным, крытэрыяы ацэнкі таксама публічныя, а дзеярнікі жывыя і, за ўзнакамі, радасці прыймаюць, калі моладзі чалавек прыходзіць з адпаведным запытам.
Практычныя змяны зроблены навмысна нуднымі:
- Спачатку налаштаваецца базовы параметр BM25, а ўжо пасля — эмбеддынгі.
- Ствараюцца наборы для ацэнкі з тых запытанняў, якія вызываюць проблемы, а тые, якія вучыцца працаваць, праігнораваюцца.
Нічыя з гэтых методаў не дае таго адрозу, які дае налагоджэнне розмеру частак. Базовы варыянт, які, як спадзяваюцца, будзе выграў, не мае адрозу, які дае перапрацоўка новых рэшэнняў, і гэтыя втрачаныя адрозы маюць рэальную цэну. Гэта таксама раздзеляе тыя сістэмы, якія чыста працуюць, ад тых, якія не функцыонуюць з корпусам дадзеных, які ніхто не адзбіраў.
Колега, які спытваў пра BM25, не быў застаўленым. Ён отрымаў тую ж самую інфармацыю, як і всі іншые — версію, якая пачынаецца з 2020 года, без першых пяцідзесятых гадоў. Рашэннем ёсць знайсці відсутныя сторункі, і ўдачным моментам ёсць тое, што яны ніколі не былі загублены. Людзі проста перасталі іх чытаць.
Аднагочныя статыі, агрупаваныя
Чытанне хаця б адной з гэтых статыяў лепшая, чым прымканне да чужых слов.
Абрывкі, часткаванне і эмбеддынгі:
- Salton, Allan і Buckley (1993) працавалі працэю па выкарыстанні абрывків тэксту ў сістэмах з цэлым тэкстам, за калькі лет да таго, як у Інтэрнэтэ з’явіліся пошуковыя сістэмы.
- Callan (1994), „Passage-Level Evidence in Document Retrieval“ — у гэтай працэ былі параграфы і абрывкі фіксаванага розмеру у рэальной сістэме выкарыстання дакументаў. У стратэгіі „chunking“ існуе прадкурсор.
- Kaszkiel і Zobel (1997), „Passage Retrieval Revisited“ — у ўжо ўпорскай працэ эксперыменты з розмерам абрывкіў паказалі, што абрывкі фіксаванага розмеру ёсць эфектывнымі; такія рэзультаты можа знайсці будзь-якая сістэма ацэнкі, калі ёй даць такую можлівасць.
- Hearst (1997), „TextTiling“ — працэ, пры якой розглядалася разбівка тэксту, калі зменшываецца кантэкстная тэматыка. Кожны спосаб семантычнай разбівкі тэксту мае болей старыя апавядомленні.
- Salton, Wong і Yang (1975) — модэль векторнага прастору, у якой у 1975 годзе былі опісаны аперацыі, якія векторная база дадзеных выканае пад час запыту.
Фюзыя, зворотныя звязкі і перэранкіраванне:
- Cormack, Clarke і Büttcher (2009) разработалі метод фюзыі рангаў, які вікорыстоўваецца ў калькуляторах пошуку, і які з адной неналаштаванай сталяй 60 парадзіў за эфектывнасцю над трэнаванымі методамі.
- Fox і Shaw (1994) працавалі над аднараджэннем рэзультатаў шляхом сумавання рэзультатаў калькулятораў пошуку, пры чым методы CombSUM і CombMNZ ўжо тады былі стандартамі.
- Gao, Ma, Lin і Callan (2022) у сваёй працы HyDE практыкувалі метод стварэння «фальшывых» адпаведзей, які фактычна ўособлівае псевдо-зворатныя звязкі на адпаведнасць.
- Rocchio (1971) запрацоўваў першыя методы зворатных звязкаў, якія падкрэплялі запіты, керуючы іх у напрамку таго, што выглядала як адпаведнае.
- Croft і Harper (1979) – псэўа-фідбек прыналежнасці, які таксама называецца схылам запыткаў.
- Wang, Lin і Metzler (2011) – формальная модэль ранжыравання у фармаце каскаду, якая лежыць у основе практык BM25-then-cross-encoder.
- Burges і яго саавтары (2005) – RankNet, доказ таго, што ў 2005 годзе вялікая меры ранжыравання ужо мела працэздатны нейральны алгорытм.
Ацэнка:
- Cleverdon, Mills і Keen (1966) – Cranfield II, шэсцьдзесятгодовы шаблон корпуса, запыткаў, ацэнак і офлайн-ранжыравання.
- Voorhees і Harman (2005) – кніга з ацэнкі TREC, прызначаная для тэставання процэса выкарыстоўвання інформацыі без самадаўольства.
- Järvelin і Kekäläinen (2002) – паходжэнне показніка nDCG і аргументы яго вярнасці.
- Voorhees (2000) – пра тое, насколькі розлічаюцца думкі людзкіх суддзяў, і пра аднойчы проблему, якая стоіць за вікорыстоўванням суддзі на аднойчы базе LLM.
- Faggioli, Dietz, Clarke і іх саўецькія (2023) – аналіз вікорытання большых мовных модэляў для ацэнкі рэлевантнасці, з якога і выйшла паўтарка пра апасцерожнасць паўтарэння науковых рэзультатаў.
- Mitra і Craswell (2018) – введэнне ў нейральныя модэлі, якія практычна аднеслі іх да класычнай традыцыі.
- Craswell і іх саўецькія (2019) – аптака секцыі глыбокага навучэння на конферэнцыі TREC 2019.
Эмпірычныя рэзультаты:
- Thakur і іх саўецькія (2021), BEIR – доказы таго, што алгорытм BM25 перамагае большасць ўжо запрацоўваных модэляў у сцэнарыях з адміністрацыяй дадзеных.
- Lin (2018) і Yang, Lu, Yang і Lin (2019) – пра слабыя базовыя модэлі і відсутнасць адноснаўскага адзростання ў ўжытковасці тэхналогій.
- Lin (2019) – адміністрацыя пасля пачатковых выважанняў, калі крытык змяніў свою думку у публікацыі.
- Liu і іх саўецькія (2023, опублікована 2024) – „Загубленыя ў серэдзіне“.
- Йоахімс і ягоўскія саавтары (2005, з наступным доследжэннем у 2007 году) пра пераходы па ссылкі як неявную адзвеччанне і прычынаванне довер'я, якое гэта стварае.
- Веселі, Чыбане, Тонева і Коллер (2025) пра змяну позыцыйных уперадзейкаў, калі даныя набліжаюцца да межы кантэкстовага вікна.
Што справа прынесла новага:
- Куконасу і ягоўскія саавтары (2024), „Сіла шуму“, дзе адбыточныя, несувязаныя дакументы падвышылі точнасць.
- Ес, Джэймс, Эспіноса-Анке і Шоккаерт (2023), RAGAS – інструменты для адліквідавання адданасці.
- Хаттаб і ягоўскія саавтары (2022 і 2023), Demonstrate-Search-Predict і DSPy – серйозная версія агентнага адліквідавання.
- Раздзіл RAG на TREC 2024 у NIST, з 301 тэмай, 113 мільйонамі пасажоў, падтрымкай адліквідавання ключоўых фрагментоў і цітатаў.
Супаўзяленая літэратура
- Практычныя прытамулы: Чым яўляецца Retrieval-Augmented Generation (RAG)? Практычныя рэкамендацыі — Паследовы выклад кантэнту «Практычныя прытамулы: Чым яўляецца Retrieval-Augmented Generation (RAG)? Практычныя рэкамендацыі»: контракты, перакананні і шаблоны коду для команд, якія вікорыстоўваюць гэты падход.
- Ад прыгадкі наступнага токена да функцыональнага коду: Як ЛЛМ генеруюць код на Python — Паследовыя адказы на пытанні пра токены, функцыю softmax, параметр temperature, механізм самаўвагі і шары з падаючым сігналам; прыведзены прыклад паследовай сортавання даных і жорсткія абмежэнні, якія вынікаюць з працэсу прыгадкі.