Pięćdziesiąt lat badań nad wyszukiwaniem ukrytych w Twoim procesie RAG

Spirala dzielenia na fragmenty, która nic nie naprawiła

Wyobraź sobie budowanie procesu przetwarzania dokumentów dla klienta z sektora finansowego i spędzenie kilku bezsennych nocy na ustalaniu rozmiarów fragmentów. Proces zaczyna się od 256 tokenów, wzrasta do 512, potem do 1024, wraca do 512 z nakładaniem się o 64 tokeny i kończy się na 384 ze względu na rekomendację z forum. W notatniku znajduje się małe narzędzie do oceny, a w innych kartach działają dwa asystenci do rozmów. Jeden z nich jest pytany o strategię dzielenia na fragmenty, jakby był doświadczonym inżynierem, a jego odpowiedzi są sprawdzane pod kątem tego, co w tym miesiącu opublikowano w internecie. Praca przypomina eksplorację nowych terenów, a każdy etap kończy się zwycięzcą oraz wykresem.

Następnie korpus się powiększa. Im więcej dokumentów trafia do magazynu wektorowego, tym gorsza staje się funkcja wyszukiwania. To, co wydawało się precyzyjne na małej próbie, przy większej skali staje się niewyraźne i zwraca fragmenty znajdujące się blisko siebie w przestrzeni wektorowej, które w rzeczywistości są bezużyteczne. Naturalną reakcją jest bardziej skrupulatna regulacja procesu dzielenia na fragmenty, ponieważ to właśnie ten parametr wszyscy potrafią dostosować. Mijają dni, przy każdym uruchomieniu zmienia się jakiś parametr, a każda taka zmiana jest błędnie interpretowana jako postęp. Nic z tego nie dotyka rzeczywistego problemu.

Wtedy kolega z zespołu rzuci okiem na konfigurację i pyta, zupełnie bez ironii: „Co to jest BM25?”. Nie ma gotowej, klarownej odpowiedzi. BM25 jest starym rozwiązaniem i można go opisać jako coś w rodzaju „zwykłej wyszukiwarki według słów kluczowych” – czego wszyscy rzekomo już używają. W rzeczywistości pokazuje to, że całe to wysiłki polegają na uczestnictwie w pięćdziesięcioletniej dyskusji, bez poznania imion osób już obecnych w tym „pokoju”.

To jest wyznanie stojące za tym tekstem i ma ogólne zastosowanie. Prawie każdy krok w procesie „budowania RAG” ma już nazwę, a większość z tych nazw pochodzi z czasów sprzed pojawienia się osób, które sprzedają te pomysły wraz z prezentacjami. Ci sprzedawcy zazwyczaj również nie znają historii rozwoju tych technologii. Słowa „my” i „ten obszar” odnoszą się do praktyków w ogóle, a każdy z tych błędów jest powszechny.

Inni zauważyli ten wzorzec. Doświadczony inżynier wyszukiwania z Vespy napisał w 2024 roku, że hybrydowe procesy pozyskiwania i rankowania umożliwiają łączenie sygnałów z metod niezależnych, takich jak BM25, z zależnymi systemami rankowania opartymi na sieciach neuronowych. Pobieranie dokumentów w celu umieszczenia ich w promptzie to właśnie pozyskiwanie informacji, a ta praca wykracza daleko poza prosty wynik kosinusowy – obejmuje przepisywanie zapytań, fuzję danych, ponowne rankowanie oraz stopniowe pozyskiwanie informacji. Doświadczony inżynier zajmujący się relewnością wielokrotnie podkreślał podobną kwestię: wyszukiwanie nie umarło, po prostu przeniosło się w ukrycie i nadal cicho napędza świat.

Oba te spostrzeżenia są trafne, chociaż stwierdzenie „RAG to po prostu pozyskiwanie informacji” jest hasłem, a hasła nic nie kosztują. To, co zmienia nawyki pracy, to analiza uzyskanych wyników. Poniżej znajduje się mapa tych procesów, która nie zaczyna się od roku 2020 bez uwzględnienia poprzednich pięćdziesięciu lat.

Podział na fragmenty, embeddingi i znaczenie

Wszystko zaczęło się od dzielenia tekstu na fragmenty – właśnie stąd pochodzi to zakłopotanie. Podział dokumentów na części zamiast traktowania ich jako całości to pomysł istniejący od dziesięcioleci. W 1993 roku temat odzyskiwania fragmentów tekstu był już przedmiotem badań (Salton, Allan i Buckley), a rok później Callan przeanalizował dowody na poziomie poszczególnych fragmentów. Do 1997 roku Kaszkiel i Zobel opublikowali pracę „Passage Retrieval Revisited”, co oznaczało, że temat ten był na tyle stary, by wymagać ponownego rozpatrzenia. Ich eksperymenty dotyczące wielkości i segmentacji fragmentów wykazały, że proste fragmenty o stałej długości radziły sobie zaskakująco dobrze, co dokładnie odtwarza metoda analizy wielkości fragmentów po prostu innymi sposobami.

Technologia TextTiling, opracowana przez Martiego Hearsta w tym samym roku, określa granice tam, gdzie rzeczywiście zmienia się temat, ignorując przy tym liczbę tokenów. Dzisiejsi dostawcy usług „semantycznego dzielenia tekstu” odrabiają tę samą ideę, a oryginalna praca na ten temat powstała przed pierwszymi komputerami większości ich założycieli.

Następnie przychodzi embedding, który wydaje się prawdziwie nowoczesnym krokiem, który odróżnia ludzi od tych, którzy polegają na słowach kluczowych. Reprezentowanie dokumentów i zapytań jako wektorów oraz ich ocenianie za pomocą kosinusa sięga prac Saltona, Wonga i Yanga z 1975 roku, czyli modelu przestrzeni wektorowej. Nadawanie rzadszym terminom większej wagi – zadanie, które obecnie model embedding przejmuje do swoich parametrów – zostało zaproponowane przez Karen Spärck Jones w 1972 roku. A krokiem zwykle uważanym za sedno tego podejścia, polegającym na dopasowywaniu według znaczenia, a nie dosłownych słów, dzięki czemu braki w słownictwie przestają mieć znaczenie, jest analiza semantyczna latentna, opublikowana przez Deerwestera i współpracowników w 1990 roku przy użyciu SVD macierzy termin-dokument w celu ujawnienia ukrytej struktury.

Zastąpienie SVD modelem transformer pozwoliło wielu osobom twierdzić, że to one mają pomysł. Model transformer stanowi prawdziwe ulepszenie, a nie tylko kosmetyczną zmianę, ponieważ analizuje każde słowo w kontekście słów wokół niego, czego pojedynczy statyczny wektor LSA nigdy nie byłby w stanie zrobić. Zasada leżąca u podstaw pozostała niezmienna: znaczenie ma większe znaczenie niż forma powierzchowna.

Fuzja, przepisywanie zapytań i ponowna klasyfikacja

Hybrydowe wyszukiwanie jest obecnie najpopularniejszym rozwiązaniem – w nim łączy się oceny leksykalne z ocenami opartymi na intensywności danych, dzięki czemu wszyscy czują się mądrzy. Metoda łączenia tych ocen dostępna w Elasticsearch, OpenSearch, Weaviate oraz Azure AI Search to fuzja rankingu wzajemnego, zaproponowana przez Cormacka, Clarke’a i Büttchera na konferencji SIGIR w 2009 roku. Jeden szczegół z tego artykułu zasługuje na większą uwagę, niż otrzymuje: prosta fuzja wykorzystująca stałą wartość 60, która nigdy nie była dostosowywana, okazała się skuteczniejsza od wytrenowanych systemów do oceny rankingu, z którymi była porównywana. Niedostosowany standardowy model przewyższył modele wytrenowane przez ludzi. Łączenie wyników z kilku silników wyszukiwania było już standardową praktyką w 1994 roku, gdy Fox i Shaw użyli do tego metod CombSUM i CombMNZ.

Przepisywanie zapytań to sytuacja, w której kubek po kawie może zostać gwałtownie postawiony. W HyDE model tworzy fałszywy dokument z odpowiedzią, a system wstawia go w miejsce pytania, argumentując to tym, że prawdopodobna błędna odpowiedź znajduje się bliżej prawidłowych dokumentów niż samo pytanie. To sprytny trik, ale jest to również pomysł Rocchia z 1971 roku.

Feedback dotyczący istotności Rocchio przesuwa wektor zapytania w kierunku dokumentów, które wydają się istotne, i z dala od tych, które takie nie są. Pseudo-feedback dotyczący istotności opracowany przez Crofta i Harpera w 1979 roku dokonuje tego samego przesunięcia bez żadnego udziału człowieka, po prostu zakładając, że wyniki o najwyższej pozycji są na tyle dobre, by można było z nich czerpać wiedzę. Patrząc w ten sposób, HyDE jest neuronalnym pseudo-feedbackiem dotyczącym istotności – tą samą metodą zastosowaną za pomocą modeli typu transformer wiele lat później. W ich artykule nie ma odniesień do Rocchio, co pokazuje, że problem zapominania nie ogranicza się tylko do materiałów instruktażowych i tematów na forach, a czasami dotyczy nawet samych artykułów naukowych.

Wcześniejsze prace nadały również nazwę problemowi, który dręczy systemy w stylu HyDE w produkcji: dewiacji zapytania. Gdy najlepsze wyniki są słabe, rozszerzanie zapytania na podstawie tych wyników pogarsza sytuację, dlatego doświadczeni specjaliści przeprowadzali proces zwrotnego informowania tylko raz, a potem przestawali. Pętle agentowe powtarzają to w kółko, a potem wszyscy udają zaskoczenie, gdy proces wyszukiwania zboczy w niepowiązane rejony.

Pozostałe rozwiązania podążają za tym samym wzorcem. Dodanie ponownego rankera typu cross-encoder po pierwszym etapie wyszukiwania w celu uporządkowania najlepszych wyników stanowi dwuetapową kaskadę. Kaskadowe rankowanie zostało sformalizowane przez Wanga, Lina i Metzlera w 2011 roku, a RankNet dostarczył w 2005 roku neuronowego rankera do uczenia się rankowania. Proces, w którym najpierw stosuje się BM25, a następnie cross-encoder, wprowadzany kilka razy w ciągu jednego roku, to standardowa dwuetapowa kaskada pod inną nazwą.

Ewaluacja jest tym, co najbardziej sprawia problemy

Ocena to obszar, w którym lekcja sprawia największy ból, ponieważ jest w nim postępowane najgorzej. Praktyka zamrażania korpusu, tworzenia zapytań testowych, zbierania ludzkich ocen istotności oraz stosowania systemów oceniania offline to paradygmat Cranfield, pochodzący od Cleverdon i współpracowników z 1966 roku. NIST rozszerzył ten podejście począwszy od 1992 roku, a Voorhees i Harman udokumentowali je w książce z 2005 roku. Metoda agregacji, która umożliwia ocenę wyników bez czytania całej kolekcji, powstała w wyniku tych badań dziesięciolecia temu, podobnie jak takie miary jak MAP i nDCG.

Typowa „ocena” w systemach RAG to jej mały, nieudokumentowany odpowiednik. Nie ma żadnych ocen istotności, jako sędzia występuje niezweryfikowany model językowy, a zbiór testowy został po cichu stworzony na podstawie zapytań, które akurat już działały.

Klasyczny IR ma nieprzyjemną nazwę dla tego ostatniego nawyku: pobieranie próbek z zmiennej zależnej. Tworzenie oceny na podstawie zapytań, o których wiadomo, że dobrze działają, gwarantuje pozytywny wynik, natomiast system zawodzi przy wszystkim, czego nikt nie pomyślał o przetestowaniu. Te awarie są określane mianem „halucynacji”, ponieważ żaden instrument nie wskazuje na rzeczywistą przyczynę. Sposób ten ma jednak pewną wartość, ponieważ wykrywa rzeczywiste regresje w zapytaniach istotnych dla użytkowników, ale nic nie mówi o pytaniach, których nikt nie zadał, a to właśnie one zawodzą w warunkach rzeczywistego użytkowania. W procesach finansowych doszło do tego przy pierwszym pytaniu spoza ustalonego zestawu, takim jak wartość przekraczająca określony próg lub zakres dat – typowe formy zapytań finansowych, których nikt nie przetestował.

Liczby trudniej podważyć. Rozważmy założenie, że skłoniło to ludzi do dostosowywania rozmiarów fragmentów, podczas gdy powinni byli używać standardowego podejścia – mianowicie że gęste wyszukiwanie z reguły przewyższa wyszukiwanie leksykalne. Badanie BEIR przeprowadzone przez Thakura i współpracowników w 2021 roku porównało dziesięć systemów z osiemnastoma zbiorkami danych i dało wyniki wartymi umieszczenia w każdym repozytorium typu RAG. Wyniki na danych treningowych niewiele mówią o wydajności w innych warunkach. BM25 odstawał od modeli neuronowych o siedem do osiemnastu punktów na danych z tego samego domeny, ale przewyższał większość z nich, gdy dane pochodziły z innej dystrybucji. Najskuteczniejszy gęsty bi-encoder wygrał tylko na ośmiu z osiemnastu zbiorków danych.

Korpus finansów specjalistycznych to dokładnie ten wyspecjalizowany materiał poza zakresem rozpowszechnienia, przed którym ostrzega BEIR. Założenie, że metoda dense nadal będzie skuteczna, było tak całkowite, że nikt nie przeprowadził testu bazowego opartego na leksykonie, mimo że artykuł zalecający tę metodę był dostępny publicznie od czterech lat.

Należy zachować ostrożność, ponieważ granice ciągle się zmieniają. Niektóre komercyjne listy rankingowe pokazują teraz, że metoda dense przewyższa BM25 o piętnaście do dwudziestu pięciu procent w testach BEIR. Możliwe, ale te dane pochodzą od dostawców w warunkach przez nich wybranych, więc zasługują na wątpliwość, jaką należy żywić wobec każdego benchmarku przeprowadzanego przez jego sprzedawcę. Prace przeglądane przez ekspertów wciąż dochodzą do tej samej, nudnej, ale poprawnej konkluzji: BM25 to solidna baza, a hybryda to bezpieczny standard. Jeśli to się zmieni, powinien to pokazać ktoś, kto nie ma nic do sprzedania.

Bardziej smutnym, starszym nawykiem jest niszczenie słabych baz odniesienia i nazywanie tego wynikiem postępu. Artykuł Jimmy’ego Lina z 2018 roku, o uroczo zirytowującym tytule „The Neural Hype and Comparisons Against Weak Baselines”, argumentował, że wiele sukcesów metod neuronowych w wyszukiwaniu wynikało z pokonania konfiguracji BM25, której nikt nawet nie zadał sobie trudu, by ją dostosować. Badanie z 2019 roku, obejmujące lata publikacji na temat jednej standardowej kolekcji testów, nie wykazało żadnego wzrostu skuteczności; najlepsze dostępne wyniki pochodziły z dziesięciu lat temu, a żadne nowsze nie zbliżyły się do nich. Dlatego gdy benchmark RAG pokazuje, że wektory „wyszukiwania słów kluczowych” stają się mniej efektywne, pierwszym krokiem powinno być sprawdzenie konfiguracji BM25. Najczęstszym wynikiem w tej dziedzinie jest to, że skuteczna stara metoda przegrywa z niedbale skopiowaną wersją samej siebie.

Uprzedzenie pozycyjne, ponownie odkryte

Uprzedzenie pozycyjne to wynik, który jest zabawny w niewłaściwy sposób. W badaniu „Lost in the Middle” (Liu i współpracownicy, 2023) modele wykorzystywały informacje najlepiej, gdy znajdowały się na początku lub na końcu kontekstu, a najgorzej w jego środku, co dawało krzywą w kształcie litery U. Wyniki były dosyć jednoznaczne. W zadaniami typu odpowiedzi na pytania przy użyciu wielu dokumentów – dwudziestu lub trzydziestu odzyskanych dokumentów – model GPT-3.5-Turbo radził sobie gorzej, gdy odpowiedź znajdowała się w środku, w porównaniu z wynikiem 56,1 procenta uzyskanym przy pracy bez dostępu do materiałów, więc dodanie odzyskanego kontekstu pogorszyło jego wyniki w porównaniu do odpowiadania z pamięci. W syntetycznym teście najsłabsze modele osiągały mniej niż czterdzieści procent skuteczności, gdy cel znajdował się w środku danych wejściowych, a kształt litery U był widoczny zarówno u modeli GPT-4, Claude, jak i kilku innych modeli otwartych. Dziedzina ta potraktowała to jako wiadomość o nowym, egzotycznym urządzeniu.

Joachims i jego współpracownicy przeprowadzili w 2005 roku badanie z wykorzystaniem śledzenia wzroku na temat sposobu, w jaki ludzie czytają wyniki wyszukiwania uporządkowane według rangi, a w 2007 roku kontynuowali badania. Uwaga skupiała się na górze listy, a użytkownicy nadal klikali w pierwszy link, nawet gdy elementy znajdujące się niżej były bardziej istotne. W literaturze naukowej określa się to jako uprzedzenie polegające na zaufaniu. Kolejność, w której prezentowane są dowody, wpływa na to, w jaki sposób są one wykorzystywane, niezależnie od tego, czy są one przydatne, a fakt ten był znany od osiemnastu lat przed tym, jak ktokolwiek „odkrył” go w modelach.

Porównanie to nie jest doskonałe, a twierdzenie, że jest dokładne, doprowadziłoby do tego samego błędu, który krytykuje się. Klasyczny uprzedzenie pozycyjne ma charakter monotoniczny – jest największe na szczycie i maleje w dół listy, natomiast efekt modelu ma kształt litery U z martwą strefą pośrodku oraz wzrostem na końcu spowodowanym najnowszymi danymi. Kształty te różnią się, mimo że problematyka jest wspólna. Wersja modelu jest również niestabilna: późniejsze prace, niektóre z 2025 roku, pokazują, że kara pośrodkowa zmienia się, gdy dane zbliżają się do limitu kontekstu, zamiast zanikać. To kolejny powód, by nie traktować „Lost in the Middle” jako autorytetu. To, co pozostaje, to fakt, że uporządkowanie zniekształca użycie, a dokładna krzywa jest ciągle zmieniającym się celem, co przemawia za pomiarami zamiast memorowaniu.

Gdzie kończą się stare mapy

Ustępstwa sprawiają, że usunięcie jest mniej satysfakcjonujące, ale skupienie się wyłącznie na dowodach doprowadziłoby do sprytnego usunięcia, co jest formą długotrwałego błędu. Stare mapy rzeczywiście się wyczerpują, a miejsca, w których zawodzą, są najważniejsze.

Najgłębszy problem dotyczy tego, kto lub co dokonuje analizy. Przez pół wieku osoba przeglądała uporządkowaną listę, więc istotność oznaczała to, co człowiek mógł ocenić na pierwszy rzut oka. Teraz analizę wykonuje generator, a najnowsze badania jasno wskazują na tę zmianę: chodzi tu o wyszukiwanie przez sztuczną inteligencję, a nie przez człowieka. Dlatego istotność zależy od środowiska, w którym funkcjonuje AI, i trudno ją z góry określić.

Zmiana ta całkowicie obala stare założenia. W artykule z 2024 roku opublikowanym w SIGIR przez Cuconasu i współpracowników pod tytułem „The Power of Noise” przeprowadzono ten eksperyment. Oczekiwany był jeden wynik: dokumenty o najwyższych ocenach przez system wyszukiwania dawały gorsze rezultaty, gdy były blisko siebie tematycznie, ale nie zawierały odpowiedzi. Drugi wynik był zaskakujący – losowe, niespowiązane dokumenty zwiększały dokładność o aż trzydzieści pięć procent. Cranfield traktował istotność dokumentu jako jego własną, niezależną i dodatnią cechę. W RAG użyteczność fragmentu zależy od wszystkiego innego w kontekście oraz od tego, w jaki sposób generator go łączy. Podstawowa jednostka istotności uległa zmianie, a większość metryk nadal uwzględnia poprzednią jednostkę.

Kolejny tryb awarii nie ma klasycznego poprzednika, ponieważ stare systemy nie były w stanie go spowodować. Klasyczne systemy IR mogły dawać słabe wyniki, ale nie mogły kłamać – zwracały dokumenty, które rzeczywiście istniały, i nigdy nie tworzyły płynnego, pewnego siebie akapitu, który wprost zaprzeczałby tym dokumentom. Wierność, czyli to, czy wygenerowany tekst rzeczywiście jest poparty tym, co zostało odzyskane, stanowi nowy wymiar. Narzędzia takie jak RAGAS, które pojawiły się w 2023 roku, mierzą coś, co cała wcześniejsza dziedzina nigdy nie musiała nazywać.

Agentic retrieval jest tylko częściowo nowym rozwiązaniem. Sam proces wyszukiwania istnieje od dawna. Różnica polega na modelu, który dzieli pytanie na części, wysyła własne podzapytania, analizuje wyniki i koryguje swój plan – co stanowi autonomiczny cykl sterowania w ramach zwykłej procedury wyszukiwania. To właśnie ten cykl stanowi innowację. Projekty DSP i DSPy autorstwa Khattaba to poważne podejście do tego tematu, a pasuje do tego, że pochodzą one od osoby biegle znającej starszą literaturę.

Strona oceny również wymaga przemyślenia. Metryki takie jak nDCG, MAP i MRR oceniają uporządkowaną listę dla osoby, która ją przegląda, ale nie mówią nic o tym, czy ostatecznie wygenerowana odpowiedź jest poprawna, kompletna i uzasadniona. Bez zmian importowanie starych metryk nie rozwiązuje problemu.

Naukowcy wciąż działają

Ludzie, którzy to wszystko stworzyli, nie przeszli na emeryturę nad morzem. Kilku z nich cicho integruje RAG z tradycją ocen, którą RAG przez dwa lata ignorował.

Jimmy Lin utrzymuje projekty Anserini i Pyserini – narzędzia, które redukują dobrze dostrojony BM25 do jednego polecenia, co eliminuje wymówkę słabej bazy porównawczej. Po publikacji drażniących artykułów o „hype’ie neuronalnym” w 2019 roku napisał „The Neural Hype, Justified! A Recantation”, przyznając, że wobec silnych baz porównawczych metody neuronalne z ery BERT rzeczywiście przynosiły korzyści w środowiskach o ograniczonych zasobach. Twierdził wcześniej, że ten obszar jest przesadnie promowany, przeanalizował mocniejsze dowody i wycofał swoje twierdzenia w druku, choć nadal miał częściowo rację co do tego hype’u. Takie podejście warto przyjąć z obu stron – doświadczeni eksperci powinni przyjrzeć się nowym pracom, a nowicjusze powinni zapoznać się z wcześniejszymi opracowaniami, aby zrozumieć, co aktualizują.

Bhaskar Mitra i Nick Craswell napisali w 2018 roku podstawowy przewodnik po sieciach neuronowych w dziedzinie IR, który umieścił modele neuronowe w ramach klasycznej tradycji i potraktował BM25 jako punkt odniesienia zasługujący na szacunek. Od 2019 roku kierowali sekcją Deep Learning na TREC, oceniając całą erę sieci neuronowych na podstawie zbiorów danych, które Cranfield i TREC doskonaliły od dziesięcioleci. Ta rewolucja była oceniana za pomocą starych narzędzi z tej dziedziny, przez tych, którzy je stworzyli, i odniosła sukces. Rygorystyczne standardy były przenośne od samego początku, jeśli ktoś ich potrzebował.

Ellen Voorhees i Donna Harman redagowały podstawowy przewodnik dotyczący oceny w ramach TREC. Voorhees poświęciła lata badaniu istotnego problemu: oceny istotności dokonywane przez ludzi są ze sobą sprzeczne, co stanowi właśnie trudność, z którą boryka się każdy próbujący zastąpić ludzkich oceniaczy modelami językowymi. Gdy społeczność zajmująca się informacją naukową rozważała taką zamianę, przedstawiała argumenty w publikacjach prasowych, a także ostrzegała badaczy, że może to potajemnie zaszkodzić nauce. Dane z projektów pilotażowych pokazały, że oceny modeli dobrze odpowiadały ocenom ludzi, przy współczynniku Kendalla tau wynoszącym około 0,86. Wydaje się to pocieszające, ale ta korelacja nic nie mówi o miejscach, w których obie grupy się różnią, a to właśnie te spory decydują o systemie zwycięskim – chodzi tu o dokumenty o niejednoznacznej wartości.

Obecnie istnieje specjalna kategoria dla tego tematu. W 2024 roku NIST uruchomił kategorię TREC RAG obejmującą 301 tematów w oparciu o usuniętą z duplikatami kolekcję MS MARCO zawierającą 113 milionów fragmentów tekstu. Ci, którzy postrzegają ocenę jako uruchamianie skryptu pytest, powinni przyjrzeć się żmudnej pracy potrzebnej do stworzenia zestawu testowego godnego zaufania. W tej kategorii oceniane są zdolności do odnajdywania istotnych informacji, co przywraca stary metod Voorheesa do ery modeli językowych wielkich modeli, oraz wsparcie cytacyjne, które sprawdza, czy generowane twierdzenia są poparte odnalezionymi fragmentami tekstu. W 2025 roku zapytania przeszły od krótkich ciągów słów kluczowych do długich, złożonych narracji składających się z kilku zdań, co bardziej odpowiada rzeczywistym pytaniom. Ten system nie zniknął – utworzono nową kategorię i włączono technologię RAG, co jest typowym ruchem TREC.

Co zmienia się, gdy czyta się historię

Wyszukiwanie informacji nie umarło, a RAG nie zmieniło wszystkiego. Każdy, kto propaguje jedną z tych tez, zasługuje na podejrzenie, ponieważ obie pozwalają uniknąć pracy. Prawda jest prostsza i bardziej przydatna. W tym obszarze pojawił się niezwykły sposób na przetwarzanie znalezionych tekstów, a w pośpiechu porzucono pięćdziesiąt lat zdobytej wiedzy na temat skutecznego ich wyszukiwania.

Tę wiedzę można odzyskać w każdym momencie. Graf cytatów jest publiczny, metryki również, a badacze, jak to przystało na ludzi, są miło zaskoczeni, gdy ktoś młodszy zadaje im dobrze przygotowane pytanie.

Praktyczne zmiany są celowo nudne:

• Należy najpierw dostosować bazę BM25, zanim zacznie się pracować z embeddingami.
• Należy tworzyć zestawy do oceny na podstawie zapytań, które sprawiają problemy, pomijając te, które już działają poprawnie.

Traktuj sekcję dotyczącą prac pokrewnych jako miejsce, w którym dane przechowują swoją „pamięć”, i śledź cytaty wstecz, aż się skończą.

Żadne z tych rozwiązań nie daje tego podniecenia, jakie towarzyszy dostosowywaniu rozmiaru fragmentów danych. Bazowa wersja, od której oczekuje się zwycięstwa, pozbawiona jest emocji związanych z ponownym ustalaniem nowych standardów, a brak tego entuzjazmu ma rzeczywiste konsekwencje. Ponadto oddziela to rozwiązania, które dobrze funkcjonują przy standardowych zbiorkach danych, od tych, które sprawdzają się tylko na korpusach, których nikt nie przetworzył.

Kolega, który pytał o BM25, wcale nie był przestarzały. Otrzymał tę samą wersję danych co wszyscy inni – wersję rozpoczynającą się od roku 2020, bez pierwszych pięćdziesięciu lat. Rozwiązaniem jest odnalezienie brakujących stron, a szczęśliwym faktem jest to, że one nigdy nie zaginęły; ludzie po prostu przestali je czytać.

Oryginalne artykuły, pogrupowane

Czytanie przynajmniej jednego z nich jest lepsze niż poleganie na słowach innych.

Urywki, dzielenie na fragmenty i wektory reprezentacji:

• Salton, Allan i Buckley (1993) na temat wyszukiwania fragmentów w systemach pełnotekstowych, wiele lat przed tym, jak internet posiadał silnik wyszukiwania.
• Callan (1994), „Passage-Level Evidence in Document Retrieval”, w którym porównano akapity oraz fragmenty o stałej długości w rzeczywistym systemie wyszukiwania. „Strategia dzielenia na kawałki” ma swojego poprzednika.
• Kaszkiel i Zobel (1997), „Passage Retrieval Revisited”, których eksperymenty dotyczące wielkości fragmentów wykazały skuteczność fragmentów o stałej długości – wynik, który każdy narzędzie oceny odkryje ponownie, jeśli będzie mu to dozwolone.
• Hearst (1997), „TextTiling”, dotyczący dzielenia tekstu w miejscach zmiany podtematu. Każdy sposób semantycznego dzielenia na kawałki ma starsze źródło cytatu.
• Salton, Wong i Yang (1975), model przestrzeni wektorowej, który w 1975 roku opisali operacje wykonywane przez bazę danych wektorowych podczas wyszukiwania.

Spärck Jones (1972) na temat specyfiki terminów oraz pochodzenia idf, które obecnie modele embeddingowe uczą się bez żadnych kosztów.

Deerwester i współpracownicy (1990), „Indexing by Latent Semantic Analysis” – ich metoda SVD na macierzy termin-dokument jest tym, co wiele osób uważa za swój wynalazek z 2020 roku.

Fuzja, sprzężenie zwrotne i ponowna klasyfikacja:

• Cormack, Clarke i Büttcher (2009) – fuzja rankingu wzajemnego, metoda wyszukiwania hybrydowego stosowana w kilku głównych systemach wyszukiwania, z niedostrojoną stałą 60, która przewyższała efektywność metod wytrenowanych.
• Fox i Shaw (1994) – łączenie kilku zapytań, przy czym CombSUM i CombMNZ były już wtedy powszechnie używane.
• Gao, Ma, Lin i Callan (2022) – artykuł HyDE, elegancki trik z fałszywymi odpowiedziami, który w istocie stanowi neuronowe pseudo-sprzężenie zwrotne oparte na powiązaniach.
• Rocchio (1971) – pierwotna metoda sprzężenia zwrotnego oparta na powiązaniach, mająca na celu skierowanie zapytania w stronę elementów wydających się istotne.
• Croft i Harper (1979) – pseudo-feedback powiązany z istotnością zapytań, nazywany również driftem zapytań.
• Wang, Lin i Metzler (2011) – formalny model rankingu kaskadowego stanowiący podstawę pipeline’ów BM25-then-cross-encoder.
• Burges i współpracownicy (2005) – RankNet, dowód na to, że w 2005 roku istniał już skuteczny neuronowy mechanizm rankowania.

Ocena:

• Cleverdon, Mills i Keen (1966) – Cranfield II, sześćdziesięcioletnia baza do testowania korpusów, zapytań, ocen i ocen offline.
• Voorhees i Harman (2005) – książka o ocenie w TREC, dotycząca testowania systemów wyszukiwania bez oszukiwania samego siebie.
• Järvelin i Kekäläinen (2002) – pochodzenie metryki nDCG oraz uzasadnienie jej stosowania.
• Voorhees (2000) – informacje na temat stopnia niezgody ludzkich sędziów oraz dokładny problem związaný z zastąpieniem ich sędzią opartym na modelu językowym.
• Faggioli, Dietz, Clarke i współpracownicy (2023), perspektywy dotyczące wykorzystania modeli językowych do oceny trafności, skąd pochodzi ostrzeżenie o zniekształcaniu nauki.
• Mitra i Craswell (2018), wprowadzenie do modeli neuronowych w kontekście badań informacyjnych, które umieszczają modele neuronowe w ramach tradycji klasycznej.
• Craswell i współpracownicy (2019), przegląd dziedziny uczenia głębokiego na TREC 2019.

Wyniki empiryczne:

• Thakur i współpracownicy (2021), BEIR – wyniki pokazujące, że BM25 przewyższa większość modeli gęstych w warunkach poza rozkładem danych.
• Lin (2018) oraz Yang, Lu, Yang i Lin (2019) na temat słabych bazowych rozwiązań i braku wzrostowej tendencji w skuteczności.
• Lin (2019), wycofanie się z wcześniejszych twierdzeń – krytyk zmieniający zdanie w publikacji.
• Liu i współpracownicy (2023, opublikowane w 2024), „Lost in the Middle”.
• Joachims i współpracownicy (2005, z dodatkowymi badaniami z 2007 roku), na temat kliknięć jako ukrytej informacji zwrotnej oraz uprzedzeń związanych z zaufaniem, które one ujawniają.
• Veseli, Chibane, Toneva i Koller (2025), na temat zmian uprzedzeń pozycyjnych w miarę zbliżania się danych do limitu okna kontekstowego.

Co jest naprawdę nowe:

• Cuconasu i współpracownicy (2024), „The Power of Noise”, w którym losowe, niespowiązane dokumenty poprawiły dokładność wyników.
• Es, James, Espinosa-Anke i Schockaert (2023), RAGAS – narzędzie do pomiaru wierności wyników.
• Khattab i współpracownicy (2022 i 2023), Demonstrate-Search-Predict i DSPy – zaawansowana wersja mechanizmów wyszukiwania opartych na agentach.
• Wyniki konkursu TREC 2024 w dziedzinie RAG organizowanego przez NIST, obejmujące 301 tematów, 113 milionów fragmentów tekstu, funkcję odzyskiwania istotnych informacji oraz wsparcie dla cytowań.

Literatura pokrewna

• Praktyczne notatki: Co to jest generacja wzmacniana wykorzystaniem danych (RAG)? Praktyczny przewodnik — Szczegółowy opis Praktycznych notatek: Co to jest generacja wzmacniana wykorzystaniem danych (RAG)? Praktyczny przewodnik: umowy, sprawdzenia oraz gotowe elementy kodu dla zespołów wdrażających ten model.
• Od przewidywania następnego tokena do działającego kodu: Jak LLM-y generują kod w Pythonie — Tokeny, funkcja softmax, temperatura, mechanizm samoudziału oraz warstwy feed-forward wyjaśnione w kolejności, wraz z przykładem sortowania krok po kroku oraz ograniczeniami wynikającymi z procesu przewidywania.

Audyt potwierdzeń zamówień, których agent nigdy nie składał: sprawdzanie wartości zamiast sformułowań — Jak stworzyć walidator spójności klaimów dla agenta obsługi klienta, który składa rzeczywiste zamówienia: dzielenie wyników według właściciela, weryfikacja identyfikatorów na podstawie wyników narzędzia.