Strona główna / Artykuły

Dlaczego RAG pomija stronę zawierającą odpowiedź: chleb, drożdże i wektory

Szukanie podobieństw w RAG może zwrócić strony na odpowiedni temat, a mimo to pominąć tę z odpowiedzią. Dlaczego tabele i metoda top-k pogarszają sytuację oraz co należy sprawdzić najpierw.

Wydawca: REACTAPP.TOP7 min czytania1695 słów

Źródła: RAG Doesn’t Retrieve What You Think It Retrieves

Wyobraź sobie bochenek chleba, który wychodzi z pieca płaski i gęsty. Pytasz asystenta AI, który przetworzył całą twoją książkę kucharską, dlaczego tak się stało. Odpowiedź przychodzi natychmiast, z pełną pewnością siebie: sprawdź technikę wyrabiania ciasta, sprawdź temperaturę w piekarniku. Wszystko, co mówi, dotyczy chleba, ale nic z tego nie jest prawdą.

Książka kucharska rzeczywiście zawierała odpowiedź. Na stronie zatytułowanej „Aktywowanie drożdży” napisano, że woda o temperaturze wyższej niż około 50°C zabija drożdże. Woda była zbyt gorąca, drożdże umarły, nic się nie podniosło, a bochenek pozostał płaski. Ta strona nigdy nie została otwarta. Powód ten warto zrozumieć, ponieważ to samo dzieje się w tle w wielu systemach AI firm.

Jak działają te systemy

Tą techniką jest generowanie wzbogacone o wyszukiwanie, czyli RAG. Model nie może zapamiętać wszystkich twoich dokumentów, więc system pobiera odpowiednie fragmenty i pozwala modelowi je przeczytać przed udzieleniem odpowiedzi.

Później ma znaczenie jeden szczegół. System nie przechowuje całych dokumentów. Dzieli je na fragmenty składające się z kilkuset słów, zwane kawałkami, i przeprowadza w nich wyszukiwanie. W książce kucharskiej kawałek to mniej więcej jedna strona.

Przydatnym porównaniem jest bibliotekarz pracujący z ekspertem. Twoje pytanie trafia do bibliotekarza, który przechodzi po półkach, zbiera kilka stron, które wydają się istotne dla tematu, i przekazuje je przez szczelinę ekspertowi zamkniętemu w pomieszczeniu. Ten ekspert może korzystać tylko z tych stron i nie ma możliwości poproszenia o więcej.

Ile stron jest przekazywanych? Zazwyczaj pięć jako standard, jak w Amazon Bedrock Knowledge Bases i Azure OpenAI On Your Data, natomiast LangChain zaczyna od czterech. Zwiększenie tej liczby to pierwsze rozwiązanie, do którego uciekają większość ludzi. Każda platforma używa innej nazwy dla tego parametru: numberOfResults w Bedrock, topNDocuments w Azure OpenAI On Your Data, a k w LangChain oraz w samym Azure AI Search. Wszystkie one oznaczają, ile fragmentów model ma możliwość przeczytania.

Gdy bibliotekarz dokona dobrego wyboru, ekspert wydaje się genialny. Gdy wybór jest słaby, ekspert nie informuje, że strony są błędne. Mimo to odpowiada płynnie, z pewnością siebie – ale błędnie.

Jak bibliotekarz dokonuje wyboru

Wszystko inne wynika z tego kroku. System przekształca każdy fragment w listę liczb opisujących jego treść i robi to samo z Twoim pytaniem. Następnie zwraca fragmenty, których liczby są najbliższe liczbom pytania.

Ciągle pojawiają się dwa nazwy. Lista liczb fragmentu nazywana jest embeddingiem, a miarą bliskości jest podobieństwo kosinowe. Możesz pominąć szczegóły matematyczne, ponieważ chodzi po prostu o to, na jak bliski jest sens dwóch rzeczy.

Błąd jest widoczny w samym mechanizmie

Wyobraź sobie każdy fragment jako strzałę skierowaną w pewnym kierunku. Wynik podobieństwa odzwierciedla kąt pomiędzy dwiema strzałami: mały kąt wskazuje na podobieństwo, duży – na brak związku. Ponieważ wzór uwzględnia długość każdej strzały, zachowuje się tylko jej kierunek. Siła, precyzja i akcenty są całkowicie tracione.

Można pokazać konsekwencje tego w ciągu około minuty. Weź pary zdań, które różnią się jednym słowem, przy czym to słowo zawiera całą instrukcję, na przykład „rób” w porównaniu z „nie rób”. Na pierwszy rzut oka każda para wygląda niemal identycznie. Jeśli system wybierze niewłaściwy element pary, ostateczna odpowiedź nie będzie niejasna – będzie całkowicie błędna.

Zrób szybką weryfikację własnych materiałów, zanim poleżysz na systemie. Wybierz dwa zdania, które różnią się tylko negacją, numerem wersji lub progiem, włącz je do testu i porównaj wyniki. To przekonuje lepiej niż jakikolwiek opublikowany benchmark, ponieważ wykorzystuje twoje własne korpusy tekstowe.

Sprawiedliwie mówiąc, ten podejście nie polega na dopasowywaniu słów kluczowych. Porównuje się znaczenie, więc synonimy nie stanowią problemu: jeśli zadasz pytanie o samochód, system znajdzie teksty o pojazdach mechanicznych. Ludzie często zakładają, że lepsze sformułowanie jest rozwiązaniem, ale problem nie leży w samym sformułowaniu.

Wynik mierzy to, czy dany fragment dotyczy tego samego tematu co pytanie. Nie mierzy natomiast tego, czy fragment zawiera odpowiedź. Przez większość czasu oba te elementy pokrywają się i nikt tego nie zauważa. Pytanie o to, kiedy zbudowano Wieżę Eiffla, można odpowiedzieć fragmentem o Wieży Eiffla, co jest proste.

A teraz wróćmy do chleba.

Gdy odpowiedź znajduje się w innym temacie

Pytanie dotyczy chleba. Strona z odpowiedzią dotyczy drożdży. To są różne tematy, a nie różne określenia tego samego tematu, więc sprytny sformułowanie nie może ich połączyć. To, co je łączy, to sekwencja przyczynowo-skutkowa:

woda zbyt gorąca, drożdże umierają, brak gazu, brak wyrastania, płaski chleb

Doświadczony piekarz porusza tę sekwencję bez żadnych zastanowień. Szukanie podobieństw w ogóle nie może jej przekroczyć, ponieważ takie przekroczenie wymaga rozumowania, a szukanie mierzy jedynie bliskość.

Sytuacja się pogarsza. Zadałeś to pytanie właśnie dlatego, że nie znalaś przyczyny. Gdybyś wiedział, że trzeba sprawdzić temperaturę drożdży, nie byłoby potrzeby pytać. Te systemy są przydatne tylko w przypadku pytań, na które można było samodzielnie odpowiedzieć.

Dlaczego pobieranie większej liczby stron pomaga tylko trochę

Zwiększenie ustawienia z pięciu do pięćdziesięciu wydaje się oczywistym rozwiązaniem, a strona o drożdżach może teraz zostać zebrana. Jednak ranking się nie zmienił. Strona pozostaje niewidoczna, ponieważ nadal dotyczy innego tematu. Sieć jest szersza, więc się nadziejasz.

Istnieje też koszt: więcej tekstu oznacza wyższe koszty, wolniejsze odpowiedzi oraz dodatkowy, niemal powiązany materiał, który zasłania to, co model czyta, co, jak pokazano poniżej, aktywnie pogarsza wyniki.

Tabele giną jeszcze przed rozpoczęciem wyszukiwania

Druga strata występuje wcześniej, podczas przetwarzania dokumentów. Zanim można cokolwiek wyszukać, dokument jest przekształcany w zwykły tekst. Proza przetrwa tę konwersję, natomiast struktura często nie.

Wyobraźmy sobie tabelę przedstawiającą czasy korekty, z jedną kolumną na każdy rodzaj chleba. Po przekształceniu w tekst liczby pozostają, ale kolumny znikają. Jeśli zapytamy, ile czasu potrzebuje żyto, przechowywany tekst nie zawiera żadnego powiązania pomiędzy wartością 45 minut a żytem w porównaniu z chlebem pszenno-żytnim. Tylko kolumny tabeli wyrażały to połączenie, a one nie przetrwały konwersji. Dlatego spłaszczona tabela może dostarczyć modelowi jedynie listę liczby i nazw bez żadnego kontekstu.

Książka kucharska radzi sobie z tym bez problemu. Inaczej jest z kartą specyfikacji, tabelą cen, macierzą kompatybilności czy dokumentacją konfiguracji, ponieważ w tych dokumentach znaczenie leży w układzie, a nie w zdaniach.

Oba duże serwisy oferują teraz lepsze mechanizmy analizy: Bedrock posiada parser oparty na modelu podstawowym, a Azure wykorzystuje funkcję wyodrębniania struktury w Document Intelligence. Są one bardzo pomocne, ale nie eliminują problemu, a także nie są dostępne domyślnie.

Dowody ilościowe

Test wydajności o nazwie BRIGHT skupia się na zadaniach, w których to rozumowanie, a nie dopasowanie tematyczne, pomaga znaleźć właściwy dokument. Modele wyszukiwania, które osiągają około 59 punktów na 100 przy zwykłych zapytaniach, spadają do około 18 punktów przy tych zadaniach. Jedyne, co się zmienia, to rodzaj pytania. Większa moc obliczeniowa również im nie pomaga: spośród trzynastu przetestowanych modeli najlepszy wynik w trudnym zestawie wyniósł 24 punkty.

Najniebezpieczniejsza część

Gdyby system odpowiadał „nic nie znaleziono”, byłoby to niewielkie utrapienie. Nigdy tak nie robi. Silnik wyszukiwania sortuje wyniki według stopnia pokrewieństwa i nie odrzuca żadnego z nich. Nawet gdy w dokumentach brakuje odpowiedzi, nadal otrzymuje się wyniki wyglądające dokładnie tak, jakby poszukiwania się udały, a nie istnieje żaden progu, przy którym system przyznałby, że nie znalazł nic przydatnego.

Praca przedstawiona na ICLR 2025 badała ten problem. Gdy model otrzymywał materiały powiązane, które w rzeczywistości nie zawierały odpowiedzi, jego błędne odpowiedzi wzrosły z około 10% do 66%, co jest gorsze niż brak jakichkolwiek odpowiedzi. Modele te stały się również wyraźnie mniej skłonne do przyznania, że nie wiedzą.

Materiał, który jest częściowo istotny, wyrządza większą szkodę niż żaden, ponieważ budzi fałszywe poczucie pewności. Tani chleb jest łatwy do zaakceptowania. Ten sam błąd w przeglądzie zgodności, pytaniu medycznym lub wyborze architektury nie jest taki łatwy do zaakceptowania, i dlatego ta nieudana próba zasługuje na uwagę.

Co robić

Pomagają trzy kroki, mniej więcej według kolejności efektywności:

  • Używaj realistycznych pytań. Zespoły zazwyczaj testują za pomocą zapytań napisanych przez autorów dokumentów, używając ich własnych słów. Poproś kolegów, którzy nie czytali materiału, aby napisali pytania zamiast nich – wtedy słabe punkty szybko się ujawnią.
  • Mierz efektywność wyszukiwania oddzielnie. Zanim ocenisz, czy odpowiedź była dobra, sprawdź, czy w ogóle pojawił się odpowiedni fragment tekstu. Jeśli nie, dostosowanie modelu nie pomoże, ponieważ naprawia się niewłaściwa część systemu.
  • Niech system szuka więcej niż raz. Trwałym rozwiązaniem jest sztuczna inteligencja, która szuka, czyta wyniki, rozpoznaje, że nie są one wystarczające, i szuka ponownie przy użyciu lepszych słów kluczowych, tak jak robiłoby to człowiek. To właśnie odróżnia stałą procedurę od agenta i wskazuje kierunek rozwoju tej dziedziny. W przykładzie z chlebem pierwsze wyszukiwanie chlebów płaskich mogłoby przynieść strony o wyrabianiu ciasta, ale gdyby okazało się, że żadna z nich nie wspomina o problemach z wyrastaniem, system mógłby spróbować ponownie z takimi słowami kluczowymi jak wyrastanie, fermentacja i temperatura drożdży, dzięki czemu w końcu można by znaleźć odpowiednią stronę.
  • Konwencjonalne systemy RAG mają trudności z rozwiązywaniem złożonych pytań technicznych z kilku powodów, a ta luka pomiędzy wyszukiwaniem a rozumowaniem jest tylko jedną z nich. Kolejną przyczyną jest dzielenie tekstu na fragmenty, które niszczą jego znaczenie, podobnie jak systemy, które przechodzą testy, ale zawodzą w rzeczywistych warunkach. Naprawa którychkolwiek z tych problemów zaczyna się od określenia, gdzie zaginął odpowiedni fragment tekstu, zamiast zgadywać, oraz od założenia, że pierwsza próba wyszukiwania czasami może nie być skuteczna.