Strona główna / Artykuły

Siedem sposobów, w jaki odpowiedź RAG może być błędna, oraz jak zlokalizować etap awarii.

Praktyczny sposób diagnozowania błędnych odpowiedzi RAG: siedem punktów awarii podzielonych na trzy etapy, cztery pola do rejestrowania oraz jeden test, który wskazuje przyczynę problemu.

Wydawca: REACTAPP.TOP7 min czytania1670 słów

Źródła: The RAG Pipeline as Building Blocks: Seven Ways an Answer Goes Wrong

Gdy system RAG podaje błędną odpowiedź, awaria występuje dokładnie w jednym z siedmiu miejsc, a to właśnie to miejsce decyduje o tym, co należy zmienić. Nastawienie poprawnie działającej etapy nie sprawia, że odpowiedź staje się poprawna.

Zapytanie przechodzi przez etapy analizy i dzielenia na fragmenty, wstawiania informacji i tworzenia indeksów, wyszukiwania, budowania kontekstu oraz generowania odpowiedzi. Każdy z tych etapów może zawieść, a wynik pozostaje taki sam niezależnie od tego, który się nie udał. Bez wiedzy o etapie, który zawiodł, naprawa jest jedynie domysłem – nowa wielkość fragmentu, inny model wstawiania informacji lub inny algorytm sortowania zmienia wszystkie zapytania jednocześnie.

Poniżej przedstawiono metodę diagnozy. Wymienia ona siedem miejsc, w których może wystąpić awaria odpowiedzi, grupuje je w trzy etapy odpowiedzialne za naprawę oraz wymienia cztery elementy do zapisywania, które pomagają je odróżnić.

Zła odpowiedź ukrywa swoją przyczynę

Każda z siedmiu możliwych awarii objawia się jako płynny, pewny siebie, błędny lub niekompletny tekst. W wyniku nie ma żadnych wskazówek na to, w którym etapie doszło do problemu.

  • Wszystkie siedem wyglądają podobnie po przybyciu. Akapit, którego nikt nie napisał, fragment pogrzebany na ósmej pozycji oraz model, który odczytywał złą kolumnę w arkuszu kalkulacyjnym, wszystko to staje się jedną przekonującą odpowiedzią.
  • Jednak rozwiązania te się nie przenoszą. Proces pobierania decyduje o tym, co istnieje, proces wyszukiwania o tym, co zostaje znalezione, proces kompilacji o tym, co jest wysyłane, a instrukcja określa, co się z nim dzieje. Wysiłek włożony w niewłaściwą warstwę nic nie zmienia w warstwie, która ma problem.
  • Domysły kosztują więcej niż sam błąd. Ponowne włączenie całego korpusu tekstowego, aby naprawić problem z formatowaniem, zajmuje dni i pozostawia problem bez zmian.

Lepiej postawić pytanie, gdzie tekst odpowiedzi był ostatnio nienaruszony i na którym etapie został utracony.

Siedem awarii w trzech etapach

Siedem przypadków pochodzi z opublikowanego badania systemów RAG w użyciu (arXiv 2401.05856); tutaj zostały one przemianowane ze względu na wystąpiłe problemy. Zostały one pogrupowane według miejsca, w którym znajduje się naprawa, dzięki czemu zlokalizowanie awarii w danej grupie już ogranicza możliwości.

Przyjmowanie danych: brakujący treść

Potrzebny fakt nigdy nie został przekształcony w tekst, który indeks mógłby przeszukiwać. Być może żaden dokument źródłowy go nie zawiera, albo zniknął podczas analizy, czyszczenia lub dzielenia na fragmenty.

  • Brakująca treść. W wewnętrznym wiki zadaje się pytanie dotyczące urlopu rodzicielskiego w Irlandii. Zapisana została jedynie polityka stosowana w USA, a system i tak udziela odpowiedzi.

Oba te powody powodują ten sam objaw, ale wymagają różnych napraw. Jeśli nikt nigdy nie zarejestrował tego faktu, system powinien móc odmówić odpowiedzi. Jeśli dane zostały uszkodzone podczas przyjmowania, należy sprawdzić parser, zasady czyszczenia lub zadanie synchronizacji, które w tle przestało działać.

Pobieranie i kontekst: nie pobrano, przecięto przed zapytaniem, odczytana błędna wartość

Fakt znajduje się gdzieś w jednym z fragmentów, a mimo to model otrzymał coś innego.

  • Nie pobrano. Fragment jest w indeksie, ale wyszukiwanie po prostu nigdy go nie wykryło. Wyobraźmy sobie wartość momentu obrotowego z tabeli specyfikacji w instrukcji, która została zastąpiona przez ogólną stronę z rozwiązaniami problemów.
  • Przecięto przed zapytaniem. Wyszukiwanie je odnalazło, ale nie trafiło do kontekstu. Dwanaście zgłoszeń obsługi klienta odpowiada zapytaniu o nieudane importy, a budżet tokenów zachowuje pięć z nich.
  • Odczytana błędna wartość. Fragment znajdował się w zapytaniu obok kopii, przestarzałej wersji lub dużego hałasu, więc model użył niewłaściwego źródła. Pojawiają się zarówno umowa, jak i jej zastępująca poprawka, a data odnowienia pochodzi z tej starej.

Porządek ma takie samo znaczenie jak dopasowanie. Badania nad długimi kontekstami (arXiv 2307.03172) pokazują, że modele lepiej wykorzystują materiał na początku i na końcu niż w środku, więc fragment może dotrzeć do instrukcji, a mimo to zostać zignorowany.

Dlaczego tutaj pojawia się błędna wartość? Model wygenerował błąd, więc wygląda to na problem z generowaniem. Jednak naprawa prawie zawsze polega na działaniach na wcześniejszym etapie: usuwanie duplikatów, odrzucanie przestarzałych wersji, usuwanie szumów, przestawianie elementów kontekstu. Przepisywanie instrukcji rzadko pomaga.

Generowanie: błędny format, błędny zakres, niekompletne

Model miał dostęp do wszystkiego, czego potrzebował, a mimo to wygenerował złą odpowiedź.

  • Błędny format. Prawidłowe fakty w niewłaściwej formie: poproszono o listę kontrolną, a otrzymano akapit.
  • Niewłaściwy zakres. Odpowiedź jest zbyt szeroka lub zbyt wąska. Pytanie dotyczące limitu wydatków obejmuje zasady obowiązujące cały personel, mimo że pytający to freelancer podlegający innym zasadom.
  • Niekompletne. Pominęta jest jakaś część wieloczęściowego pytania. Ktoś pyta o cztery kolejki zleczeń, a otrzymuje dane dotyczące tylko trzech.

Niekompletność to to, co ludzie przeoczają podczas czytania, ponieważ nic z napisanego nie jest fałszywe. Audyt cytacji to wykrywa: jeśli jakaś źródło pojawiło się w pytaniu, ale nie zostało nigdy zacytowane, oznacza to, że coś zostało pominięte. Ponieważ kontekst jest prawidłowy, korekta polega na zmianie pytania, formatu odpowiedzi lub interfejsu.

Jak postawić diagnozę

Zapisuj cztery pola na każde zapytanie

Diagnoza polega na odtworzeniu żądania z góry, na podstawie skargi pojawiającej się kilka godzin później. Ponowne zadanie pytania ręcznie nie zastępuje tego procesu, ponieważ indeks najprawdopodobniej uległ zmianie, a błąd może się nie powtórzyć. Wystarczą cztery pola:

  • Oryginalne pytanie, przed jakąkolwiek modyfikacją, ponieważ sama modyfikacja stanowi punkt awarii.
  • To, co zwróciło wyszukiwanie: każdy kandydat na fragment wraz z jego chunk_id, doc_id, version oraz oceną.
  • To, co otrzymał model: wartości chunk_id, które pozostały po zastosowaniu limitu tokenów.
  • Ostateczna odpowiedź, znak po znaku.
# The retrieved list and the prompt list stay separate. Collapsed into one,
# a chunk lost at ranking and a chunk lost at the token budget leave the
# same record, and no later reading of the log can separate them.
log_request({
    "question": question,
    "retrieved": [
        {"chunk_id": c.chunk_id, "doc_id": c.doc_id,
         "version": c.version, "score": c.score}
        for c in candidates
    ],
    "in_prompt": [c.chunk_id for c in context],
    "answer": answer,
})

Trzymaj oddzielnie listy zdaniami do odzyskania i zadaniami. Log zawierający tylko sformułowane zadanie i odpowiedź nie może odróżnić awarii rankingu od problemu z budżetem.

Jeden test, trzy możliwe wyniki

Wybierz fragment, który powinien był wpłynąć na odpowiedź. Poszukaj go w zapisanym rekordzie i zanotuj, jak daleko dotarł w procesie przetwarzania. Istnieją tylko trzy punkty zatrzymania, a każdy z nich odpowiada jednemu etapowi.

  • Brak fragmentu: to problem etapu pobierania danych. Korpus go nie zawiera lub został utracony przed indeksowaniem.
  • Tekst znajduje się w fragmencie, który nigdy nie dotarł do zadania. Odpowiedzialne są funkcje odzyskiwania danych i kontekstu: ranking nie zwrócił tego fragmentu lub budżet na to nie pozwolił.
  • Fragment znaleziono w zadaniu, ale odpowiedź nadal jest błędna: model miał wszystko. Jeśli wybrał niewłaściłą wartość, sprawdź wcześniejsze etapy na obecność duplikatów lub szumów. Jeśli forma, zakres lub kompletność są błędne, przyjrzyj się procesowi generowania odpowiedzi.

Co nie jest objęte siedmioma kryteriami

Te siedem kryteriów określa, czy odpowiedź była prawidłowa. Kilka czynników, które sprawiają, że system nie nadaje się do użycia, pozostaje dla nich niewidocznych.

  • Prawa dostępu. Odpowiedź cytująca dokument, którego pytający nie może przeczytać, jest poprawna, ale nie do przyjęcia. Wymaga to przechowywania acl_principals obok każdego fragmentu oraz filtru podczas wyszukiwania.
  • Zatrute dokumenty. Plik zawierający instrukcje skierowane do modelu może przejść wszystkie siedem sprawdzeń, ponieważ odpowiedź pozostaje wierna temu, co otrzymał.
  • Przynależność użytkownika. Problem z fragmentami klienta A pojawiającymi się w odpowiedzi klienta B rozwiązuje się za pomocą tenant_id w przechowywanych fragmentach i przy każdym zapytaniu, a nie poprzez sformułowanie promptu.
  • Skala i koszt. Opóźnienia oraz koszty za zapytanie przy dużych rozmiarach korpusu w ogóle nie występują w tych siedmiu kryteriach.

Wszystkie siedem może przejść test, mimo że dane wciąż wyciekają. Ten framework wyjaśnia błędne odpowiedzi; milczy natomiast na temat bezpieczeństwa.

Pułapki

  • Rozszerzanie procesu wyszukiwania odpowiedzi, której fragment już dotarł do zapytania. Więcej wyników oznacza więcej szumów, co sprawia, że błędna wartość wydaje się bardziej prawdopodobna.
  • Rejestrowanie tylko wyświetlonego zapytania. To, co nie zostało pobraane i przycięte przed zapytaniem, wygląda identycznie, więc dostosowuje się wyszukiwanie wtedy, gdy winna jest błędna konfiguracja, lub odwrotnie.
  • Wykorzystywanie odmowy jako rozwiązania. Jeśli odpowiedź znajduje się w tabeli, którą parser spłaszczył, odmowa udzielenia odpowiedzi jedynie ukrywa błąd w przetwarzaniu za pomocą „dobrych manier”.
  • Dodawanie metadanych do fragmentów po uruchomieniu. Wprowadzenie wersji lub ścieżki sekcji później powoduje przepisanie każdego fragmentu, a ponowne włączenie go jest kosztownym procesem.
  • Spory o zakres na podstawie upodobań. To, czy odpowiedź jest zbyt ogólna, pozostaje przedmiotem dyskusji, dopóki pytanie testowe nie zawiera dokładnej odpowiedzi, jaką powinno dać.

Zastosowanie w praktyce

Traktuj proces jako łańcuch: błędna odpowiedź oznacza awarię jednego ogniwka, a diagnoza polega na znalezieniu ostatniego ogniwka, w którym tekst odpowiedzi przetrwał.

  • Zacznij rejestrować cztery pola przed zmianą jakichkolwiek ustawień. Jeden rekord na żądanie kończy większość dyskusji, zanim jeszcze się rozpoczną.
  • Najpierw przeprowadź pojedynczy test: czy tekst znajduje się bez żadnego fragmentu, w fragmencie, który pominął polecenie, czy w samym poleceniu? Ta odpowiedź wskazuje etap oraz rodzaj korekty, który najprawdopodobniej zadziała.
  • Daj systemowi możliwość stwierdzenia, że nie wie. Zbiór testowy, w którym każde pytanie ma odpowiedź, nigdy nie ujawni brakujących treści.
  • Zapisuj doc_id, version, section_path oraz updated_at dla każdego fragmentu od pierwszego pobrania, dodając tenant_id i acl_principals, jeśli ma to znaczenie dla dostępu.
  • Odkładaj resztę do momentu, gdy konkretny błąd tego wymusi. Mechanizmy wyszukiwania grafowego, multimodalnego oraz oparte na agentach obsługują różne przypadki braku dostępności danych, a żaden z nich nie powinien być domyślny.

Etapy mogą się różnić w zależności od architektury wyszukiwania, ale cztery pola rejestrowane pozostają takie same we wszystkich przypadkach.