Strona główna / Artykuły

System RAG może funkcjonować, a mimo to umieszczać błędne dowody na pierwszym miejscu.

Zarówno wyszukiwanie gęste, jak i hybrydowe osiągnęły doskonałą wartość Recall@5, jednak MRR wykrył, że RRF obniżył ocenę jednego poprawnego wyniku. Dlaczego ocena RAG wymaga sprawdzeń dla każdej zapytania, a nie jednej średniej.

Wydawca: REACTAPP.TOP6 min czytania1273 słów

Źródła: https://medium.com/data-science-collective/a-rag-system-can-work-and-still-retrieve-the-wrong-evidence-first-e21201356c55

Kanał pobierania wyników może zwracać pozytywne wartości, a mimo to umieszczać błędne dowody na pierwszym miejscu. W teście z 22 zapytaniami zarówno wyszukiwanie gęste, jak i hybrydowe połączone z Reciprocal Rank Fusion (RRF) osiągnęły wskaźnik Recall@5 na poziomie 1,0. Średnia wartość reciprocal rank opowiadała inną historię: 0,9545 dla metody gęstej w porównaniu z 0,8977 dla hybrydowej. Niemal cała różnica wynikała z jednego zapytania typu parafraza, q006. Metoda fuzji sprowadziła prawidłowy wynik uzyskany wyłącznie przy użyciu metody gęstej z pierwszego na czwarte miejsce, a żadna wartość stałej RRF k w zakresie od 0 do 100 nie przywróciła go na pierwsze miejsce. Praktyczna lekcja brzmiała, że nie istnieje magiczne ustawienie – kluczowe jest rozwijanie nawyku wykrywania takich regresji zamiast polegania na jednym tylko wyniku podsumowującym.

Zestawienie wyników z testu

Trzy metody wykorzystano na tym samym zbiorku oznaczonym etykietami: BM25 do porównania leksykalnego, gęste embeddingi z all-MiniLM-L6-v2 oraz hybrydowa fuzja z RRF przy k=60. Zarówno metoda gęsta, jak i hybrydowa znalazły każdy „złoty” fragment wśród pierwszych pięciu wyników. Ich wyniki MRR się nie pokrywały; największy spadek był spowodowany wartością q006. Przeglądanie różnych wartości k nigdy nie przywróciło rankingu uzyskanego metodą gęstą.

Metryka Recall@5 wskazała, że obie metody dały identyczne wyniki. Metryka MRR natomiast pokazała, że tak nie jest.

Odczytywanie wyników

BM25 osiągnął wynik Recall@5 na poziomie 0,9545 oraz MRR@5 na poziomie 0,8818. Metoda gęsta osiągnęła wynik 1,0 / 0,9545, a metoda hybrydowa – 1,0 / 0,8977. Porównując je obok siebie, metoda gęsta i hybrydowa wyglądają na równie skuteczne, jeśli chodzi o sprawdzenie, czy dany fragment pojawił się w pięciu wynikach.

To „gdzieś na piątym miejscu” to pułapka. Pytanie Recall pyta, czy przedmiot ze złota jest obecny. MRR pyta, jak wcześnie pojawia się pierwszy przydatny przedmiot. Umieszczenie odpowiedzi na piątym miejscu oraz na pierwszym wygląda identycznie w przypadku Recall, ale sprawia bardzo różne wrażenie u użytkownika lub agenta, który czyta tylko górną część listy.

Krótkie definicje uwyraźniają tę różnicę:

def recall_at_k(gold_id: str, ranked_ids: list[str], k: int = 5) -> int:
    """1 if the gold chunk appears anywhere in the top k, else 0."""
    return int(gold_id in ranked_ids[:k])

def reciprocal_rank(gold_id: str, ranked_ids: list[str]) -> float:
    """1/rank of the gold chunk's first appearance, 0 if absent."""
    for rank, doc_id in enumerate(ranked_ids, start=1):
        if doc_id == gold_id:
            return 1.0 / rank
    return 0.0

Pierwszy wniosek: zielona metryka może odpowiedzieć na pytanie, do którego została stworzona, a jednocześnie ukryć to, co naprawdę nas interesuje.

Porównywanie zapytań pojedynczo

Zamiast od razu dostosowywać hybrydowy model, umieść modele gęste i hybrydowe obok siebie. Z 22 pytań, na które można było odpowiedzieć, osiemnaście zachowało tę samą pozycję „złota”. Hybrydowy model pomógł w jednym przypadku, a pogorszył sytuację w trzech. Najgorszy przypadek to q006 – model gęsty umieścił oznaczony fragment na pierwszym miejscu, natomiast hybrydowy na czwartym. Właśnie ten przypadek stał się przedmiotem dalszych badań.

Dlaczego fuzja obniżyła pozycję poprawnej odpowiedzi

Hybrid łączy pozycje rankingu zamiast średniować wyniki BM25 z podobieństwami kosinowymi, ponieważ te dwa systemy liczbowe nie mają wspólnej skali. Dlatego RRF dodaje wkłady wyłącznie na podstawie rankingu. Rozsądny projekt, prawdziwa kompromisowa decyzja. W przypadku q006 metoda dense silnie faworyzowała oznaczony fragment tekstu, podczas gdy inne kandydaty plasowały się wysoko na obu listach. Te kandydaci z dwóch list otrzymywali punkty zarówno od BM25, jak i od metody dense, w rezultacie czego zwycięzca z metody dense spadł na czwarte miejsce.

Kompaktowa funkcja fuzji:

def reciprocal_rank_fusion(
    rankings: dict[str, list[str]], k: int = 60
) -> list[str]:
    """Fuse multiple ranked lists using rank position only."""
    scores: dict[str, float] = {}
    for ranking in rankings.values():
        for rank, doc_id in enumerate(ranking, start=1):
            scores[doc_id] = scores.get(doc_id, 0.0) + 1.0 / (k + rank)
    return sorted(scores, key=scores.get, reverse=True)

Zgoda pomiędzy różnymi narzędziami wyszukiwania jest wskazówką, ale nie jest dowodem na poprawność wyników. Taki sposób przedstawienia danych jest bardziej przydatny niż stwierdzenie „hybrid MRR spadł”. Teraz istnieje mechanizm umożliwiający dokładną inspekcję, a nie tylko obserwację niestabilności na panelu kontrolnym.

Czy zmiany ustawień to rozwiązanie?

Habity pracy są tutaj znajome: zmienia się jedną zmienną i ponownie się mierzy. Przy stałej głębokości i wartości top-k, zmieniając wartość k na 0, 10, 20, 40, 60, 80 i 100, wskaźnik Recall pozostał idealny. Wartość MRR zmieniła się tylko nieznacznie, spadając z około 0,91 przy k=0 do około 0,90. Wartość q006 przesunęła się z drugiego na trzeci, a potem na czwarty poziom i już nigdy nie wróciła na pierwszy. Zwiększenie liczby kandydatów z 5 do 30 przy stałej wartości k na 60 utrzymało wskaźnik Recall na poziomie idealnym, a hybrid MRR bliskim 0,90, wciąż poniżej wartości charakterystycznej dla rozwiązania gęstego. W tych testach oczywiste modyfikacje ustawień nie zlikwidowały różnicy w rankingu.

Firmy rzadko przejmują się nazwą architektury wyszukiwania. Liczy się dla nich to, czy odpowiedzi są wiarygodne, czy zmiana poprawia jakość oraz czy ktoś potrafi wyjaśnić regresję. To skłania do podejścia opartego na pomiarze, analizie, inspekcji, wyjaśnieniu, zmianie i ponownym pomiarze, zamiast prostego „stworzyć, wypróbować kilka zapytań i wdrożyć”.

Pożytecznym wynikiem nie jest jedna liczba. To kolejność zapytań, fragmenty danych, które wróciły, miejsca, gdzie systemy wyszukiwania się nie zgadzały, podziały według typu pytania, konkretne przypadki awarii oraz konfiguracja, która je spowodowała. Gdy zmienia się liczba pokazana na panelu kontrolnym, ten zestaw danych daje inżynierowi punkt wyjścia do dalszych działań.

W większym wymiarze Uber opisał podobne rozdzielenie w Genie, swoim asystentowi gotowym do natychmiastowej pomocy: jakość wydobywania informacji i jakość odpowiedzi są mierzone oddzielnie, w oparciu o standardy ustalone we współpracy z ekspertami w danej dziedzinie. Jeden szczegół jest szczególnie istotny: zła ekstrakcja plików PDF może zniszczyć kontekst tabel oraz sposób ich podziału jeszcze przed rozpoczęciem procesu wydobywania informacji. To, co wygląda na błąd w rankingu, może mieć swoje źródło w problemie z jakością dokumentu.

Etykiety również mogą być błędne

Oceniający zna tylko te etykiety relevancji, które mu zostały przekazane. Fragment tekstu może być rzeczywiście przydatny, a mimo to zostać uznany za nieodpowiedni, ponieważ nie odpowiada etykietyzowanemu wzorcowi. Nakładające się fragmenty dodatkowo komplikują sytuację. Gdy zapytanie daje negatywne wyniki, należy sprawdzić zarówno narzędzie do wydobywania informacji, jak i sam zestaw danych. Czy zbiór elementów o relevancji jest kompletny? Czy dwa fragmenty mogłyby odpowiedzieć na pytanie? Czy granica między fragmentami odcięła jakieś stwierdzenie od jego wyjaśnienia? Narzędzia oceny nie zastępują osądu – one jedynie zapewniają lepsze warunki do jego wykonywania.

Pięciu strażników

  1. Perfect Recall@5 nie jest doskonałą rankingiem. Należy dodać MRR, bo wtedy wiemy jedynie, że odpowiedź gdzieś istnieje.
  2. Należy badać samą zapytanie, a nie tylko średnią. Jeden zły przypadek może wpłynąć na całą ocenę.
  3. Zgoda między systemami wyszukiwania jest wskazówką, a nie werdyktem. RRF nagradza popularność na dwóch listach; to heurystyka.
  4. Dostosowywanie ustawień nie oznacza zrozumienia mechanizmu. Metoda k sweep potwierdziła istnienie regresji; tylko matematyka fuzji mogła to wyjaśnić.
  5. Badaj etykiety tak samo dokładnie, jak badasz model. „Błędny” wynik może być błędnie oznaczonym elementem kluczowym.

Zakończenie

Zwycięstwo uzyskane dzięki małej bazie danych rzadko czyni kogoś mistrzem. To właśnie niepowodzenia, takie jak q006, zmuszają do przejścia od metryk przez zapytania, aż po łączenie danych i matematykę fuzji w ramach kontrolowanego eksperymentu. Ocena ma sens, gdy służy rozpoczęciu dochodzenia, a nie jego zakończeniu. Demo dowodzi, że cały proces działa poprawnie. Dobry cykl pokazuje, że można zaufać kolejnym zmianom.

Linki

  • RAG Systems Evaluation Bench na GitHubie
  • Żywe demo na Hugging Face Spaces
  • Cormack, Clarke i Buettcher o fuzji rankingu wzajemnego
  • Uber opublikował również artykuł inżynieryjny na temat ulepszonego RAG typu agentic.
  • Artykuł o Genie od Ubera znajduje się na firmowym blogu inżynieryjnym pod tytułem Genie.

Literatura pokrewna

  • Dlaczego inteligentni asystenci AI nadal dają błędne odpowiedzi: perspektywa procesowa — Prześledź proces pracy asystenta AI, od danych treningowych i okien kontekstualnych po wyszukiwanie i generowanie informacji typu RAG, aby zrozumieć, skąd pochodzą błędne odpowiedzi i jak je zmniejszyć.