Strona główna / Artykuły

Ocena mechanizmu RAG Retrieval poza kryterium odzyskiwania informacji w ANN, przy użyciu Turbopuffer jako przykładu.

Szybki indeks wektorowy może nadal nie znaleźć odpowiedzi. Poznaj kompromisy związane z przechowywaniem w Turbopuffer, hybrydowy model BM25 w połączeniu z wyszukiwaniem wektorowym oraz to, jak zbiór „złoty” pomaga ocenić rzeczywisty poziom odzyskiwania informacji.

Wydawca: REACTAPP.TOP7 min czytania1671 słów

Źródła: Turbopuffer Made Me Rethink RAG: A Fast Index Does Not Mean Correct Retrieval

Zespoły rozpoczynające projekt RAG zwykle zaczynają od jednego pytania: który bazę wektorową wybrać. To uzasadnione pytanie, ale nie jest najważniejsze. Lepsza baza może obniżyć koszty, przyspieszyć wyszukiwanie i ułatwić obsługę dużych systemów. Nie może jednak określić, czy użytkownik rzeczywiście otrzymał potrzebne informacje.

Turbopuffer to dobry przykład do zbadania z dwóch powodów. Jego model przechowywania i dostarczania danych jest nietypowy i podkreśla krok, który większość zespołów RAG pomija: poprawne testowanie procesu wydobywania danych.

Jak Turbopuffer przechowuje i dostarcza dane

Trwała kopia danych znajduje się w systemie przechowywania obiektów, a pamięć i NVMe pełnią rolę pamięci cache. Maszyny służące do przetwarzania zapytań nie mają stanu, więc jedna maszyna może obsługiwać wiele przestrzeni nazw i nie musi przechowywać danych konkretnego klienta wiecznie.

To pasuje do dużego korpusu danych dzielonego między wielu użytkowników. Wyobraź sobie produkt B2B, w którym każdy klient posiada zestaw dokumentów, ale w danym momencie aktywni są tylko nieliczni klienci. Przechowywanie pełnego indeksu każdego klienta w pamięci RAM byłoby kosztowne. Dane nieaktywne mogą być tanio przechowywane w systemach magazynowania obiektów, podczas gdy aktywne nazwy przestrzeni są przechowywane w pamięci NVMe i RAM.

Taki projekt niesie ze sobą kompromis. Dla przestrzeni nazw zawierającej milion dokumentów Turbopuffer zapewnia czas odpowiedzi p50 na zapytania typu „warm-query” na poziomie 14 ms, natomiast pierwsze zapytanie do przestrzeni nazw „cold” o tej samej wielkości ma czas odpowiedzi p50 na poziomie 874 ms. Dlatego określenie „zawsze szybki” jest błędne. Lepiej powiedzieć, że system jest tani, gdy dane są nieaktywne, a szybki, gdy stają się aktywne. Wiele dużych systemów RAG powinno zaakceptować taki układ, chociaż jest on niewystarczający, gdy każde zapytanie musi być szybkie, nawet jeśli dane nie były ostatnio edytowane.

Produkt koncentruje się również na wyszukiwaniu na wstępnym etapie, redukując ogromny zbiór danych do niewielkiego zestawu kandydatów. Resztą zajmuje się aplikacja: hybrydowe wyszukiwanie, ponowna klasyfikacja oraz logika decydująca, co trafi do modelu. Taki podział pozwala zachować jedną prawdę – baza danych umożliwia wyszukiwanie, ale to aplikacja decyduje, czy wyniki są przydatne.

Dlaczego podstawowy proces jest niewystarczający

Najprostszy pipeline RAG wygląda następująco:

User question → vector search → top 5 chunks → LLM answer

Dobra do demonstracji, słaba w środowisku produkcyjnym. Prawdziwi użytkownicy nie zadają tylko uporządkowanych, semantycznych pytań. Wklejają kody błędów, pytają o wyjątki w zasadach, używają akronimów i nazw produktów, potrzebują starszej wersji dokumentu lub chcą odpowiedzi obejmującej dwa dokumenty.

Używanie obu rodzajów wyszukiwania ma sens:

  • Wyszukiwanie wektorowe radzi sobie z znaczeniem. Potrafi powiązać „urlop po urodzeniu dziecka” z stroną zatytułowaną „urlop rodzicielski”.
  • BM25 radzi sobie z terminami dosłownymi, więc zapytanie zawierające ERR_PAYMENT_042, SKU-78291 lub AuthMiddleware trafia na właściwą stronę.

Oba są dostępne w Turbopuffer za pośrednictwem multi_query, a wyniki można połączyć za pomocą Reciprocal Rank Fusion, znanej jako RRF. Aplikacja może następnie ponownie uporządkować najlepsze 20 do 50 wyników i dostarczyć LLM tylko kilku istotnych fragmentów. Szukanie hybrydowe nie jest automatycznie lepsze. Wyszukiwanie wektorowe i na podstawie słów kluczowych zawodzą w różny sposób, więc to własny zestaw testowy aplikacji powinien określić, czy oba rozwiązania są przydatne.

Trzy aspekty do zmierzenia

Wysoka wartość vector-recall skłania wiele zespołów do założenia, że RAG działa poprawnie. To jednak nie jest to, co oznacza ta wartość.

Należy zmierzyć trzy odrębne cechy:

  1. Wierność indeksu: czy przybliżone wyszukiwanie wektorowe zwraca to samo, co dokładne wyszukiwanie wektorowe?
  2. Relevancja wyników: czy wyszukiwanie zwraca informacje, które odpowiadają na pytanie?
  3. Jakość odpowiedzi: czy model używa tych dowodów w sposób poprawny i bezpieczny?

Turbopuffer dobrze radzi sobie z pierwszym przypadkiem. Pobiera próbki 1% ruchu zapytań w czasie rzeczywistym, porównuje przybliżone wyniki oparte na najbliższych sąsiadach z wynikami uzyskanymi przy dokładnym wyszukiwaniu wektorowym oraz śledzi stopień ich pokrycia. Jego rekomendacje wskazują, że 90 do 95% recall@10 stanowi rozsądny balans dla wielu zadań. Pokazuje to, czy indeks znajduje to, co znalazłoby dokładne wyszukiwanie wektorowe, ale nie mówi nic o tym, czy dokładne wyszukiwanie wektorowe nadawało się do rozwiązania danego pytania.

Rozważmy użytkownika, który zadaje pytanie:

What does ERR_PAYMENT_042 mean?

Odpowiedź znajduje się w bazie wiedzy, na stronie z kodem błędu, ale kod ten pojawia się tylko raz wewnątrz ogromnej tabeli. Wyszukiwanie wektorowe może zwrócić trzy ogólne przewodniki dotyczące płatności, ponieważ są one blisko tematu pod względem znaczenia, a dokładne wyszukiwanie wektorowe również zwróciłoby te same trzy. Baza danych wtedy podaje 100% powrotu wyników ANN, podczas gdy prawdziwa odpowiedź nigdy nie trafia do modelu.

Jedno proste wyszukiwanie BM25 dla ERR_PAYMENT_042 mogłoby to naprawić. Żadna modyfikacja indeksu wektorowego nie przyniosłaby efektu, ponieważ indeks wektorowy nigdy nie był uszkodzony. Wykonywał swoją funkcję doskonale, po prostu otrzymał zły zlecenie. Stąd główna myśl: powrót wyników ANN to nie powrót wyników RAG. Jeden wskaźnik mierzy, na jak dobrze indeks odpowiada na wyszukiwanie matematyczne, a drugi sprawdza, czy użytkownik otrzymał właściwe dowody.

Stwórz mały zbiór referencyjny

Zanim zmienisz rozmiar fragmentów, embeddingi, metodę top-K lub narzędzia do ponownego rankowania, zebraj zwięzły zestaw rzeczywistych pytań i oznacz, które fragmenty powinny na nie odpowiadać. Sto pytań to wystarczająca ilość na początek, i nie muszą one być doskonałe. Skorzystaj z dzienników wyszukiwań, zgłoszeń klientów oraz informacji o błędach zgłaszanych przez użytkowników, a także dodaj kilka pytań od ekspertów z danej dziedziny. Każda pozycja wymaga niewiele:

{
  "query": "How much parental leave do employees get?",
  "relevant_chunk_ids": ["benefits/parental-leave#3"],
  "query_type": "semantic_paraphrase",
  "must_contain": ["16 weeks"],
  "must_abstain": false
}

Zbiór powinien zawierać różne rodzaje pytań:

  • dokładne identyfikatory i akronimy,
  • zwykłe pytania semantyczne,
  • długie, rozwlekłe pytania użytkowników,
  • pytania wymagające dwóch dokumentów,
  • pytania bez odpowiedzi oraz
  • pytania wrażliwe na uprawnienia, w których odpowiedź istnieje, ale użytkownik nie może jej zobaczyć.

Grupa pytań bez odpowiedzi jest ważna. System RAG powinien być w stanie stwierdzić, że nie mógł znaleźć czegoś w dostępnych dokumentach, co jest lepsze niż fałszywa pewność siebie.

Zasada, którą warto przyjąć: przed naprawieniem każdego rzeczywistego błędu RAG należy przekształcić go w przypadek testowy. Jeśli tego pominąć, błąd zostanie naprawiony, przykład zostanie zapomniany, a ten sam defekt pojawi się ponownie po sześciu tygodniach.

Zacznij od prostych metryk wyszukiwania

Sędzia w postaci LLM nie powinien być pierwszym krokiem. Proste metryki wyszukiwania wykonują wstępną pracę:

  • Recall@K sprawdza, czy właściwy fragment pojawił się w pierwszych K wynikach.
  • Mean Reciprocal Rank (MRR) określa, jak wcześnie pojawił się pierwszy poprawny fragment. Poprawny fragment na pozycji 1 nie jest równoważny temu na pozycji 5, za którym znajdują się cztery zniekształcone fragmenty.
  • Normalized Discounted Cumulative Gain (nDCG) staje się przydatny, gdy niektóre fragmenty można ocenić jako „bardzo istotne”, a inne jako „dość istotne”. Wskazówki dotyczące hybrydowego wyszukiwania od Turbopuffer sugerują stworzenie zestawu testowego z zapytaniami o idealnych wynikach oraz ocenę wartości nDCG.

Jedna ogólna średnia ukrywa zbyt wiele informacji, dlatego wyniki powinny być podzielone według typu pytania. Przykładowy użyteczny wniosek może brzmieć: hybrydowe wyszukiwanie poprawiło ogólny poziom odnalezienia informacji, ale prawie cały wzrost wynikał z kodów błędów i akronimów, natomiast dla zwykłych pytań semantycznych dodano niewiele. Średnia nie może tego pokazać.

Porównuj konfiguracje, zmieniając je po jednej

Zachowaj eksperyment mały i powtarzalny, oraz przeprowadź ten sam zestaw danych przez kilka konfiguracji:

  • Próbka A: wyszukiwanie wyłącznie wektorowe, jako punkt odniesienia.
  • Próbka B: wyszukiwanie wyłącznie BM25, pokazujące, w których przypadkach decydują dokładne słowa.
  • Próbka C: wektory w połączeniu z BM25, połączone z RRF, aby sprawdzić, czy hybryda jest pomocna.
  • Próbka D: Próbka C z dodatkowym mechanizmem ponownego rankowania, pokazujący, czy poprawa jakości usprawiedliwia dodatkową opóźnioność i koszt.

Zmieniaj tylko jedną rzecz na każdym przeprowadzonym testie i rejestruj następujące wartości: odzyskiwanie wyników po 5 i 10 próbach, MRR (plus nDCG po ocenie etykiet), osobne wartości opóźnienia przy startowaniu z zera i przy pracy z już znanymi danymi, oraz koszt 1000 zapytań. Funkcja obsługi przestrzeni nazw testowych oraz gałęzi przestrzeni nazw produkcyjnej w Turbopuffer ułatwia to zadanie, ponieważ można testować rzeczywiste dane, nie naruszając przy tym oryginalnej przestrzeni nazw.

Należy również śledzić własny wskaźnik odzyskiwania wyników ANN w Turbopuffer jako sprawdzenie stanu indeksu. Jeśli ten wskaźnik spada, oznacza to, że indeks nie radzi sobie dobrze z dokładnym wyszukiwaniem. Jeśli indeks jest w dobrym stanie, ale wynik z użyciem zbioru referencyjnego jest słaby, problem leży gdzie indziej: w embeddingach, dzieleniu danych na fragmenty, wyszukiwaniu hybrydowym, filtrach lub ponownym sortowaniu wyników. To bardzo przydatna diagnoza.

Następnie sprawdź odpowiedź

Gdy odpowiednie fragmenty dotrą do LLM, sprawdź ostateczną odpowiedź za pomocą pięciu pytań. Czy jest poprawna? Czy każde ważne twierdzenie ma podstawę w odzyskanym tekście? Czy zawiera wszystkie kluczowe informacje? Czy cytaty potwierdzają stawiane obok nich twierdzenia? Czy system odmówił odpowiedzi, gdy żadna nie istniała?

Zwykłe fakty wymagają prostych sprawdzeń: odpowiedź, w której musi pojawić się fraza „16 tygodni”, można po prostu wyszukać. Sędziego w postaci LLM zachowaj na trudniejsze przypadki, np. ocenę, czy długa odpowiedź jest uzasadniona i kompletna. Narzędzia takie jak Ragas mogą pomóc, choć nie mogą zastąpić solidnego zestawu testowego.

Ryzykowny przypadek występuje, gdy odzyskiwanie informacji się nie udaje, a LLM mimo to podaje prawdopodobną odpowiedź opartą na własnym treningu. Sprawdzenie end-to-end może wskazywać, że odpowiedź wygląda dobrze, podczas gdy proces RAG zawiodł. Staje się to niebezpieczne, gdy odpowiedź dotyczy konkretniej firmy, została niedawno zmieniona lub jest wrażliwa.

Ważniejsza lekcja

Turbopuffer nadaje się wtedy, gdy pobieranie danych musi obejmować dużą ilość informacji i wiele przestrzeni nazw, przy modelu kosztowym, który nie sprawia, że dane nieużywane są drogie. Jednak główna lekcja nie dotyczy produktu, lecz pomiarów. Turbopuffer sprawdza, czy jego przybliżone wyszukiwanie odpowiada w pełni dokładnemu wyszukiwaniu w rzeczywistym ruchu danych, co jest dobrym przykładem inżynierii. System RAG powinien przejąć tę praktykę na wyższym poziomie, pytając, czy pobrano właściwe dowody, czy model je dobrze wykorzystał oraz czy nowa zmiana pogorszyła rzeczywisty proces pracy użytkownika.

Szybkość to nie dokładność, ponieważ szybki mechanizm pobierania może zwrócić niewłaściwy dokument w zaledwie kilka milisekund. Rozwiązaniem jest stworzenie małego „złotego zestawu” danych, zmiana jednej zmiennej na raz oraz przekształcanie każdego niepowodzenia w test regresji. W ten sposób RAG przestaje być czymś, co wydaje się magią, i staje się systemem, który można stopniowo ulepszać.

Literatura pokrewna