Pobieranie informacji z wiki inżynieryjnego: BM25, gęste okna bezpieczne dla tokenów oraz RRF
Pobieranie informacji z naciskiem na ocenę w wiki technicznym: cele oparte na dokładnych dowodach, bazowa metoda BM25, błąd wycinania tekstu w MiniLM, okna tokenów oraz wyniki fuzji rankingu wzajemnego.
Jedna idea kieruje całym procesem w fazie wyszukiwania w tym projekcie RAG opartym na ocenie, który działa na dużym wiki inżynieryjnym:
To, co zostanie dopasowane, i to, co zostanie zwrócone, nie musi być tym samym.
Proces dzielenia na fragmenty już dał małe, określone zapisy do wyszukiwania, przy czym każdy oryginalny fragment pozostał nienaruszony. To rodzi praktyczne pytania: czy wyszukiwanie powinno opierać się na słowach kluczowych, czy na embeddingach? Czy dopasowany fragment powinien trafić bezpośrednio do modelu językowego? Ile wyników powinno zostać zwróconych? I jak można porównać te opcje, nie polegając na kilku zapytaniach, które przypadkowo wydają się przekonujące?
Wiki jest prywatne, więc przykłady tutaj są syntetyczne, a informacje o korpusie są skąpe. Wybory implementacyjne oraz uzyskane wyniki są rzeczywiste. Etykiety relevancji pozostają eksploracyjne i nie powinny być mylone z ostateczną prawdą w środowisku produkcyjnym.
Najpierw umowa dotycząca dowodów
Nie każdy zapis wyszukiwania stanowi autorytatywny dowód. Zwykły fragment nagłówka może pełnić funkcję zarówno jednostki dopasowania, jak i jednostki zwracanej. Inaczej jest z rekurencyjnym dzieckiem, fragmentem JSON czy oknem kodu – istnieją one po to, aby wyszukiwarka mogła znaleźć większą strukturę, i nie mogą zastępować tej struktury.
Każdy zapis wyszukiwania jest więc sprowadzany do celu pobierania danych:
ordinary chunk -> exact chunk
recursive child -> exact parent chunk
JSON locator -> exact source document
code locator -> exact source document
To mapowanie jest wykonywane przed ostatecznym rankowaniem. Gdy dwa nakładające się potomki tego samego rodzica odpowiadają kryteriom, łączą się w jeden cel, dzięki czemu dwa miejsca w wynikach nigdy nie są wykorzystywane na fragmenty wskazujące na to samo dowód.
Proces hydratacji odbywa się po rankowaniu. Narzędzie pobierające dane bierze identyfikator celu i ładuje oryginalny fragment rodzica lub dokument źródłowy, zachowując jego treść, ścieżkę źródłową, zakres wierszy oraz hash. Mały potomek pozostaje jako ślad dopasowania, ale nie jest oferowany jako pełny kontekst odpowiedzi. Krótko mówiąc: wyszukiwanie za pomocą optymalizowanych lokalizatorów, rankowanie unikalnych celów, zwracanie wiarygodnych dowodów.
Początek od bazy leksykalnej
Gęste wyszukiwanie jest często traktowane jako standard w RAG, jednak techniczne wiki pełne są terminów, które wyszukiwanie leksykalne radzi sobie bez trudu – takich jak nazwy API, klucze konfiguracyjne, ścieżki, kody błędów, polecenia wiersza poleceń, akronimy i nazwy usług.
BM25 został wybrany jako pierwszy, ponieważ jest szybki, łatwy do zrozumienia i trudny do prześcignięcia przy dokładnych identyfikatorach. Tokenizer zachowuje całe wyrażenia takie jak api/v2, config.yaml i error-code, zamiast usuwać te właśnie znaki, które je wyróżniają. Każdy rekord jest indeksowany razem z otaczającym go kontekstem:
document title
heading path
exact record content
Tytuł i ścieżka nagłówka są ważne, ponieważ krótki fragment sam w sobie może być niejednoznaczny. Zdanie takie jak „Restartuj pracownika” ma większe znaczenie, gdy indeks pokazuje również „Operacje > Rozwiązywanie problemów > Odzyskiwanie”. Ten kontekst służy jedynie do dopasowywania i nigdy nie jest włączany do autorytatywnego treści źródłowej.
BM25 dostarczyło solidnej, zrozumiałej bazy porównawczej i ujawniło pewną cechę zestawu do oceny. Pytania opracowane na podstawie dokumentów źródłowych często wykorzystują słownictwo samego źródła, co sprzyja wyszukiwaniu leksykalnemu. Dlatego zwycięstwo BM25 w tym zestawie nie musi oznaczać sukcesu przy przyszłych zapytaniach użytkowników.
Gęste wyszukiwanie i ucięcie treści
Zastosowana gęsta baza wyjściowa to sentence-transformers/all-MiniLM-L6-v2, która generuje znormalizowane wektory o wymiarze 384, dzięki czemu podobieństwo kosinowe sprowadza się do iloczynu skalarnego. Pierwsza wersja przekształcała każdy rekord wyszukiwania w pojedynczy ciąg znaków. Proces dzielenia na fragmenty już wcześniej narzucał ograniczenie liczby słów, co wydawało się bezpieczne.
Jak się okazało, nie było to prawdą. Ograniczenia dotyczące fragmentów liczone były w przybliżonej liczbie słów, podczas gdy model MiniLM przyjmuje maksymalnie 256 tokenów. Ścieżki, znaczniki, pliki JSON oraz identyfikatory nie mają stałego stosunku słów do tokenów, więc rekord mieściący się w limicie fragmentowania mógł nadal przekroczyć możliwości modelu. Sentence Transformers skracał takie rekordy bez uprzedzenia. Tekst znajdujący się pod koniec długiego rekordu nigdy nie trafiał do kodera. Choć źródło istniało i fragment został zindeksowany, zapytanie mogło pozostać bez odpowiedzi, ponieważ odpowiedni zdanie zostało obcięte przed kodowaniem.
Lekcja: limit dzielenia na fragmenty nie jest limitem embeddingu, chyba że oba są mierzone za pomocą tokeryzatora wybranego modelu.
Okna bezpieczne dla tokenów
Korektyjny gęsty indeks wywołuje bezpośrednio tokeryzator modelu. Dla każdej rekordu określona część budżetu tokenów jest przeznaczana na tytuł dokumentu i ścieżkę nagłówków, a reszta służy do przechowywania treści. Długa treść skutkuje nakładającymi się oknami tokenów o długości 32 tokenów. Po utworzeniu końcowego tekstu jest on ponownie tokeryzowany, aby upewnić się, że mieści się w limicie 256 tokenów.
search record
-> contextual prefix
-> tokenizer-aware content windows
-> normalized embedding per window
-> collapse matching windows to one retrieval target
Pełne doświadczenie dało około dwukrotnie więcej gęstych okien w porównaniu z rekordami wyszukiwania źródłowego. Jest to spodziewane. Okna rozszerzają zakres dopasowania, ale nie dodają żadnych nowych dowodów, które można by przytoczyć, ponieważ kilka okien nadal odnosi się do tego samego rodzicielskiego fragmentu lub dokumentu źródłowego.
Tutaj łatwo pomylić trzy pojęcia:
- Jednostka źródłowa: oryginalny dokument lub dokładny rodzicielski fragment.
- Jednostka wyszukiwania: dziecko z rozumieniem struktury lub zwykły fragment.
- Jednostka embedowania: okno tekstu wyszukiwania dostosowane do rozmiaru tokenizatora.
Tylko pierwsza z nich stanowi dowód. Jednostki wyszukiwania i embedowania jedynie na nią wskazują.
Ocena wykraczająca poza „wyglądają dobrze”
Napisano dwadzieścia pytań pochodzących ze źródła, aby objąć wzorce proceduralne, koncepcyjne, oparte na identyfikatorach oraz przekrojowe. Każde z nich wymienia jeden lub więcej odpowiednich identyfikatorów celów wyszukiwania. Etykiety te zostały celowo oznaczone jako wymagające ponownej oceny. Pytania pochodzące ze źródła dobrze sprawdzają cały proces, ale wiążą się z nimi dwa błędy postrzegania. Sformułowania naśladujące tekst źródłowy sprzyjają algorytmowi BM25, a pierwsze etykiety mogą przeoczyć inne fragmenty, które prawdopodobnie odpowiadają na pytanie. Dlatego wyniki te służą jako dowód porównawczy dla tego zestawu danych, a nie jako standard referencyjny do użycia w praktyce.
Punkt odniesienia stanowiło pięć zwróconych fragmentów tekstowych, przy użyciu trzech metryk:
- MRR@5 pokazuje, jak wcześnie pojawia się pierwszy odpowiedni cel.
- Recall@5 pokazuje, jak duża część znanych, istotnych informacji znajduje się w pierwszych pięciu wynikach.
Pierwsze porównanie dało następujące wyniki:
- Contextual BM25: MRR@5 0,4875, Recall@5 0,5583, nDCG@5 0,4533.
- Windowed MiniLM: MRR@5 0,1392, Recall@5 0,2500, nDCG@5 0,1593.
- Hybryda z fuzją ranków wzajemnych: MRR@5 0,5308, Recall@5 0,7583, nDCG@5 0,5480.
BM25 wyraźnie przewyższył metodę dense retrieval w tym zestawie zadań. To jednak nie oznacza, że embeddingi są bezużyteczne. Obie metody zawiodły w różny sposób, co stworzyło możliwość ich połączenia.
Hybrydowe wyszukiwanie bez hybrydowego indeksu
Indeksy BM25 i dense pozostają oddzielne, a ich wyniki sortowane są łączone za pomocą fuzji ranków wzajemnych. Dla danego celu d zsumowuje się wartości 1 podzielone przez (k plus rank danego wyszukiwacza dla d), przy czym w tym eksperymencie k wynosi 60.
Każdy wyszukiwacz dostarcza swoje 10 najlepszych, unikalnych celów, a mechanizm fuzji łączy te ranki, w rezultacie czego zwracane są pięć najlepszych wyników. Wyniki leksykalne i oparte na gęstości nie wymagają wzajemnej kalibracji, ponieważ mechanizm fuzji bierze pod uwagę pozycje w rankingu, a nie same wartości wyników.
Wskaźnik Recall@5 wzrósł z 0,5583 przy użyciu samego BM25 do 0,7583, a poprawiły się również rankingi pierwszego trafienia oraz nDCG. W tym zestawie eksploracyjnym komplementarne wyniki oparte na gęstości okazały się pomocne, mimo że sama metoda wyszukiwania oparta na gęstości była słaba.
Implementacja polega na współpracy kilku wyszukiwaczy, a nie na użyciu trzeciego, fizycznego indeksu:
query
-> BM25 top 10 targets
-> dense top 10 targets
-> target-level RRF
-> top 5 targets
-> exact parent/source hydration
Zapisuje również ranking każdego wyszukiwacza oraz odpowiadający mu lokalizator. Dzięki temu każdy wynik jest wyjaśnialny – widać, czy to BM25, metoda gęstej wyszukiwania lub obie te metody doprowadziły do jego znalezienia, oraz który element lub okno embeddingu prowadzi do autorytatywnego celu.
Różnorodność, która przyniosła negatywne skutki
Hybrydowy wynik czasami zawierał kilka fragmentów z jednego dokumentu, co wyglądało na zbędne. Próbowano użyć selektora maksymalnej liczby fragmentów na dokument. Wynik stał się bardziej zróżnicowany, ale jakość wyszukiwania spadła. W dokumentacji proceduralnej lub głęboko zstrukturyzowanej mogą być potrzebne wszystkie sekcje jednej strony. Różnorodność dokumentów działała tu jako preferencja wizualna, a nie sygnał istotności. Selektor pozostaje dostępny do dalszych eksperymentów, ale jest wyłączony domyślnie.
Należy pamiętać o tym rozróżnieniu: powtarzane dokumenty nie stanowią powtórnego dowodu. Łączenie poddokumentów, które prowadzą do tego samego celu, jest właściwe. Usunięcie odrębnych, istotnych sekcji tylko dlatego, że pochodzą z tego samego dokumentu, to odrębna decyzja wymagająca dowodów specyficznych dla danego zadań.
Gwarancje końcowej ścieżki
- BM25 oraz gęste indeksy obejmują te same rekordy wyszukiwania kontekstowego.
- Rekordy gęste są przetwarzane z uwzględnieniem rzeczywistego limitu tokenów modelu.
- Matchi poddokumentów i okien łączą się w jedno unikalne celu odzyskiwania informacji.
- Fuzja łączy dziesięć kandydatów z każdego narzędzia odzyskiwania informacji bez kalibracji wyników.
- Zwracane są pięć dokładnych fragmentów dokumentu macierzystego lub oryginalnych dokumentów.
- Oryginalna treść oraz hashe pozostają autorytatywne.
- Ranki poszczególnych narzędzi odzyskiwania informacji oraz ścieżka dopasowania lokalizatorów pozostają dostępne do sprawdzenia.
- Różnorodność dokumentów jest stosowana tylko wtedy, gdy dowody wskazują na jej korzyść.
Retriever jest celowo prosty. Koordynuje istniejące indeksy, procesy fuzji i hydratacji, nie ukrywając zachowań za abstrakcjami frameworka ani nie dodając kolejnego magazynu danych.
Czego wciąż brakuje
System może teraz przyjąć zapytanie i zwrócić pięć uszeregowanych fragmentów zawierających dokładne dowody, wskazując źródło każdego z nich oraz porównywać opcje wybierania fragmentów za pomocą powtarzalnych metryk. To nadal nie jest kompletny system RAG. Następny etap musi określić, w jaki sposób fragmenty są łączone w kontekst modelu, jakie cytaty są wymagane, jak radzić sobie z sprzecznymi lub niewystarczającymi dowodami oraz kiedy system powinien się wstrzymać. Metryki pozyskiwania danych muszą również być powiązane z wiarygodnością odpowiedzi na poziomie i poprawnością cytowań, aby generowane odpowiedzi wyraźnie odróżniały to, co stwierdza wiki, od tego, co model jedynie wie.
Literatura pokrewna
- Wzbogacanie meta-danych w RAG: filtry, cytaty, świeżość i kontrola dostępu — Dlaczego system RAG zwraca politykę niewłaściwego regionu oraz jak meta-dane źródłowe, organizacyjne, czasowe i bezpieczeństwa poprawiają wyniki wyszukiwania, gdy są dołączane podczas przetwarzania danych.
- MultiDocFusion: dzielenie na kawałki z uwzględnieniem hierarchii dla RAG w przypadku długich plików PDF — Jak wykrywanie układu, OCR, model językowy oparty na drzewie nagłówków oraz grupowanie metodą DFS zachowują kontekst sekcji w każdym kawałku, co przynosi wzrost efektywności wyszukiwania o 8–15%, wraz z dwoma uwagami dotyczącymi rozmiaru indeksu.