Dzielenie na elementy: pomijana decyzja RAG leżąca u podstaw błędnych odpowiedzi
Dlaczego dzielenie dokumentów negatywnie wpływa na jakość wyszukiwania, w jaki sposób podejście uwzględniające strukturę oraz dzielenie na elementy rodzic-dziecko pomagają, oraz jak sprawdzić, czy te elementy są skuteczne.
Źródła: Chunking: The RAG Decision Everyone Skips, and Shouldn’t
Gdy chatbot typu RAG z pewnością siebie podaje błędną odpowiedź, typową reakcją jest obwinianie modelu. Ludzie zastępują go większym modelem LLM, zmieniają prompt lub próbują innego modelu embeddingu. Często nic z tego nie dotyka prawdziwej przyczyny, która leży wcześniej w procesie, dokładnie w momencie, gdy dokument został podzielony na fragmenty. Ten krok nazywa się chunkingiem. Ma ogromny wpływ na jakość wyszukiwania i łatwo go zignorować, ponieważ następuje przed elementami, które ludzie zwykle dostosowują.
Konkretny przypadek to ilustruje. Klient pyta bota obsługi klienta, czy uszkodzony produkt można zwrócić. Bot odpowiada, że zwroty są przyjmowane w ciągu 30 dni. To brzmi dobrze, ale zasady mówią również, że ta reguła nie dotyczy produktów oznaczonych jako finalna sprzedaż. Bot w ogóle nie widział tej klauzuli. To nie wina modelu – zdanie po prostu znajdowało się w innym fragmencie niż ten, który został wyświetlony.
W dalszej części omówiono, czym jest dzielenie na fragmenty, dlaczego prosta wersja zawodzi w dokładnie taki sposób oraz co robią systemy produkcyjne w tej sytuacji. Opiera się na dokumentacji dostawców i dokumentacji frameworków, unikając domysłów tam, gdzie to możliwe.
Czym jest dzielenie na fragmenty
System sztucznej inteligencji, który przeszukuje twoje dokumenty, musi najpierw podzielić je na mniejsze jednostki. Dwie praktyczne presje skłaniają do takiego podejścia.
Pierwszą z nich jest precyzja wyszukiwania. Jeśli umieścisz cały dokument jako jedną pozycję i wyszukasz „politykę zwrotów”, otrzymasz cały plik, z którego większość jest nieistotna. Chcesz uzyskać konkretny fragment, który odpowiada na pytanie. Dokumentacja Azure AI Search firmy Microsoft jasno to wyjaśnia: nawet gdy dokument mieści się w limicie wejściowym modelu, jego podział na mniejsze części często przynosi lepsze wyniki, ponieważ jeden wektor nie może dobrze reprezentować wielu różnych podtematów.
Drugim problemem jest surowy limit długości danych wejściowych dla modeli embeddingowych. Dzielenie tekstu na fragmenty zapobiega cichemu przecinaniu treści przekraczających ten limit.
Następnie proces przebiega w następujący sposób: dokument jest dzielony na fragmenty, z których każdy staje się wektorem, czyli embeddingiem, a te wektory są przechowywane w bazie danych wektorowej. Pytanie użytkownika również jest przekształcane w embedding, a system pobiera te fragmenty, które uzyskują najwyższą ocenę według wybranej metody wyszukiwania – czy to czystej podobieństwa wektorowej, hybrydowego wyszukiwania łączącego wektory z słowami kluczowymi, czy też dodatkowej fazy ponownego rankowania.
To ostatnie kroku jest właśnie tym, gdzie wybór sposobu dzielenia tekstu na fragmenty może przynieść szkodę. System może pobrać tylko to, co mu zostało dostarczone. Jeśli dowody na odpowiedź są rozproszone między dwoma fragmentami, a pobrany zostanie tylko jeden, model odpowiada na podstawie niepełnego kontekstu i nie ma sposobu, by wiedzieć, że brakująca część znajduje się gdzie indziej.
Dlaczego prosty podejście zawodzi
Najprostszą metodą jest dzielenie tekstu na fragmenty o stałej wielkości. Tekst dzieli się co N tokenów lub znaków, niezależnie od tego, co zawiera. Jest ona popularna, ponieważ jest prosta i przewidywalna, a także wymaga niewielu dodatkowych operacji przetwarzania.
Nawet Azure, które w swoich wytycznych określa dzielenie na fragmenty o stałej wielkości jako dobry punkt wyjścia, jasno stwierdza, że odpowiednia wielkość i stopień nakładania się fragmentów zależą od struktury treści oraz rodzaju zapytań wysyłanych przez użytkowników, a dane silnie skonstruowane mogą wymagać innego sposobu obsługi niż tekst prozatorski. Kluczowym punktem jest to, że mniejsza wielkość fragmentów nie oznacza automatycznie lepszych rezultatów. Zbyt drobne podziały mogą oddzielić fakty, które muszą być czytane razem, co dokładnie się stało w przypadku polityki zwrotów pieniędzy.
Przegraj ten przykład. Załóżmy, że zdanie dotyczące 30 dni trafia do jednego fragmentu, a wyjątek związany z końcową sprzedażą do następnego. Zapytanie o zwroty dobrze pasuje do pierwszego fragmentu ze względu na słowo „refund”. Fragment z wyjątkiem nigdy nie jest pobierany. Model prawidłowo analizuje to, co otrzymał, ale dane, które dostał, były niekompletne.
To jest główny problem dzielenia na fragmenty: jakość wydobywania informacji jest ograniczona jakością tych fragmentów, bez względu na to, jak silny jest model embeddingów lub model językowy, który go używa. Zespoły spędzają tygodnie na dostosowywaniu embeddingów i ponownym sortowaniu, podczas gdy prawdziwy wąskie gardło znajduje się krok wcześniej – w sposobie podziału źródeł.
Co robią systemy produkcyjne
Powtarzająco pojawiają się dwa wzorce.
Dzielenie na fragmenty z uwzględnieniem struktury
Takie podejście przestaje traktować dokument jako nierozróżniony ciąg znaków. Zamiast dzielić tekst co N tokenów, najpierw dzieli go według naturalnych granic, takich jak nagłówki, sekcje i akapity, a ograniczenie wielkości stosuje dopiero wtedy, gdy dana sekcja jest zbyt długa. Azure AI Search oferuje to w ramach umiejętności Document Layout, gdzie model analityki dokumentów wyodrębnia ich strukturę i tworzy spójne sekcje, które można później podzielić na mniejsze fragmenty.
Jako punkt wyjścia przed dodaniem funkcji rozpoznawania struktury, obecne wytyczne Microsoft sugerują rozpoczęcie od około 512 tokenów z mniej więcej 25-procentowym nakładaniem się fragmentów, podkreślając jednocześnie, że optymalne ustawienia zależą od treści i zastosowania.
Dzielenie na fragmenty rodzic-dziecko
Nazywane również wyszukiwaniem hierarchicznym lub od małego do dużego, to podejście atakuje ten sam problem z innej strony. Zamiast pobierać jeden płaski fragment i mieć nadzieję, że zawiera on wszystko istotne, system znajduje mały, precyzyjny fragment potomny w celu dokładnego dopasowania, a następnie rozszerza wynik o większą sekcję rodzicielską, aby uzyskać pełny kontekst.
Kilka popularnych narzędzi je implementuje:
- LlamaIndex tworzy hierarchię od grubych do drobnych węzłów za pomocą
HierarchicalNodeParser. Tylko małe fragmenty liściowe są indeksowane do wyszukiwania wektorowego, a ich większe elementy rodzicielskie przechowywane są w oddzielnym magazynie dokumentów. NastępnieAutoMergingRetrieverprzywraca element rodzicielski, gdy już wystarczająco dużo jego fragmentów potomnych zostanie pobraanych razem.
ParentDocumentRetriever z LangChain opiera się na tej samej zasadzie. Wbudowuje małe fragmenty dziecięce w celu precyzyjnego wyszukiwania, a podczas przetwarzania zapytania odnajduje dokument nadrzędny, z którego pochodzi każdy wynik, i zwraca ten dłuższy tekst, starając się połączyć dokładne odzyskiwanie informacji z wystarczającą długością tekstu, by zachować kontekst.Taki podział jest skuteczny, ponieważ małe i duże fragmenty mają różne zalety. Małe dają ostre, skoncentrowane reprezentacje danych i umożliwiają wysokodokładne wyszukiwanie. Duże zapewniają modelowi wystarczająco dużo otaczającego tekstu, by uniknąć odpowiadania na podstawie zbyt skróconego fragmentu. Podział na elementy rodzicielskie i potomne pozwala każdemu rozmiarowi wykorzystywać swoje mocne strony, zamiast zmuszać jeden rozmiar do pełnienia funkcji zarówno wyszukiwania, jak i generowania.
Nie jest to jednak rozwiązanie uniwersalne. W przypadku korpusów składających się już z samodzielnych jednostek, takich jak wpisy FAQ czy listy produktów, lub w przypadku danych ściśle tablicowych i opartych na schematach, krok rozszerzania elementów rodzicielskich zwykle powoduje dodatkowe obciążenie bez odpowiedniej korzyści.
Nie ma jednego najlepszego ustawienia
Żaden rozmiar ani strategia nie jest najlepszy we wszystkich sytuacjach. Optymalne rozwiązanie zależy od sposobu uporządkowania dokumentów, od pytań, które zadają użytkownicy, od ustawień wyszukiwania i ponownego sortowania oraz od sposobu oceny całego systemu.
Semantyczne dzielenie tekstu na fragmenty, polegające na grupowaniu go według znaczenia, a nie struktury czy rozmiaru, jest często uważane za bardziej zaawansowane rozwiązanie. AWS opisuje je jako strategię wspieraną obok dzielenia na fragmenty o stałym rozmiarze i hierarchicznego, jednak wiąże się z dodatkowymi parametrami i kompromisami, dlatego należy je przetestować na własnych dokumentach i zapytaniach, zamiast zakładać automatycznie jego przewagę. Bardziej skomplikowana strategia jest przydatna tylko wtedy, gdy rozwiązuje konkretny problem, z którym się borykasz.
Sprawdzanie poprawności dzielenia na fragmenty
Wybór strategii to decyzja, która nie jest jednorazowa – należy ją regularnie mierzyć i ponownie analizować. Po wdrożeniu systemu warto śledzić trzy kluczowe wskaźniki.
- Pamięć przy odzyskiwaniu informacji. Weź dowolne pytanie: czy zbiór odzyskanych fragmentów zawiera dane niezbędne do udzielenia prawidłowej odpowiedzi? Jeśli nie, żadna dodatkowa obróbka zapytania nie może naprawić tej sytuacji.
Śledzenie tych trzech aspektów osobno, zamiast po prostu sprawdzania, czy ostateczna odpowiedź wydaje się poprawna, przekształca proces dzielenia tekstu na fragmenty z domysłów w coś, nad czym można pracować iteracyjnie.
Nieznaczny sposób na rozpoczęcie
Tani pierwszy eksperyment może pomóc. Zbierz dwadzieścia lub trzydzieści rzeczywistych pytań wraz z fragmentami tekstu, które powinny na nie odpowiadać. Przeprowadź ten sam zestaw przez dwa lub trzy różne sposoby dzielenia na fragmenty, takie jak ustalona wielkość z nakładaniem się, dzielenie uwzględniające strukturę oraz rozszerzanie w formie rodzic-dziecko. Dla każdego z tych sposobów policz, jak często potrzebne dowody pojawiają się w uzyskanym zestawie. Konfiguracja, która najlepiej radzi sobie z twoimi własnymi dokumentami, jest cenniejsza niż jakakolwiek ogólna rekomendacja.
Czego pamiętać
Dzielenie na fragmenty to nie krok przetwarzania wstępnego, który można ustalić raz i zapomnieć o nim. To pierwsza decyzja systemu dotycząca wyszukiwania informacji, a wszystko, co następuje później – od embeddingów po ponowne sortowanie i generowanie treści – jest pod wpływem błędów popełnionych na tym etapie.
Mocny model embeddingów nie może naprawić dokumentu źle podzielonego na fragmenty. Jeśli odpowiedzi uzyskane z systemu RAG wydają się losowe, niekompletne lub jednoznacznie błędne, sprawdź fragmenty tekstu przed zajrzeniem do modelu.
Źródła
Powyższe informacje pochodzą z publicznej dokumentacji Microsoft Azure AI Search, w tym z wyjaśnień dotyczących dzielenia dokumentów na fragmenty oraz umiejętności Document Layout, z repozytorium Azure-Samples zawierającego wskazówki dotyczące projektowania i oceny rozwiązań RAG, z stron LlamaIndex opisujących automatyczne łączenie elementów pobieranych z danych oraz parserów węzłów, z dokumentacji LangChain dotyczącej ParentDocumentRetriever, a także ze strony Amazon Bedrock wyjaśniającej, w jaki sposób dzielenie treści na fragmenty jest stosowane w bazach wiedzy. Ustawienia mogą się zmieniać pomiędzy różnymi wersjami, dlatego należy je sprawdzić w aktualnych dokumentacjach.