Od prototypu do RAG w produkcji: wyszukiwanie hybrydowe, agenci oraz ocena
Architektura referencyjna dla RAG w produkcji w .NET: dzielenie na fragmenty, wyszukiwanie hybrydowe i grafowe, ponowne sortowanie, planowanie zapytań, wyjścia typowane oraz ciągła ocena.
Wiele prototypów RAG wydaje się gotowych po pięciu krokach: załadunek dokumentów, obliczanie embeddingów, zapisywanie wektorów, pobieranie kilku fragmentów oraz wysłanie promptu do modelu. Udowodnienie tej koncepcji nie wymaga więcej czasu. Problemy pojawiają się później, gdy korpus rośnie, zapytania przestają być przewidywalne, odpowiedź wymaga kilku źródeł lub ktoś prosi o dane pokazujące poprawę efektywności wyszukiwania. Ta architektura referencyjna, przedstawiona za pomocą aplikacji .NET i Blazor, obejmuje elementy dodawane w środowisku produkcyjnym. Zaczyna się od pobierania i dzielenia na fragmenty, następnie przechodzi do wyszukiwania wykorzystującego słowa kluczowe, wektory i sygnały grafowe, ponownego sortowania, agenta planującego zapytania, strukturyzowanego wyjścia oraz ciągłej oceny.
Pierwszy diagram porównuje prototyp z etapami wyszukiwania, sortowania, uzasadniania odpowiedzi i oceny wymaganymi w środowisku produkcyjnym.
Trzy sposoby dostarczania danych modelowi
Model odpowiada na podstawie swoich danych treningowych oraz informacji dostarczonych podczas zadawania zapytania. Raporty wewnętrzne, umowy, zgłoszenia obsługi klienta, polityki i dokumenty projektowe są przydatne tylko wtedy, gdy aplikacja może znaleźć odpowiednie fragmenty i włączyć je do kontekstu modelu. Jest to proste, dopóki ilość danych nie przekracza możliwości jednego zapytania – w takim przypadku istnieją trzy typowe rozwiązania.
Najprostszym z nich jest okno kontekstowe: wydobywa się tekst z pliku, wkleja go do zapytania i formuluje pytanie. Nadaje się do małych ilości treści i zadań krótkotrwałych, ale staje się marnotrawstwem zasobów, gdy ta sama duża ilość treści jest wysyłana wielokrotnie lub aplikacja musi przeszukiwać wiele dokumentów.
Drugim rozwiązaniem jest przeszukiwanie w ramach projektu lub sesji. Aplikacja utrzymuje mniejszy zbiór danych dostępny do powtarzanych zapytań semantycznych, co nadaje się do asystenta powiązanego z konkretnym projektem, przestrzenią roboczą lub aktywną sesją.
Na trzecim miejscu znajduje się generowanie wzbogacone o wyszukiwanie, skracane jako RAG. Aplikacja tworzy indeks z wyprzedzeniem, a następnie przy każdym pytaniu pobiera tylko te fragmenty, które są istotne, zamiast przesyłać do modelu całe korpus. Przegląd RAG firmy Microsoft przedstawia to w ten sam sposób: warstwa wyszukiwania dostarcza dane podstawowe po otrzymaniu zapytania, a model nie wymaga ponownego szkolenia.
Następny diagram porównuje te trzy podejścia pod kątem zakresu, czasu trwania oraz ilości danych dostępnych do wyszukiwania, które każde z nich może obsłużyć.
Co naprawdę obejmuje proces wyszukiwania
Większość z tych rozwiązań inżynieryjnych kryje się za pojęciem „odzyskiwania informacji”. Szukanie leksykalne jest skuteczne, gdy użytkownik zna dokładny termin – kody produktów, nazwy klientów oraz numery polis dobrze reagują na dopasowanie słów kluczowych. Szukanie wektorowe służy do innej potrzeby, polegającej na znajdowaniu fragmentów o tym samym znaczeniu, ale wyrażonych inaczej. Mechanizm ten jest prosty do zrozumienia: model embeddingu przekształca tekst w wektory liczbowe, pytanie przechodzi przez ten sam model, a warstwa wyszukiwania zwraca najbliższe elementy.
Trudniejszą decyzją jest to, co ma zostać przekształcone w wektor. Jeden embedding dla całego długiego dokumentu zazwyczaj jest zbyt ogólny dla dokładnych wyszukiwań. Procesy produkcyjne dzielą dokumenty na mniejsze, samodzielne fragmenty, dodają pewien stopień nakładania się, aby kontekst nie został utracony przy łączeniu fragmentów, oraz przechowują metadane źródłowe, dzięki czemu każdy odzyskany fragment można prześledzić do jego źródła.
Proces pobierania danych polega więc na całym łańcuchu operacji, a nie na pojedynczym wywołaniu API. Każdy plik jest analizowany, normalizowany, dzielony, wzbogacany o dane i indeksowany, a w zależności od projektu mogą być z niego również wydobywane metadane, pola, entity oraz relacje.
Poniższy diagram pokazuje przebieg przetwarzania plików źródłowych – od wydobywania tekstu, dzielenia go na fragmenty, tworzenia embeddingów, pozyskiwania metadanych po tworzenie indeksów umożliwiających wyszukiwanie.
Jedna decyzja przynosi korzyści później: należy zachować wystarczająco dużo metadanych, aby każda odpowiedź mogła wskazać swoje źródło. System RAG w warunkach produkcyjnych powinien umożliwić czytelnikowi prześledzenie dowolnego stwierdzenia do odpowiedniego dokumentu oraz przejrzenie zawartych w nim fragmentów.
Mieszanie strategii wyszukiwania
Poszukiwanie wektorowe jest przydatne, ale nie zawsze równie skuteczne przy każdym zapytaniu. Podobieństwo semantyczne pomaga, gdy zmienia się sformułowanie. Dokładne dopasowywanie słów kluczowych pozostaje ważne w przypadku nazw, dat, kodów, akronimów oraz żargonu branżowego. Wyodrębnianie informacji z grafów dostarcza kolejnego wskaźnika, gdy odpowiedź zależy od relacji pomiędzy elementami, a nie od podobieństwa między fragmentami tekstu. Dlatego najlepiej traktować proces wyszukiwania jako połączenie różnych strategii, a nie pojedynczą próbę wyszukiwania.
Wyszukiwanie według słów kluczowych zapewnia precyzję leksykalną, natomiast wyszukiwanie wektorowe umożliwia odzyskanie informacji semantycznych. Wyszukiwanie hybrydowe łączy metody rankowane i łączy ich listy wyników. Azure AI Search wykorzystuje do tego celu metodę Reciprocal Rank Fusion (RRF), łącząc wyniki rankowane z różnych wyszukiwań równoległych. Wyszukiwanie grafowe idzie o krok dalej: system wykorzystuje wyekstrahowane entity i relacje, aby śledzić powiązania w treści, co pomaga w przypadku pytań, których odpowiedź jest rozproszona między kilkoma dokumentami.
Następnie semantyczny mechanizm ponownego rankowania może przeliczyć oceny kandydatów w odniesieniu do zapytania i umieścić najlepsze wyniki na górze listy. Ten drugi etap jest ważny, ponieważ po prostu połączenie list rankowanych nie pokazuje, który wynik najlepiej odpowiada na zapytanie.
Poniższy diagram pokazuje, jak wyszukiwanie według słów kluczowych, wektorowe i grafowe są łączone za pomocą RRF oraz jak następuje ponowne rankowanie, zanim wybrane fragmenty trafią do modelu.
Planowanie zapytania
Stała ścieżka przetwarzania zakłada, że jedno wyszukiwanie wystarczy, co stoi w sprzeczności z wieloma rzeczywistymi pytaniami. Wyobraźmy sobie użytkownika, który pyta, w jaki sposób stara polityka różni się od nowej i co to oznacza dla wykonawców. W tym procesie kryje się kilka zadań: znalezienie dwóch dokumentów, wyodrębnienie z nich odpowiednich fragmentów, ocena dostępnych dowodów oraz napisanie syntezy.
Metoda agencyjnego wyszukiwania umieszcza to planowanie w ramach samego procesu wyszukiwania. Agent analizuje zapytanie, dzieli je na precyzyjne podzapytania, wykorzystuje historię rozmowy jako kontekst, przeprowadza wyszukiwania równolegle, ponownie sortuje wyniki i łączy dowody w jedną spójną odpowiedź. Różnica architektoniczna polega na tym, że wyszukiwanie przestaje być pojedynczym zapytaniem, które zawsze zachowuje się identycznie. To aplikacja decyduje, ile wyszukiwań jest potrzebnych i jakie dowody należy zebrać przed rozpoczęciem generowania odpowiedzi.
Poniżej przedstawiono schemat tego procesu, który polega na rozbiciu jednego złożonego pytania na równoległe zadania wyszukiwania oraz połączeniu uzyskanych informacji w jedną, poprawną odpowiedź.
Ocena
System RAG może dostarczyć dopracowaną odpowiedź nawet wtedy, gdy wyszukiwanie było słabe, dlatego okazjonalne ręczne sprawdzenia nie mogą stanowić jedynego sposobu kontroli jakości. Pomagają tutaj trzy oddzielne pytania:
- Jakość wyszukiwania: czy wyniki wyszukiwania zawierają fragmenty istotne dla zadanej kwestii?
- Uzasadnienie: czy te fragmenty wspierają sformułowaną odpowiedź?
- Relevancja: czy ostateczna odpowiedź odpowiada na postawione pytanie?
Pomagają one w identyfikacji różnych problemów. Słabe wyniki wyszukiwania nie da się naprawić poprzez przepisanie ostatecznej odpowiedzi, odpowiedź uzasadniona może nadal nie trafiać w sedno, a odpowiedź istotna może zawierać niepotwierdzone twierdzenia. Microsoft Foundry oferuje narzędzia do oceny tych aspektów jakości systemów RAG.
Następny diagram pokazuje, w jaki sposób trzy metryki oceniają różne punkty awarii w odpowiedzi RAG.
W środowisku produkcyjnym ocena odbywa się nieprzerwanie: zbierane są wyniki, a gdy spadną poniżej oczekiwanego poziomu, uruchamiany jest alert. W ten sposób jakość przestaje być jednorazowym testem i staje się częścią możliwości obserwacji aplikacji.
Łączenie elementów
Gdy obowiązki są rozdzielone, łatwiej jest zrozumieć funkcjonowanie systemu. Występują trzy główne strumienie przepływu:
- Strumień offline: przygotowuje korpus poprzez analizę źródeł, dzielenie ich na fragmenty i ich embedowanie, dodawanie metadanych lub relacji między elementami, a następnie zapisywanie wszystkiego do indeksów wyszukiwania
- Strumień online: obsługuje żądanie, przy czym planer decyduje, co należy wyszukać, proces wyszukiwania obejmuje odpowiednie strategie, kandydatury są łączone i ponownie sortowane, a wybrane dowody trafiają do modelu
- Pętla zwrotna: ocenia jakość wyszukiwania, trafność i istotność wyników, pokazując, w jaki sposób zmiany w procesie pobierania danych, rankowaniu, zapytaniach lub samych danych wpływają na użytkowników
Przewodnik projektowania i oceny rozwiązań RAG firmy Microsoft dzieli te aspekty na odrębne problemy projektowe, co stanowi przydatny sposób na uporządkowanie procesu tworzenia rozwiązania.
Następnie przedstawiono pełny obraz procesu, obejmujący pobieranie danych offline, wyszukiwanie i generowanie treści online oraz ciągłą ocenę.
To rozdzielenie pokazuje również, dlaczego praca w warunkach produkcyjnych przewyższa to, co sugeruje prototyp. W systemie znajdują się elementy takie jak analiza dokumentów, indeksy, wyszukiwanie wektorowe i leksykalne, powiązania grafowe, rankowanie, wywoływanie modeli, cytaty, ocena oraz interfejs użytkownika. Usługi zarządzane lub platformy mogą zapewnić kilka z tych elementów, jednak każda z tych funkcji nadal istnieje, tylko pod inną administracją.
Przykład z wykorzystaniem sprawozdań finansowych
Aby wypróbować tę architekturę w aplikacji, sprawdzone materiały źródłowe stanowią sprawozdania finansowe. Łączą one długie dokumenty, dokładne liczby oraz powtarzającą się terminologię, dzięki czemu błąd w liczbie jest od razu widoczny.
Aplikacja składa się z czterech warstw. Frontend Blazor Server wykorzystuje Telerik UI for Blazor do realizacji funkcji czatu, wykresów, tabel oraz układu. Do pobierania danych korzysta z Nuclia .NET SDK, natomiast usługa RAG zajmuje się przyjmowaniem danych, wyszukiwaniem hybrydowym i grafowym, ponownym sortowaniem oraz oceną.
Warstwy te przedstawiono na tym diagramie: Blazor Server, Telerik UI, Nuclia SDK oraz usługa RAG.
Dokumenty PDF finansowe przeszły przez proces przetwarzania, aby można było wydobyć treści wyszukiwalne oraz ustrukturyzowane pola. Dzięki temu dane zostały poddane dwóm formom weryfikacji: standardowemu wyszukiwaniu w odpowiedzi na pytania w języku naturalnym oraz ustrukturyzowanemu wyjściu dla wartości przeznaczonych do interfejsu użytkownika. Test dotyczący łącznych sprzedaży w roku finansowym zwrócił odpowiednią wartość wraz z odniesieniem do jej źródła. Odpowiedzi finansowe wymagają tak samo odniesień jak i samych zdań, ponieważ wskazują użytkownikowi bezpośrednio na odpowiedni dokument.
Aplikacja opiera się na mechanizmie AskAsync SDK, a jego zaletą jest to, że odpowiedź może być czymś więcej niż tylko tekstem. Wraz z żądaniem wysyłany jest typ C# o nazwie ChartAugmentedAnswer. SDK konwertuje go na schemat JSON, agent wyszukiwania kieruje się tym schematem podczas udzielania odpowiedzi, a zwrócony JSON jest ponownie konwertowany na obiekt typu C#.
Ten diagram pokazuje ścieżkę od typu w C# do schematu, następnie pobrane dowody, a potem dane do wykresu w formie typów.
To eliminuje krytyczny etap. Nie trzeba analizować tekstu, aby zgadnąć, które dane należą do wykresu. Tekst i wartości strukturalne wracają w jednym obiekcie, a komponent wykresu łączy się bezpośrednio z nimi.
Wybór odpowiedniego poziomu
Niewielki, krótkotrwały zbiór danych może być obsłużony wyłącznie za pomocą okna kontekstowego. Większy zbiór z bezpośrednimi pytaniami faktograficznymi jest obsługiwany za pomocą klasycznego podejścia RAG jako podstawy: dobrze zorganizowane fragmenty danych, wyszukiwanie wektorowe oraz według słów kluczowych, cytaty i ocena. Pytania wieloetapowe, konwersacyjne lub te, które wymagają powiązań między źródłami, wymagają planowania zapytań i zaawansowanych metod pozyskiwania informacji. Metoda wykorzystująca grafy okazuje się przydatna, gdy w pytaniu występują relacje między entytetami, ale dodaje ona złożoność, więc sama dostępność nie jest wystarczającym powodem do jej przyjęcia.
To samo dotyczy platform zarządzanych. One zmniejszają liczbę elementów infrastruktury wyszukiwania, które zespół musi utrzymywać, natomiast samodzielne tworzenie usług daje większą kontrolę nad indeksowaniem, orkiestracją, rankingiem i integracją. Odpowiednia decyzja zależy od tego, który warstwę zespół chce mieć pod swoją kontrolą.
Jedna rzecz jest nie do odłożenia: ocena. Gdy użytkownicy zaczynają polegać na odpowiedziach, konieczny staje się powtarzalny sposób sprawdzania, czy procesy wyszukiwania i generowania nadal działają zgodnie z oczekiwaniami.
Prototyp pokazuje, że wyszukiwanie może funkcjonować. Produkcja musi udowodnić coś trudniejszego: odpowiednie dowody nadal pojawiają się wraz ze zmianami danych, pytań i użytkowników. Jest to osiągalne po podziale obowiązków. Należy stworzyć uporządkowany proces przyjmowania danych, przechowywać cytaty i metadane źródłowe, łączyć różne metody wyszukiwania, gdy jeden sygnał nie wystarcza, ponownie sklasyfikować wyniki przed ich generowaniem, planować zapytania w przypadku, gdy pytanie wymaga kilku poszukiwań, oraz monitorować jakość, trafność i istotność wyników wyszukiwania, aby zmiany były widoczne w postaci konkretnych pomiarów, a nie domysłów. Rozsądny porządek realizacji projektu wygląda następująco: zacznij od najprostszego wzorca wyszukiwania, który rozwiązuje aktualny problem, i dodawaj kolejne warstwy tylko wtedy, gdy aplikacja pokaże, że są one potrzebne. W ten sposób uzyskuje się wyniki łatwiejsze do wyjaśnienia, testowania i ulepszenia.
Literatura pokrewna
- Debugowanie łańcucha przetwarzania, a nie modelu LLM: model mentalny do rozwiązywania problemów w RAG — Gdy bot RAG podaje błędne odpowiedzi, rzadko jest to wina modelu. Śledź błędy na etapach pobierania danych, wyszukiwania, generowania, oceny oraz pętli agencyjnych, aby znaleźć uszkodzony element.
- Praktyczne notatki: Granice wyszukiwania wektorowego w RAG — Podobieństwo kosinowe i inne — Szczegółowy przewodnik po praktycznych notatkach dotyczących ograniczeń wyszukiwania wektorowego w RAG — podobieństwa kosinowego oraz innych aspektów, wraz z kontraktami, sprawdzaniami i gotowymi fragmentami kodu dla zespołów wdrażających ten model.