RAG świadomy rozmowy w Spring AI z CompressionQueryTransformer
Popraw niejasne pytania następcze w rozmowie Spring AI RAG, przepisując zapytania przy użyciu historii rozmowy, zanim trafią do magazynu wektorowego, poprzez zastosowanie dwóch budowników ChatClient.
Chatbot typu RAG funkcjonuje najlepiej, gdy system wyszukiwania rozumie całą rozmowę, a nie tylko najnowsze wiadomości. Spring AI może włączyć istotną historię rozmów do zapytania wysyłanego do magazynu wektorowego, dzięki czemu kolejne pytania przywołują odpowiedni kontekst.
Problem kolejnych pytań
Wyobraźmy sobie aplikację czatową typu RAG stworzoną na podstawie regulaminu NFL z 2026 roku. Pierwsze pytanie dotyczy definicji zatrzymania piłki poprzez opuszczenie biodra. QuestionAnswerAdvisor przekazuje dokładnie ten tekst do magazynu wektorowego, powracają najbliższe fragmenty tekstu, które są dodawane do promptu, a model językowy generuje definicję. Jak dotąd nie ma żadnego problemu.
Następna wiadomość brzmi po prostu „Czy istnieje kara?”. Osoba wie, że tematem wciąż jest interwencja typu hip-drop tackle. Baza wektorowa tego nie wie. Zanim model językowy cokolwiek zobaczy, baza otrzymuje tylko te cztery słowa. Jeśli ma szczęście, zwróci informacje na temat interwencji hip-drop tackle. Bardziej prawdopodobne jest, że zwróci dane dotyczące kar za niepowiązane akcje. Systemy konwersacyjne typu RAG mają ogólnie tę słabość: ludzie zadają dodatkowe pytania bez ponownego przedstawiania kontekstu, a etap wyszukiwania nie pamięta wcześniejszych rozmów.
Odtworzenie tego systemu
Zacznij od istniejącego rozwiązania RAG bez oddzielnej bazy wektorowej i ustaw właściwość rag.document.url w pliku application.properties na adres PDF z zasadami, który NFL publikuje na swojej stronie operacyjnej:
rag.document.url=file:///Users/habuma/Documents/ops-2026-NFL-Rulebook-FINAL.pdf
Następnie uruchom aplikację bez zmian i zapytaj o zatrzymania typu hip-drop. Sesja wygląda w ten sposób:
How can I help?
> What is a hip drop tackle?
- A hip-drop tackle is a foul defined as when a player (a) grabs or wraps the
runner with one or both arms and then (b) unweights himself by swiveling and
dropping his hips and/or lower body, landing on and/or trapping the runner's
leg(s) at or below the knee. Penalty: Loss of 15 yards and an automatic first
down.
> Is there a penalty?
- I can't answer that from the provided context. The excerpt you gave
contains general penalties for unsportsmanlike conduct, personal fouls,
enforcement spots, and related rules (many unsportsmanlike/personal-foul
penalties are 15 yards, sometimes with disqualification or an automatic first
down), but it does not define a "hip drop tackle" or state a specific penalty
for it.
Druga pytanie nie znajduje odpowiedzi w uzyskanym kontekście. Sklep nigdy nie szukał informacji na temat podchodów typu hip-drop tackle, tylko ogólnej kwestii kar. Odpowiedź faktycznie wspomina o takim podchodzie, co pokazuje, że historia rozmowy zachowała odpowiedni kontekst. Problem polega na tym, że mechanizm wyszukiwania w ogóle nie widział tej historii. Potrzebny jest sposób na włączenie istotnych informacji z historii do zapytania w bazie wektorowej, a Spring AI oferuje takie rozwiązanie.
Inny doradca
QuestionAnswerAdvisor nie jest jedynym doradcą typu RAG w Spring AI. RetrievalAugmentationAdvisor jest bardziej elastyczny i umożliwia dostosowanie niemal każdego etapu wyszukiwania. Jednym z punktów rozszerzeń jest transformator zapytań, który przepisuje zapytanie użytkownika przed jego dostarczeniem do bazy.
To przepis wykorzystuje CompressionQueryTransformer. Pomimo nazwy nie ogranicza się on jedynie do skracania zapytania. Przepisuje je na zwięzłą, samodzielną formę, która zawiera wszystko istotne z dotychczasowej rozmowy. Dzięki temu magazyn wektorów otrzymuje znacznie bardziej znaczące zapytanie.
Transformator jest deklarowany jako bean:
@Bean
QueryTransformer queryTransformer(
@Qualifier("queryCompressionChatClientBuilder") ChatClient.Builder chatClientBuilder) {
return CompressionQueryTransformer.builder()
.chatClientBuilder(chatClientBuilder)
.build();
}
Prosi to model LLM o stworzenie lepszej zapytania na podstawie obecnej kwestii oraz historii rozmowy, dlatego wprowadzany jest ChatClient.Builder. Ten wprowadzony buder posiada atrybut @Qualifier. Ponowne użycie budera z pętli rozmowy spowodowałoby powstanie zależności cyrkularnej, a oddzielenie ich umożliwia również stosowanie innego modelu do kompresji niż do odpowiadania.
Tutaj OpenAI dostarcza oba budery, więc nie jest potrzebny żaden dodatkowy dostawca takiego jak Anthropic czy Ollama, ale zdefiniowano dwa oddzielne obiekty typu ChatClient.Builder:
@Bean
@Primary
ChatClient.Builder openAiChatClientBuilder(
OpenAiChatModel openAiChatModel,
ObjectProvider<ChatClientBuilderCustomizer> customizers) {
return applyCustomizers(
ChatClient.builder(openAiChatModel),
customizers
);
}
@Bean
@Qualifier("queryCompressionChatClientBuilder")
ChatClient.Builder compressionChatClientBuilder(
OpenAiChatModel openAiChatModel) {
return ChatClient.builder(openAiChatModel)
.defaultOptions(OpenAiChatOptions.builder()
.model("gpt-5-nano"));
}
private ChatClient.Builder applyCustomizers(
ChatClient.Builder builder,
ObjectProvider<ChatClientBuilderCustomizer> customizers) {
customizers.orderedStream()
.forEach(customizer -> customizer.customize(builder));
return builder;
}
Układ przypomina wcześniejsze rozwiązania z wieloma modelami. Pierwszy buder zastępuje automatycznie skonfigurowany przez Spring AI buder, dzięki czemu zarejestrowane ChatClientBuilderCustomizer nadal są stosowane – dzieje się to poprzez przekazanie budera i kustomizatorów do pomocniczej funkcji applyCustomizers(). Jest on oznaczony jako @Primary, co czyni go domyślnym, chyba że @Qualifier wybierze inny. Drugi buder służy do kompresji zapytań. Przepisywanie zapytań to kosztowna operacja, więc dobrze sprawdza się mały, tanio kosztujący model taki jak gpt-5-nano, choć można użyć dowolnego modelu.
Gdy transformator wraz z własnym buderem jest już dostępny, QuestionAnswerAdvisor może zostać zastąpiony przez RetrievalAugmentationAdvisor, skonfigurowanym za pomocą ChatClientBuilderCustomizer:
@Bean
ChatClientBuilderCustomizer addRagAdvisor(
QueryTransformer queryTransformer,
VectorStore vectorStore) {
return builder -> {
var ragAdvisor = RetrievalAugmentationAdvisor.builder()
.documentRetriever(VectorStoreDocumentRetriever.builder()
.vectorStore(vectorStore)
.build())
.queryTransformers(queryTransformer)
.build();
builder.defaultAdvisors(ragAdvisor);
};
}
Ten doradca wymaga nieco więcej konfiguracji, ale oferuje większą kontrolę. Najpierw potrzebuje narzędzia do wyszukiwania dokumentów, w tym przypadku VectorStoreDocumentRetriever, które pobiera wyniki z podanego VectorStore. Kluczową częścią jest wywołanie queryTransformers(), które otrzymuje obiekt CompressionQueryTransformer. Od tego momentu każde zapytanie skierowane do magazynu jest najpierw przepisywane tak, aby zawierało istotny kontekst rozmowy, co znacznie zwiększa szanse na znalezienie odpowiednich dokumentów.
Znowu ta sama rozmowa
Powtórzenie dialogu daje inny wynik:
How can I help?
> What is a hip drop tackle?
- A hip-drop tackle is when a player (a) grabs the runner with one or both
hands or wraps the runner with both arms, and (b) unweights himself by
swiveling and dropping his hips and/or lower body, landing on and/or trapping
the runner's leg(s) at or below the knee. Penalty: Loss of 15 yards and an
automatic first down.
> Is there a penalty?
- Yes. Loss of 15 yards and an automatic first down (the player may be
disqualified if the action is flagrant).
Aplikacja wyjaśnia tę taktykę, a także poprawnie odpowiada na kolejne pytania, chociaż użytkownik nigdy ponownie nie wspomina o taktyce opartej na opuszczeniu biodra.
Różnica polega na zapytaniu, które trafiło do magazynu wektorowego. Spring AI obecnie nie rejestruje przepisanej treści, więc najszybszym sposobem na jej zobaczenie jest ustawienie punktu przerwania na linii return wewnątrz metody CompressionQueryTransformer.transform(). Pojawią się tam dwa przepisywania:
- Pierwotne pytanie stało się dłuższe i dotyczyło tego, czym jest taktyka oparta na opuszczeniu biodra, w jakim sporcie się jej używa, jak się ją wykonuje oraz jakie są jej konsekwencje prawnicze i bezpieczeństwa.
- Niejasne pytanie o kary stało się pełniejsze i dotyczyło tego, czy futbol amerykański karze taktykę opartą na opuszczeniu biodra, a jeśli tak, o ile jardów i czy następuje automatyczny pierwszy down.
Druga wersja zapytania wyjaśnia tę poprawę. Zamiast niejednoznacznego pytania sklep otrzymał pełne, samodzielne zapytanie zawierające kontekst z historii, dzięki czemu zwrócił fragmenty dotyczące interwencji typu hip-drop tackle, a nie kary za inne akcje.
Ciekawe jest to, że pierwsze zapytanie również zostało przepisane. Nie zależało ono od wcześniejszych zapytań, a mimo to model transformer rozszerzył je na bardziej opisowe pytanie, co może poprawić wyszukiwanie poprzez większą klarowność intencji.
W tym właśnie polega wartość CompressionQueryTransformer. Użytkownicy nie muszą przy każdym kolejnym zapytaniu powtarzać wszystkiego. Mogą rozmawiać naturalnie, podczas gdy sklep otrzymuje bogate, precyzyjne zapytania, których potrzebuje.
To jest również tylko jeden przykład tego, co umożliwia RetrievalAugmentationAdvisor. Transformacja zapytania to jeden z punktów rozszerzeń w tym procesie. Można również dostosować pozyskiwanie dokumentów, postprocesowanie uzyskanych dokumentów, rozszerzanie zapytań oraz inne etapy.
Kwestie do uwzględnienia
Kompresja zapytań nie jest bezkosztowa. Każda kolejna akcja użytkownika wywołuje dodatkową próbę wywołania LLM jeszcze przed rozpoczęciem wyszukiwania, co powoduje opóźnienie i niewielkie koszty. Dlatego transformator ma swój własny mały model: zadanie przepisywania jest krótkie i dobrze zdefiniowane, więc zazwyczaj wystarcza model kompaktowy, podczas gdy główny model jest przeznaczony na dostarczenie ostatecznej odpowiedzi.
Ponieważ zapisywany zapytanie po przepisaniu nie jest domyślnie rejestrowane, warto dodać własny mechanizm rejestracji lub tymczasowy punkt przerwania podczas dostosowywań. Szybkie przejrzenie kilku par oryginalnych i przepisanych pokazuje, czy transformator pomija szczegóły, czy też uzupełnia zapytania domysłami, takimi jak nazwa sportu w pierwszym powyższym przykładzie. Jeśli jakość wyświetlanych wyników jest niewłaściwa, pierwszym miejscem do sprawdzenia jest przepisany tekst.