RAG, який враховує контекст розмови, у Spring AI з CompressionQueryTransformer
Виправте нечіткі запитання у відповідях у чаті Spring AI RAG, переписавши їх із історією чату ще до того, як вони потраплять до сховища векторів, використовуючи два конструктори ChatClient.
Чат-бот типу RAG працює найкраще, коли система пошуку розуміє весь контекст розмови, а не лише останнє повідомлення. Spring AI може включити відповідну історію чату до запиту, надісланого до векторного сховища, тож наступні запитання дозволяють отримати потрібний контекст.
Проблема наступних запитань
Уявіть собі чат-додаток типу RAG, створений на основі правил NFL 2026 року. Перше запитання стосується визначення прийому типу „hip-drop tackle“. QuestionAnswerAdvisor передає саме цей текст до векторного сховища, повертаються найбільш відповідні фрагменти, які додаються до запиту, і ШІ формулює визначення. Поки що все гаразд.
Наступне повідомлення — це просто „Чи є штраф?“ Людина розуміє, що тема все ще стосується прийому типу „hip-drop tackle“. Але сховище векторів цього не знає. Перш ніж ШІ побачить щось інше, сховище отримує лише ці чотири слова. Якщо йому пощастить, воно поверне інформацію про прийоми „hip-drop tackle“. Швидше за все, воно поверне дані про штрафи за несумісні дії. Конверсаційний підхід RAG має цю слабкість у загалі: люди ставлять додаткові запитання, не повторюючи контекст, а етап пошуку не пам’ятає попередніх запитів.
Відтворення
Почніть з існуючої схеми RAG без окремої бази даних векторів та вкажіть властивість rag.document.url у файлі application.properties на PDF-документ з правилами, який NFL публікує на своєму сайті:
rag.document.url=file:///Users/habuma/Documents/ops-2026-NFL-Rulebook-FINAL.pdf
Потім запустіть програму без змін та запитайте про прийоми з падінням на стегна. Сесія виглядає так:
How can I help?
> What is a hip drop tackle?
- A hip-drop tackle is a foul defined as when a player (a) grabs or wraps the
runner with one or both arms and then (b) unweights himself by swiveling and
dropping his hips and/or lower body, landing on and/or trapping the runner's
leg(s) at or below the knee. Penalty: Loss of 15 yards and an automatic first
down.
> Is there a penalty?
- I can't answer that from the provided context. The excerpt you gave
contains general penalties for unsportsmanlike conduct, personal fouls,
enforcement spots, and related rules (many unsportsmanlike/personal-foul
penalties are 15 yards, sometimes with disqualification or an automatic first
down), but it does not define a "hip drop tackle" or state a specific penalty
for it.
Друге запитання не отримало відповіді з отриманого контексту. Магазин ніколи не шукав інформації про прийоми типу „hip-drop tackles“, а лише про розмите запитання щодо пенальті. У відповіді дійсно згадується цей прийом, що свідчить про те, що історія чату зберегла контекст. Проблема полягає у тому, що механізм пошуку так і не бачив цієї історії. Необхідно знайти спосіб включення релевантної історії до запиту до векторного сховища, і Spring AI пропонує такий спосіб.
Інший порадник
QuestionAnswerAdvisor — не єдиний порадник типу RAG у Spring AI. RetrievalAugmentationAdvisor є більш гнучким та дозволяє налаштовувати майже кожен етап пошуку. Одним із точок розширення є трансформатор запитів, який переписує запит користувача перед тим, як він надійде до сховища.
У цьому рецепті використовується CompressionQueryTransformer. Незважаючи на назву, він не просто скорочує запит. Він переписує його у компактну, самодостатню форму, яка містить усе важливе з попередньої розмови. Таким чином сховище векторів отримує значно змістовніший запит.
Трансформер оголошується як bean:
@Bean
QueryTransformer queryTransformer(
@Qualifier("queryCompressionChatClientBuilder") ChatClient.Builder chatClientBuilder) {
return CompressionQueryTransformer.builder()
.chatClientBuilder(chatClientBuilder)
.build();
}
Це просить ШІ створити кращий запит на основі поточного запитання та історії чату, саме тому вводиться ChatClient.Builder. Цей введений будівельник має атрибут @Qualifier. Повторне використання будівельника у циклі чату призведе до циклічної залежності, а їх розділення також дозволяє використовувати різні моделі для стиснення та для відповідей.
Тут OpenAI надає обидва будівельники, тому не потрібен додатковий постачальник на кшталт Anthropic чи Ollama, проте визначені два окремі об’єкти ChatClient.Builder:
@Bean
@Primary
ChatClient.Builder openAiChatClientBuilder(
OpenAiChatModel openAiChatModel,
ObjectProvider<ChatClientBuilderCustomizer> customizers) {
return applyCustomizers(
ChatClient.builder(openAiChatModel),
customizers
);
}
@Bean
@Qualifier("queryCompressionChatClientBuilder")
ChatClient.Builder compressionChatClientBuilder(
OpenAiChatModel openAiChatModel) {
return ChatClient.builder(openAiChatModel)
.defaultOptions(OpenAiChatOptions.builder()
.model("gpt-5-nano"));
}
private ChatClient.Builder applyCustomizers(
ChatClient.Builder builder,
ObjectProvider<ChatClientBuilderCustomizer> customizers) {
customizers.orderedStream()
.forEach(customizer -> customizer.customize(builder));
return builder;
}
Ця конфігурація схожа на попередні рішення з кількома моделями. Перший будівельник замінює автоматично налаштований будівельник Spring AI, тож зареєстровані ChatClientBuilderCustomizer все ще застосовуються, що досягається шляхом передачі будівельника та налаштувань у допоміжну функцію applyCustomizers(). Він позначений як @Primary, тому є стандартним, якщо тільки @Qualifier не обере інший. Другий будівельник призначений для стиснення запитів. Переписування запитів — це дешева операція, тому підходить невелика, недорога модель, така як gpt-5-nano, хоча можна використовувати будь-яку модель.
Коли є трансформер та власний будівельник, QuestionAnswerAdvisor може бути замінений на RetrievalAugmentationAdvisor, налаштований через ChatClientBuilderCustomizer:
@Bean
ChatClientBuilderCustomizer addRagAdvisor(
QueryTransformer queryTransformer,
VectorStore vectorStore) {
return builder -> {
var ragAdvisor = RetrievalAugmentationAdvisor.builder()
.documentRetriever(VectorStoreDocumentRetriever.builder()
.vectorStore(vectorStore)
.build())
.queryTransformers(queryTransformer)
.build();
builder.defaultAdvisors(ragAdvisor);
};
}
Цей консультант вимагає трохи більше налаштувань, але забезпечує кращий контроль. Спочатку йому потрібен засіб для отримання документів — тут VectorStoreDocumentRetriever, який бере дані з введеного VectorStore. Важливою частиною є виклик queryTransformers(), який отримує об’єкт CompressionQueryTransformer. Після цього кожен запит, призначений для сховища, спочатку переписується з метою включення відповідного контексту розмови, що значно підвищує шанси на знаходження правильних документів.
Та сама розмова знову
Повторення діалогу дає інший результат:
How can I help?
> What is a hip drop tackle?
- A hip-drop tackle is when a player (a) grabs the runner with one or both
hands or wraps the runner with both arms, and (b) unweights himself by
swiveling and dropping his hips and/or lower body, landing on and/or trapping
the runner's leg(s) at or below the knee. Penalty: Loss of 15 yards and an
automatic first down.
> Is there a penalty?
- Yes. Loss of 15 yards and an automatic first down (the player may be
disqualified if the action is flagrant).
Додаток пояснює, що таке такл, і також правильно відповідає на наступні запитання, хоча користувач більше ніколи не згадує про такли з опусканням стегон.
Різниця полягає у запиті, який надійшов до сховища векторів. Наразі Spring AI не фіксує переписаний текст, тому найшвидший спосіб його переглянути — це додати точку зупинки на рядку return у функції CompressionQueryTransformer.transform(). Там буде видно два варіанти переписування:
- Перше запитання перетворилося на довше, у якому запитувалося, що таке такл з опусканням стегон, у якому виді спорту він використовується, як його виконують, а також які є наслідки з точки зору законності та безпеки.
- Нечітке запитання про покарання перетворилося на повне, у якому запитувалося, чи карає американський футбол такл з опусканням стегон, і якщо так, то на скільки ярдів, а також чи слідує після цього автоматичний перший прогрес.
Друга версія запиту пояснює покращення. Замість неоднозначного запиту магазин отримав повний, самостійний запит, який містив контекст з історії, тож були повернуті уривки про прийоми типу „hip-drop tackles“, а не покарання за інші дії.
Цікаво, що перший запит також був переписаний. Він не залежав від попередніх запитів, проте трансформер розширив його на більш описовий запит, що може покращити пошук шляхом чіткішого визначення наміру.
Ось у чому полягає цінність CompressionQueryTransformer. Користувачам не потрібно повторювати все з кожним наступним запитом. Вони можуть розмовляти природно, тоді як магазин отримує насичені, чіткі запити, які йому потрібні.
Це також лише один приклад того, що дозволяє RetrievalAugmentationAdvisor. Трансформація запиту — це лише одна з точок розширення в цьому конвеєрі. Отримання документів, післяобробка отриманих документів, розширення запиту та інші етапи також можна налаштувати за потреби.
Аспекти, які потрібно враховувати
Компресія запиту не є безкоштовною. Кожен крок користувача тепер спричиняє додатковий виклик LLM ще до початку пошуку, що збільшує затримку та додає невеликі витрати. Саме тому для трансформера створено окрему невелику модель: завдання переписування є коротким та чітко визначеним, тому його зазвичай може виконати компактна модель, тоді як основна модель залишається для формування остаточної відповіді.
Оскільки переписаний запит за замовчуванням не фіксується, варто додати власний механізм логування або тимчасову точку зупинки під час налаштувань. Швидке переглядання кількох пар оригінальних та переписаних текстів дозволяє швидко з’ясувати, чи втрачає трансформер деталі чи доповнює запити припущеннями, наприклад назвою спорту у першому прикладі вище. Якщо якість отриманих результатів є неправильною, перш за все варто перевірити переписаний текст.