Главная / Статьи

RAG с учетом контекста разговора в Spring AI с CompressionQueryTransformer

Исправьте нечеткие вопросы в диалоге Spring AI RAG, переписав запросы с учетом истории чата до их отправки в хранилище векторов, с использованием двух конструкторов ChatClient.

Издатель: REACTAPP.TOP6 мин чтения1455 слов

Источники: Spring AI Recipe: Making RAG Conversation-Aware

Чат-бот на основе RAG работает наилучшим образом, когда система поиска понимает контекст всего разговора, а не только последнее сообщение. Spring AI позволяет включать релевантную историю чатов в запрос, отправляемый в векторный хранилище, так что последующие вопросы позволяют извлекать нужный контекст.

Проблема последующих вопросов

Представьте чат-приложение на основе RAG, созданное на основе правил NFL 2026 года. Первый вопрос касается определения приёма с опусканием бедра. QuestionAnswerAdvisor передаёт этот текст в векторное хранилище, возвращаются наиболее близкие по смыслу фрагменты, которые добавляются к запросу, и большая языковая модель формирует определение. Пока всё в порядке.

Следующее сообщение — это просто «Есть ли штраф?» Человек понимает, что речь по-прежнему идет о приеме с падением на бедро. Векторный хранилище этого не знает. Прежде чем ЯЗЫК увидит что-либо, хранилище получает только эти четыре слова. Если ему повезет, оно вернет информацию о приемах с падением на бедро. Скорее всего, оно вернет данные о штрафах за несвязанные действия. У конверсационных систем RAG в целом есть такая слабость: люди задают дополнительные вопросы, не повторяя контекст, а этап поиска не помнит предыдущие вопросы.

Воспроизведение

Начните с существующей схемы RAG без отдельной векторной базы данных и укажите свойство rag.document.url в файле application.properties на PDF-руководство, опубликованное NFL на его сайте операций:

rag.document.url=file:///Users/habuma/Documents/ops-2026-NFL-Rulebook-FINAL.pdf

Затем запустите приложение без изменений и спросите о приёмах с падением на бедро. Сессия выглядит так:

How can I help?

> What is a hip drop tackle?

 - A hip-drop tackle is a foul defined as when a player (a) grabs or wraps the
runner with one or both arms and then (b) unweights himself by swiveling and
dropping his hips and/or lower body, landing on and/or trapping the runner's
leg(s) at or below the knee. Penalty: Loss of 15 yards and an automatic first
down.

> Is there a penalty?

 - I can't answer that from the provided context. The excerpt you gave
contains general penalties for unsportsmanlike conduct, personal fouls,
enforcement spots, and related rules (many unsportsmanlike/personal-foul
penalties are 15 yards, sometimes with disqualification or an automatic first
down), but it does not define a "hip drop tackle" or state a specific penalty
for it.

Второй вопрос не получил ответа на основе полученного контекста. Магазин никогда не искал информацию о приёмах типа «hip-drop tackle», а только информацию по расплывчатому вопросу о штрафе. В ответе действительно упоминается этот приём, что говорит о том, что история чата сохраняла контекст. Проблема в том, что механизм поиска так и не увидел эту историю. Необходим способ включения релевантной истории в запрос к векторному хранилищу, и Spring AI предоставляет такой способ.

Другой советник

QuestionAnswerAdvisor — не единственный советник типа RAG в Spring AI. RetrievalAugmentationAdvisor более гибкий и позволяет настраивать практически каждый этап поиска. Одним из точек расширения является преобразователь запросов, который переписывает запрос пользователя перед тем, как он попадёт в хранилище.

В этом рецепте используется CompressionQueryTransformer. Несмотря на название, он не просто сокращает запрос. Он переписывает его в компактную, самодостаточную форму, в которую включается всё необходимое из прошлых разговоров. Таким образом, хранилище векторов получает гораздо более значимый запрос.

Трансформатор объявляется как bean:

@Bean
QueryTransformer queryTransformer(
    @Qualifier("queryCompressionChatClientBuilder") ChatClient.Builder chatClientBuilder) {
  return CompressionQueryTransformer.builder()
      .chatClientBuilder(chatClientBuilder)
      .build();
}

Он просит большую языковую модель сформировать более эффективный запрос на основе текущего вопроса и истории чата, поэтому внедряется ChatClient.Builder. Этот внедренный конструктор имеет аннотацию @Qualifier. Повторное использование конструктора в цикле чата привело бы к циклической зависимости, а их разделение также позволяет использовать разные модели для сжатия и для ответов.

Здесь OpenAI предоставляет оба конструктора, поэтому не требуется дополнительный поставщик вроде Anthropic или Ollama, однако определены два отдельных объекта типа ChatClient.Builder:

@Bean
@Primary
ChatClient.Builder openAiChatClientBuilder(
    OpenAiChatModel openAiChatModel,
    ObjectProvider<ChatClientBuilderCustomizer> customizers) {

  return applyCustomizers(
      ChatClient.builder(openAiChatModel),
      customizers
  );
}

@Bean
@Qualifier("queryCompressionChatClientBuilder")
ChatClient.Builder compressionChatClientBuilder(
    OpenAiChatModel openAiChatModel) {
  return ChatClient.builder(openAiChatModel)
      .defaultOptions(OpenAiChatOptions.builder()
          .model("gpt-5-nano"));
}

private ChatClient.Builder applyCustomizers(
    ChatClient.Builder builder,
    ObjectProvider<ChatClientBuilderCustomizer> customizers) {
  customizers.orderedStream()
      .forEach(customizer -> customizer.customize(builder));
  return builder;
}

Структура похожа на более ранние решения с использованием нескольких моделей. Первый конструктор заменяет автоматически настроенный конструктор Spring AI, так что зарегистрированные ChatClientBuilderCustomizer по-прежнему применяются; это достигается путем передачи конструктора и настраивающих элементов в вспомогательный метод applyCustomizers(). Он помечен аннотацией @Primary, что делает его стандартным вариантом, если только аннотация @Qualifier не выберет другой. Второй конструктор предназначен для сжатия запросов. Переписывание запросов — это простая операция, поэтому подходит небольшая, дешевая модель вроде gpt-5-nano, хотя можно использовать любую модель.

После того как будет подготовлен трансформер и соответствующий конструктор, QuestionAnswerAdvisor может быть заменен на RetrievalAugmentationAdvisor, настроенный с помощью ChatClientBuilderCustomizer:

@Bean
ChatClientBuilderCustomizer addRagAdvisor(
    QueryTransformer queryTransformer,
    VectorStore vectorStore) {

  return builder -> {
    var ragAdvisor = RetrievalAugmentationAdvisor.builder()
        .documentRetriever(VectorStoreDocumentRetriever.builder()
            .vectorStore(vectorStore)
            .build())
        .queryTransformers(queryTransformer)
        .build();
    builder.defaultAdvisors(ragAdvisor);
  };
}

Этот советник требует немного больше настроек, но обеспечивает более высокий уровень контроля. Сначала ему необходим инструмент для поиска документов — здесь это VectorStoreDocumentRetriever, который извлекает соответствия из подключенного VectorStore. Важной частью является вызов метода queryTransformers(), который принимает объект CompressionQueryTransformer. После этого каждый запрос, предназначенный для хранилища, сначала переписывается с учетом релевантного контекста диалога, что значительно повышает шансы на нахождение нужных документов.

Тот же диалог снова

Повторение диалога даёт другой результат:

How can I help?

> What is a hip drop tackle?

 - A hip-drop tackle is when a player (a) grabs the runner with one or both
hands or wraps the runner with both arms, and (b) unweights himself by
swiveling and dropping his hips and/or lower body, landing on and/or trapping
the runner's leg(s) at or below the knee. Penalty: Loss of 15 yards and an
automatic first down.

> Is there a penalty?

 - Yes. Loss of 15 yards and an automatic first down (the player may be
disqualified if the action is flagrant).

Приложение объясняет, что такое приём с падением бедра, и также правильно отвечает на последующие вопросы, хотя пользователь больше ни разу не упоминает этот приём.

Разница заключается в запросе, поступившем в хранилище векторов. В настоящее время Spring AI не записывает переписанный текст, поэтому самый быстрый способ его увидеть — это установить точку останова на строке return внутри метода CompressionQueryTransformer.transform(). Там отображаются два варианта переписывания:

  • Первый вопрос превратился в более длинный, в котором спрашивается, что такое приём с падением бедра, в каком виде спорта он используется, как он выполняется, а также каковы его правовые и безопасностные аспекты.
  • Неопределённый вопрос о штрафе превратился в полноценный вопрос о том, наказывает ли американский футбол приём с падением бедра, и если да, на сколько ярдов, а также следует ли автоматический первый прорыв.

Во второй версии запроса объясняется улучшение. Вместо неоднозначного вопроса магазин получил полный, самостоятельный вопрос, включающий контекст из истории запросов, поэтому были возвращены фрагменты о приёмах с падением бедра, а не информация о штрафах за другие действия.

Интересно, что первый запрос также был переписан. Он не зависел от предыдущих запросов, однако трансформатор расширил его до более описательного вопроса, что позволяет улучшить поиск за счёт большей ясности намерения.

В этом и заключается ценность CompressionQueryTransformer. Пользователям не нужно повторять всё при каждом последующем запросе. Они могут говорить естественно, в то время как магазин получает подробные, чёткие запросы, необходимые ему.

Это лишь один пример того, что позволяет RetrievalAugmentationAdvisor. Трансформация запросов — это лишь одна из точек расширения в данной цепочке обработки. Также можно настроить извлечение документов, постобработку полученных документов, расширение запросов и другие этапы.

Факторы, которые следует учитывать

Компрессия запросов не является бесплатной. Каждый шаг работы пользователя теперь запускает дополнительный вызов большой языковой модели ещё до начала извлечения данных, что увеличивает задержку и небольшие затраты. Именно поэтому для этой задачи используется отдельная небольшая модель: задача переписывания запросов короткая и четко определённая, поэтому для неё обычно достаточно компактной модели, в то время как основная модель сохраняется для формирования окончательного ответа.

Поскольку переписанный запрос по умолчанию не фиксируется в журнале, при настройке стоит добавить собственный механизм логирования или временный точку останова. Быстрый анализ нескольких пар оригинальных и переписанных запросов позволяет быстро определить, удаляет ли трансформер детали или заполняет запросы предположениями, такими как название спорта в первом примере выше. Если качество получаемых результатов кажется некорректным, первым местом для проверки будет переписанный текст.