Галоўная / Артыкулы

RAG з улікам дыялогу ў Spring AI праз CompressionQueryTransformer

Выпраўляем расплывістыя ўдакладняльныя пытанні ў RAG-чаце на Spring AI: перапісваем запыты з улікам гісторыі да вектарнага сховішча з дапамогай двух будаўнікоў ChatClient.

Выдавец: REACTAPP.TOP6 хв чытання1455 слоў

Крыніцы: Spring AI Recipe: Making RAG Conversation-Aware

Чат-бот на адаптаваных групах даных працюе найкрашча, калі сістэма аналізу розумее весь ход размовы, а не толькі пасляпэўныя запытанні. Spring AI можа адключыць стосунаваную історыю чату да запытання, якое надаецца сховішчу вектараў, тады пасляпэўныя запытанні даўаюць неабходны кантэкст.

Проблема пасляпэўных запытанняў

Уявіце чат-дзеянне на адаптаваных групах даных, створанае на адной з правілніків NFL 2026 года. Перша запытанне — пра вызначэнне прыема з опусканнем ступні. QuestionAnswerAdvisor перадае самэ гэты тэкст у сховішча вектараў, вяртаюцься найбліжэйшы фрагменты, якія дадаюцца да запытання, і LLM пішае вызначэнне. Пакія ўсё правільна.

Наступныя словы — простая запытка: «Чы гэта ўскладненне?» Чалавек разумее, што тэмай яшчэ застаецца атака з падняцьем ступні. Але база вектараў гэтага не разумее. Перш чым ШММ успяў заўважыць што-небудзь, база прымечае толькі гэтыя чатыры словы. Калі ў ёй ўдача, яна вярнуе інфармацыю пра атакі з падняцьем ступні. Але часта яна вярнуе інформацыю пра ускладненні для несвязаных дзеянняў. Канверсацыйны RAG у загальным сэнсе мае гэтыя слабасці: людзі ставяць дапыткі без павтарэння кантэксту, а крок адзысквы не памятае пакульшыя запыткі.

Як гэта стварыць

Пачніце з існуючага спосабу стварэння RAG без аддзінальнай базы вектараў, і у настройках application.properties укажыце значэнне атрыбута rag.document.url на PDF-файл з правіламі, які NFL публікуе на сваёй веб-станцыі:

rag.document.url=file:///Users/habuma/Documents/ops-2026-NFL-Rulebook-FINAL.pdf

Потым запусціце прыкладненне без змян і запытайце пра атакі з падчыпленням ступні. Сесія выглядае так:

How can I help?

> What is a hip drop tackle?

 - A hip-drop tackle is a foul defined as when a player (a) grabs or wraps the
runner with one or both arms and then (b) unweights himself by swiveling and
dropping his hips and/or lower body, landing on and/or trapping the runner's
leg(s) at or below the knee. Penalty: Loss of 15 yards and an automatic first
down.

> Is there a penalty?

 - I can't answer that from the provided context. The excerpt you gave
contains general penalties for unsportsmanlike conduct, personal fouls,
enforcement spots, and related rules (many unsportsmanlike/personal-foul
penalties are 15 yards, sometimes with disqualification or an automatic first
down), but it does not define a "hip drop tackle" or state a specific penalty
for it.

Другое пытанне не адказанае на адказы, якія магчымыя з атрыманага кантэксту. Магазін ніколі не шукаў нічога пра тактыку тыпу „hip-drop tackles“, толькі інформацыю пра пытанне пенальты. У адказе адзначаецца сама тактыка, што паказвае, што історыя чату зберагла кантэкст. Проблема заключаецца у тым, што сістэма атрымання дадзеных ніколі не бачыла гэтай історыі. Патрэбна спосаб перадацы рэлевантнай історыі ў запіт да вектарнага магазіна, і Spring AI адпаведнае рашэнне прысутнае.

Іншы саветчык

QuestionAnswerAdvisor — не ўсё рашэнне тыпу RAG у Spring AI. RetrievalAugmentationAdvisor ўсё бол гнучкі і дазволяе настраіваць практычна кожны этап атрымання дадзеных. Аднам з пунктаваў расшырэння ёсць трансфармер запыту, які перапісвае запыт корыстніка пры яго падачы да магазіна.

У гэтым рэцэпце выкорыстоўваецца CompressionQueryTransformer. Незважаючы на назву, ён не проста скрачвае запіт. Ён перапісвае яго у компактную, самодостатнюю форму, якая мае ў сабе усё неабходнае з паказанай да гэтага часу розмовы. Тады хранальнік вектара атрымлеюць значна болей значымы запіт.

Трансфармер прызначаецца як bean:

@Bean
QueryTransformer queryTransformer(
    @Qualifier("queryCompressionChatClientBuilder") ChatClient.Builder chatClientBuilder) {
  return CompressionQueryTransformer.builder()
      .chatClientBuilder(chatClientBuilder)
      .build();
}

Гэта прасіць LLM стварыць лепшы запіт на аднойчынку з ныямным запытам і історыяй чату, і самэй гэтам ін’ўектуецца ChatClient.Builder. эты ін’ўектаваны будыўнік мае атрыбут @Qualifier. Павторны выкарыстоўкі будыўніка ў цыкле чату могла б стварыць цыркулярную залежнасць, а ўскладненне іх адзін ад другога таксама дазволяе выкарыстоўваць разныя модэлі для стыснення і для адпаведзення.

У OpenAI прысутны оба будыўнікі, таму не трэба додатковых прадаўцоў, такіх як Anthropic чыст Ollama, але заданы два аднародныя об’екты ChatClient.Builder:

@Bean
@Primary
ChatClient.Builder openAiChatClientBuilder(
    OpenAiChatModel openAiChatModel,
    ObjectProvider<ChatClientBuilderCustomizer> customizers) {

  return applyCustomizers(
      ChatClient.builder(openAiChatModel),
      customizers
  );
}

@Bean
@Qualifier("queryCompressionChatClientBuilder")
ChatClient.Builder compressionChatClientBuilder(
    OpenAiChatModel openAiChatModel) {
  return ChatClient.builder(openAiChatModel)
      .defaultOptions(OpenAiChatOptions.builder()
          .model("gpt-5-nano"));
}

private ChatClient.Builder applyCustomizers(
    ChatClient.Builder builder,
    ObjectProvider<ChatClientBuilderCustomizer> customizers) {
  customizers.orderedStream()
      .forEach(customizer -> customizer.customize(builder));
  return builder;
}

Эта структура падаець пад прыемы, якія вжываліся раней для калькуляцыі з несколькіма мадэлямі. Першы кампанія заменяе той, які автаконфігуруе Spring AI, тады зарэгістраваныя ChatClientBuilderCustomizer застаюцца актуальнымі, што досягаецца праз перадачу кампаніі і кастамайзероў у дапаможную функцыю applyCustomizers(). Ён пазначаны атрыбутам @Primary, таму ён ёсць стандартным, калі толькі @Qualifier не выберэ іншы. Другі кампанія існуе для стыснення запытак. Перапісва запытак — гэта дыяльнасць з нізкімі вітратамі, таму падходзіць маленькая, дэшавая мадэль, такая як gpt-5-nano, хоць можна вжываць будзь-яю мадэль.

Калі ўжо ёсць трансфармер і яго сае кампанія, QuestionAnswerAdvisor можа быць заменены на RetrievalAugmentationAdvisor, які настаўляецца за дапамогою ChatClientBuilderCustomizer:

@Bean
ChatClientBuilderCustomizer addRagAdvisor(
    QueryTransformer queryTransformer,
    VectorStore vectorStore) {

  return builder -> {
    var ragAdvisor = RetrievalAugmentationAdvisor.builder()
        .documentRetriever(VectorStoreDocumentRetriever.builder()
            .vectorStore(vectorStore)
            .build())
        .queryTransformers(queryTransformer)
        .build();
    builder.defaultAdvisors(ragAdvisor);
  };
}

Штатны кансалератар трэбуе большэй канфігурацыі, але дае большую контрольнае магчымасці. Спачатку яму патрэбен абяроннік дакументаў, у гэтым прыкладзе VectorStoreDocumentRetriever, які запоўнюе даныя з уведзенага VectorStore. Важным элементам ёсць вызов queryTransformers(), які прымеяе об’ект CompressionQueryTransformer. Пасля гэтага кожны запіт, нададзены для хранення, спачатку перапісываецца так, каб у яму быў уключаны актуальны кантэкст размовы, чым значна падвышаецца шанс абяронніка знайсці правыя дакументы.

Тая ж размова знову

Павтарэнне дыялогу дае іншы рэзультат:

How can I help?

> What is a hip drop tackle?

 - A hip-drop tackle is when a player (a) grabs the runner with one or both
hands or wraps the runner with both arms, and (b) unweights himself by
swiveling and dropping his hips and/or lower body, landing on and/or trapping
the runner's leg(s) at or below the knee. Penalty: Loss of 15 yards and an
automatic first down.

> Is there a penalty?

 - Yes. Loss of 15 yards and an automatic first down (the player may be
disqualified if the action is flagrant).

Аплікацыя поясняе, што такое такель, і таксама правільна адпаведзя на наступныя запытанні, хоць выкарыстоўчык ніколі больш не памінюе пра такелі з опусканнем ступні.

Разлік крыўціцца ў запытанні, якое падае ў базу дадзеных. Spring AI наразе не фіксуе перапісаны тэкст, таму найшырэйшы спосаб з’ясавіць гэта — адключыць працэс на рэйку return у функцыі CompressionQueryTransformer.transform(). Там будуць два варыянты перапісвы:

  • Першае запытанне стала дыявальнейшым, у яком запытвалі, што такое такель з опусканнем ступні, у якіх відэнах яго выкарыстоўваюць, як яго адбываецца, і якія ў яго юрыдычныя і безпековыя наследкі.
  • Нечыткае запытанне пра штрафы стала чытальнейшым, у яком запытвалі, чы рэгбі-футбол штрафуе за такель з опусканнем ступні, і якшто так, то на сколькі ярдоў, а таксама чы пасля гэтага автаматычна даецца першы прыступ.

У другій версіі запіту пояснюецца павышэнне якосці. У зьвязку з тым, што паказваўся неясны запіт, магазін отрымаў полны, самастоятэльны запіт, які включаў кантэкст з історыі, таму ён вярнуў фрагменты пра атакі з падняцьем ступні, а не пакаранні за іншыя дзеянні.

Цікава тое, што першы запіт таксама быў перапісан. Ён не залежаў ад пакульніх запытанняў, пры тым чым прыстрой Transformer расшырыў яго да болей дэталізаванага запытання, што можа павысіць эфектывнасць пошуку за рахунак яснейшага адзначэння намеру.

У гэму і крыхта ценнасці CompressionQueryTransformer. Карыстувальнікам не трэба ў кожны раз павтараць усё занова. Яны можаць размовляць натуральна, а магазін отрымае багаты, чыста адзначаны запіт, які яму трэба.

Гэта таксама толькі адны прыклад таго, што дазволяе RetrievalAugmentationAdvisor. Трансфармацыя запытку ўсьмо ўсьмо адна з точак расшырэння ў паўтарэчнай лініі. Адзысканне дакументаў, пасляобработка адзысканых дакументаў, пашырэнне запытку і іншыэ этапы таксама можна налаштаваць.

Прычыны, якія трэба вырахаваць

Компрэсія запытку не ўжо безкоштовна. Кожны крок карыстальніка цяпер спрычыняе дадатковы вызов LLM прычымо да таго, як толькі пачынаецца адзысканне, што прызводзіць да затрымкі і невялікіх віток. Гэта прычына, чаму для трансфармэру выдзеляецца свой маленькі модэль: задача перапісву ўсьмо короткая і чыста апісаная, таму ёй зазвычай можа падыходзіць компактны модэль, а галоўны модэль застаецца для фінальнай адпаведзі.

Паколькі перапісаны запіт за замовчаннем не фіксуецца, цікава ідэя — дадзіць сабе сістэму логавання або тымчасовы пункт зупінкі пад налагоджэнне. Швыдка перачытка калькі парагаў первасных і перапісаных запытаў дапамагае з’ясавіць, чы не пропускае трансфармер дэталей чы не дапыляе запыты прыпускамі, такімі як назва спорту ў першым прыкладзе вышэй. Калі якасць выкарыстоўваных даных выглядае некорэктна, перапісаны тэкст — гэта перша адзінка, яку трэба пераглядзець.

Супаўзвязаныя матэрыялы

  • Spring AI Recipe: Filtering RAG Results with Metadata by Game Title — Адгук пра Spring AI, які пазначае дакументы назвай, выкарыстоўвае LLM для выбору правільнага значэння з запытання і фільтруее рэзультаты вектарнага пошуку на ўсёй гэтай базе.
  • Spring AI: Лепшыя рэзультаты RAG за дапамою гібрыднага пошуку з Lucene і RRF — Адзінаванне вектарнага пошуку з Lucene BM25 у рэтрыверы Spring AI і злучэнне рангавання з методам Reciprocal Rank Fusion, ў рэзультаце чаго RAG знаходзіць адпаведнасці як па значэнні, так і па точным тэрмінам.
  • Перэрангаванне ў RAG з Spring AI і Pinecone: Перасунуць адказ з 4-го на 1-е месца — Дэманстрацыя Spring Boot, якая параболізуе простае вектарнае сэродзелнасць з наступным крокам перэрангавання bge-reranker у Pinecone на прыкладзе інструкцыі па кадровай працы, паказваюч, як адказ, які раней быў у занізітых пазічэннях, падымаецца на першае месца за счытам рэлевантнасці.