Галоўная / Артыкулы

Сем патэрнаў RAG за межамі простага чат-бота і калі які падыходзіць

Даведнік па наіўным, гібрыдным, карэкцыйным, самарэфлексіўным, шматкрокавым, графавым і кантэкстным RAG: які прабел закрывае кожны, з чаго складаецца і як выбраць.

Выдавец: REACTAPP.TOP7 хв чытання1602 слоў

Крыніцы: Beyond the Chatbot: The Sophisticated Maturation of RAG Architectures

Генераванне, адкрэсаванае выкарыстаннем дадзеных, перасіліла свой экспэрыментальны этап. Спачатку гэта значыла проста ўвесьці PDF у векторную базу дадзеных і папросіць чат-бота апрацаваць яе. Цяпер промышленасць пераходзіць да складных сістэм AI, у якіх выкарыстанне дадзеных ёст калькулярная структура, а не адзін крок. У корпаратыўным масштабе просты падход продовжае неяксаваць за точнасцю, часам адпаведзення і багатакроковым мышлэннем, і ў якосты рашэння з’явілася група спецыялізаваных патэранаў. Цім лістам паказаныя такія патэраны і спосаб іх выбору.

Чаму дызайны продовжае ўдвойнівацца

Базавыя методы RAG дзеліюць дакументы на фіксаваныя часткі, уключаюць іх, выбіраюць тыя лепшыя за дапамою косай садоўнасці і перадаюць іх LLM. Гэта падходзіць для простых часта задаваемых запытанняў. Аднак такія методы не функцыонуюць эфектыва з точнымі ідэнтыфікаторамі, дугімі звярненнямі, наполненымі неодназначнымі займеннікамі, запытаннямі, якія распрацоўваюць калькі дакументаў, а таксама у сферах з высокай значамасцю, дзе галюцынаціі ўзятыя не ў расчыт.

Кожны новейшы варыянт нацэлёваны на адналькі з гэтых проблем:

  • Нізкая эфектыўнасць у вычысленні тэксту, які ўжо ёсць ў корпусе, для буквальных тэрмінаў, такіх як ідэнтыфікаторы політык, номеры частак аб рэферэнсы раздзелаў.
  • Праходжанне праз модэль шумных аб неактуальных частак.
  • Абсэнцыя альтэрнатывы, калі у внутршнім корпусе няма адказу.
  • Абсэнцыя самапераканання ў тым, чы рэтрыбюцыя аб генераванне ўзгадваецца на практычных дадзеннях.
  • Няма можлівасці аналізаваць калькі дакументаў праз калькі этапаў.
  • Втрата кантэксту на рэвэле дакумента ў маленькіх частках.

Базовая версія: просты RAG

Гэты шаблон являецца пачатковай точкай, і ён ужо зменшае галюцынаціі у порэванні з мадэляй, які працуюць толькі на даных з закрытай кнігі, штоя прыўязвае адпаведзіць да запрашаных тэкстаў.

Дакументы дзелюцца на фрагменты фіксаванага размеру, напрыклад 512 токэнаў. Такія ўшчэльненыя мадэлі, як bge-large або text-embedding-3-large, імпліментуюць іх, а вектары зберагаюцца ў сховішчах на кшталт Qdrant, Weaviate або Pinecone. Пад час запыту вектар запыту паўставляецца у адносе да вектараў фрагментаў за дапамогою косай схожасці, і тры-пяць лепшых фрагментаў падаюцца разам з запытам да LLM.

Гэты падход падходзіць для внутрашняых баз знаёмых на адной тэме, простага пошуку у FAQ і пратотыпаў, дзе важнейшая ўскорэнасць, чым тачнасць. Звычныя элементы — фрагментаванне фіксаванага размеру з мінімальным або без перакрыцча, адна ўшчэльненая індэксацыя вектараў, без або з простым рэранкерам, і будзь-які генератор, настроены ў спецыяльным чыньлівы.

Слабасці ёсць перэдбачуваныя. Точныя запіты з ключовымі словамі і абрэвіатурамі створаюць проблемы, межы частак ускладнююць розуміння кантэксту, а нічы не дозволяе віявіць проблемы пад час отрымання даных до початку генеравання.

Гібрыдны пошук з крос-кодэруючым рэранкерам

Одыны ўплотнены індэкс не можа правільна апрацуе даныя, калі запіты мішаюць нечысты значэння з буквальнымі ідэнтыфікаторамі, такімі як номеры правіл, ідэнтыфікаторы роздзелаў, SKU-ы чыстацьі норматывных актов. Тэставанні паказваюць, што гібрыдны метод отрымання даных у поўнай сумеснасці з нейральным рэранкерам перавышае эфектывнасць методаў з аднім етапам пад час апрацоўкі сумешаных тэкстоў і дакументаў у фармаце табліц.

Два знаходзічыя бегу параду. Рэдкісны лексычны метод, такі як BM25 або SPLADE, падбірае точныя тэрміны. Жыццёздатны семантычны метод фіксуе канцэптуальную сэроўнатосць. Іхнія рангаваныя спісы з’едынаюцца за дапамою методу Reciprocal Rank Fusion або калібруванага ваговага падходу. Першыя пяцьдзесят-ста з’едынаных кандыдатаў потым прабіваюць у крос-кодэр, які разам оцінюе кожную пару запіту і фрагмента і вяртае болей точныя першыя пяць-дзесяць кандыдатаў. Шырокія фрагменты і запіт доходзяць да LLM разам з метаданаямі цітатаў.

Ён падходзіць для дакументаў, які трэба адпаведаць стандартам, дзе важлівы точныя апісанні раздзелаў, для тэхнічных інструкцыяў, запоўненых номерамі частак і кодамі каштоў, для фінансовых дакументаў з табліцамі і точнымі чысловымі запітаннямі, а таксама для будзь-якой сістэмы вырабніцтва, дзе якасць аднаходжання інфармацыі вялічае якасць адпаведзей. Тыповыя складовыя включаюць фіксаваное або семантычнае раздзелэўванне з метаданнымі, алгорытмы BM25 або SPLADE разам з інтэнсіўным бі-кодэрам, методы RRF або навучанага з’еднання інфармацыі, крос-кодэры на кшталт bge-reranker, Cohere Rerank або Jina Rerank, а таксама LLM, які падтрымляе цытаты.

Корэктыўны RAG

Мета тут — не дазволіць сістэме даўаць адпаведзі на базе слабых або несутэйнасных фрагментаў. Пасля аднаходжання інфармацыі выконваецца перагляд якосці, а таксама існуе запасны маршрут, калі внутрашняя база дакументаў недастаткова.

Пасля адзыскання лёгкі атрыбутацыйны прыстрой оцэнівае фрагменты за адпаведнасцю да запытку і выдае пазначку па доверлівасці: правільны, неясны або некарэктны. Пасля чаго рутэр выбірае далейшы шлях. Правільныя рэзультаты пераходзяць да стварэння выходнага тэксту. Неясныя рэзультаты спрыяюць перапісву запытку, яе разбівцы або іншай стратэгіі адзыскання. Некарэктныя рэзультаты прыводзяць да пошуку ў інтэрнэце або выкарыстоўвання іншых зовнішніх джэрэл, таму некальканосныя фрагменты ніколі не выкарыстоўваюцца.

Адміністрацыя падтрымкі клёпачоў — гэта становыш, дзе нехватка інфармацыі не павінна ператварацца на выдумку. Іншы прыклад — часта апдэйтаваная тэхнічная дакументацыя з праслойкамі. Таксама як і будзь-яя сфера, дзе чыстасцю адпаведае ўсведамленая фраза «Я не ведаю» з кантэкстам з Інтэрнэту, а не самавпевнены неправільны адказ. Складовыя такога рашэння — гібрыдны або інтэнсыўны механізм пошуку, невялікі класыфікатор або мадэль, якая оцэнюе рэлевантнасць, маршрутазёр на адной з базаў правілаў або НЯМ, запасны варыянт у вобразе API для пошуку ў Інтэрнэце або дадатковага сховішча, а таксама генератор, якому паведамляюць цітаваць джэрэлы і прызнаваць неяснасці.

Самапрацоўны RAG

У такім дзяленні задач пошук і перакананне ў правамым адказе выконваюцца падчас самага генеравання. Мадэль выучыцца, калі трэба шукаты інфармацыю, чы розшукаўты матэрыял ёсць рэлевантным, і чы яе сопні адказ падтрымліваецца доказамі.

Ён працуе як цыклічны луп, кіроўнюемы спецыяльнымі токенамі або структураванымі запітамі. Мадэль выявляе, чы рэальна патрэба ў запрашванні інформацыі, оцэнюе рэлевантнасць атрыманых дакументаў, пішчыць адпаведны адказ на ўснове іх, пераканальваецца ў правядзімасці і полноце гэтага адказу, а пасля альбо пераканальваецца, альбо вадзіць няўмогчамасць да адпаведзі, калі падтрымка ёсць слабая. Практыка або запіты спакушаюць яго прабавляцца да тверджэнняў, караных падтрымкай, і адзначаць тыя тверджэнняі, якія не маюць падтрымкі.

Правовы аналіз контрактыв і параўнання клauзул ёсць доцільнімі. Так само корысні підсумкі медычніх справаздач, клінічні рэкомендаціі, аўдыты і перэвіркі дотрымання правіл, які маюць буты простэжуванімі, а таксама усі сітуаціі, дэ непідтрымана заява ёсць дорогою. Компоненты включаюць гібрыдній або домен-спецыфічній пошуковік, генератор, навчэній або запрограмованій на самокрытыку, за потрэбі — зовнішній верыфікатор, які перэвірае посілання проты отрыманіх фрагментыв, а таксама показнікі оцінкі для перэвіркі обгрунтованосты, точносты і поведынкі шчодо утрымання ад дый.

Агентній багатоетапній і підзапітній RAG

Дэякі запітання неможліво відповісты за одын етап пошуку: параўнання показніків між компаніямі і рокамі, відстэжэння залежнасцей між документамі або об’еднання інформацыі з кількох віддылів.

Агент прымае складную запіт і раздзеляе яе на кальколькі падзапытаў. Кожны з іх адбываецца ў апараце для пошуку, па спрабе чы ў паралельным рэжыме. Пасля чаго агент узгадвае суперсчытанні, з’едынае доказы і пішае галоўны адказ; які можа зноў запрацаваць, калі проміжныя рэзультаты пакажуць прасоцінкі.

Тыповыя прыклады выкарыстання включаюць паўтарную перапытку дакументаў 10-K з каліктамі па рынку, аналіз палітык у розных дасягненнях, расследаванні, якія абходзяць разныя аддзелы вялікай кампаніі, а таксама асістэнтав для даследжэнняя, якія агрэгуюць нараджэнні з многах джэрэл. Сістэме патрабуецца агент-планавальнік, які раздзеляе запыты, адна чы кальколькі індэксаў з можліва разнымі дасягненнямі, короткатэрмінная памяць для проміжных рэзультатаў, сінтэзатор, які з’едынае пададказы, і, за выборам, этап перапыткі ўзаемнай супараднасці ўсіх рэзультатаў.

GraphRAG

Працэўнае выкарыстоўванне плоскіх фрагментаў тэксту не можа выявіць зв’язкі, якіе распрастраняюцца па кальку лінкаў, такія як з’ёднанне падозрэльных абліков у рабоце з борьбы з валютным маніпуляванням, следаванне клінічным алгорытмам лечэння чыя-небудзь хворобы, або разумеўце складнай ланцуговой структуры постачання.

LLM чы працэс выкарыстоўвання дадзеных выявляе энтыты і зв’язкі ў дакументах. Яны падаюць у граф знанняў, у Neo4j чы ў структуру, якая знаходзіцца ў памяці. Потым запіты праходзяць па графе, каб знайсці багатоэтапныя зв’язкі, напрыклад тое, што адпаведны энтыт лечыць певную хворобу ў конкрэтнай клініцы. Выявленыя падграфы сумачваюцца з фрагментамі тэксту і перадаюцца LLM.

Ён падходзіць для выяўлення шахрайства і супакоўкі з фінансавымі правапарадкамі, падтрымкі клінічных рашэнняў, картавання арганізацый чыяго-небудзь ланцоўках поставок, а таксама для будзь-якой сферы, дзе звязкі межаў аб’ектаў маюць такое ж значэнне, як і сам тэкст. Базовыя элементы — гэта выкалывач аб’ектаў і ўзаемных звязкаў, база дадзеных у вобразе графа, такая як Neo4j, NetworkX чыя-небудзь кераваная база дадзеных у вобразе графа, прыстрой для пошуку, які спалохвае пераследаванне вузлаў і, за выборам, вектарны пошук сярод апісаў вузлаў, а таксама генератор, які берэ пад увагу і тэкст, і кантэкст графа.

Кантэкстуальнае чы рэзкае раздзеленне

Фрагмент, адсутны ў своем кантэксце, можа выйсці без значэння. Рэчыпак «дохады вырасілі на 15 процэнтаў» не паведамляе, якую компанію, годзіну чы сегмент ён опісвае.

Рашэнь — гэта калі LLM дадае пяцьдзiesць да ста токенаў кантэксту всіго дакумента кожнаму фрагменту пры яго імбеддаванні. Шырок ты можа павесці назву дакумента, раздзел, фінансавы год, назву аб’екта і іншыя важлівыя метаданы. Кожны такі дапрацоўванный фрагмент імбеддуецца і індэксуецца, таму атрыманыя фрагменты прыходзяць з своім кантэкстам, і генератору не трэба так многа здагадваліцца.

Гэта мае сэнс у довгіх PDF-справаздачах, які маюць табліцы, графікі і неясныя займеннікі, багаторычныя фінансавыя справаздачы і дакументы, якія неабходна подаць, а таксама тэхнічныя стандарты з павтараючыміся структурамі раздзелаў. Корача, любы корпус, у якім фразы на кшталт «компанія», «гэтыя умовы» або «яны» з’являюцца без чыстаўказанага аб’екта, да якога яны аднасаюць. Складовыя — гэта чанкер, працюючы на аснове LLM або правіл, які дадае заголовкі, гібрыдны або інтэнсіўны пошукавы механізм, неабавязковы крос-кодэр для пераранжавання і генератор, які можа выкарыстоўваць дадатковыя токены кантэксту.

Выбір шаблона

Вядзіце ся гэтымі пунктамі як з выйсковай точкай, а потым скорэктавайце ўсё на аднойчынку з рэзультатамі ацэнкі.

  • Просты внутршні пошук і пратотыпы: застаўцеся на простым RAG.
  • Сістэмы для практычнага выкарыстоўвання, ў чыяму разыграўцы важыць точныя тэрміны і табліцы: перэйдзіце на гібрыдны пошук з крос-кодэрам для пераранжавання.
  • Корпус з праслупамі і некальканымі адказамі, які коштаюць рэальных грошаў: дадзіце слой для карэктывыя.
  • Прававая, медычная або аўдытна работа, якой патрэбны строгія падставы: выберыце самапраектываючыся RAG.
  • Запытанні, якія распрастраняюцца па многіх дакументах і трэбуюць кальканых крокаў: выкарыстоўваеце агентны мульты-хоп выкарысцоўванне.
  • Задачы, якія залежаць ад таго, як аб’екты выступаюць між сабою: прыўяжыце GraphRAG.
  • Дзялёныя дакументы, у якіх неясныя апыланні паграджуюць якасць: дадзіце кантэкставае чанкуванне.
  • Зрэлыя сістэмы зазвычай суманавляюць кальканыя з іх. Сілны, паўзначны набор у 2026 годзе суманавляе гібрыдны выкарысцоўванне з фюзыяй RRF, пераранкаваннем праз крос-энкодэры і кантэкставым чанкуваннем, а таксама карэктываючым рэзервным варыянтам для запытанняў з нізкай доверлівасцю.