Галоўная / Артыкулы

Навошта існуе RAG: параметрычная памяць, шчыльны пошук і артыкул 2020 года

Навошта існуе RAG: межы параметрычнай памяці, як BM25 і эмбедынгі прывялі да шчыльнага пошуку і чым адрозніваюцца RAG-Sequence і RAG-Token у арыгінальным артыкуле.

Выдавец: REACTAPP.TOP7 хв чытання1677 слоў

Крыніцы: What Is RAG? The Story Behind Retrieval-Augmented Generation and Why It Changed AI Forever

Няма аднаго правільнага спосабу стварэння сістэмы RAG. Кожная бізнес-праблема выклікае патрэбу унікальнай архітэктуры для масштабавання, а кожная стратэгія адгэтування мае свае праблемы, таму дызайн, які падходзіць для бота-падтрымкі, можа не паводзіцца ў правовых даследаваннях. Галузь таксама развіваецца стрэмганна. У 2020 году, калі пачаў выкліквацца падход Retrieval-Augmented Generation, мовныя мадэлі былі набагато слабейшыя, чым зараз. З тэх пэўнаг часу розумовыя працэсы, выконанне інструкцый, багатамодальнае розумеўнне, вікна кантэксту і вікорыстанне інструментаў значна падняліся. RAG застаецца ключовай тэхнікай для надзеяных AI-застосоў, таму што нават найсільнейшыя мадэлі не можу знаваць усё або завжды бачыць найновейшую інфармацыю. Адгэтуванне рэлевантных знанняў з зовнішніх джэрэл зменшае галюцынаціі і дапамагае заставіць адпаведзі на аснове надзеяных дакументаў.

Сэгодні гэтыя тэхнікі выкорыстоўваюцца ў платформах падтрымкі і корпоратывных чат-ботах, асістэнтах для напісання коду, інструментах для правовых даследжэнняў, клінічных прыладах, фінансовых сістэмах і аб’ектах для внутрашней падтрымкі знанняў. Усё-такі багатыя інструкцыі пераходзяць да векторных баз дадзенаў, методаў embedding або коду LangChain, не пытаючыся, чаму ўзагалі быў створаны RAG. Адпаведзь на гэты вопыт пачынаецца з первічных даследжэнняў і праходзіць да інжынерных ідэй, якія стояць за сучаснымі прыладамі, уключаючы прычыны выбору певных рашэнняў, ўскладненасці іх рэалізацыі і способы ўзмін.

Меры таго, што ведае мадэль

Калі модэлі у стылі GPT пачаткова праказалі выдаюшчуюся здатнасць до розумення мовы, багато людзей выдважвалі, што яны можаць адпаведзець на практычна ўсе запытанні. У певным ступені яны і моглі. Навчанне на вялічзіных наборах дадзеных научыла іх фактам пра історыю, навуку, програмаванне, матэматыку і літаратуру. Але усё, што модэль „знала“, было стыснуце ў яе параметрах пад час навчання, і калі навчанне завершылася, гэтыя знанні застылі.

Людзі працуюць адносна аднакова. Эксперты не паслугоўваюць толькі памяцюю. Кардыёлаг, які сталкнуўся з рэдкай хворобай або нова затверджаная метода лечэння, спачатку пераглядае актуальныя клінічныя рэкамендаціі або медычную літэратуру. Актыўны распрацоўшчык на мове Python, якога прабуюць пераканаць перавесты большую прыемку на Java, не ведае автаматычна ўсіх фрэймворкаў Java чы лепшых практык для гэтага, каб не пашкодзіць выдатнасці чы корыстнасці для корыстніка. Ён чытае дакументацыю Java, выбірае фрэймворк, такі як Spring, на адной з асновах масштаба прыемкі, і ўсё час калічыцца з інструкцыямі па міграцыі чы дакументацыяй праекта. Навыкы ужо ёсць, а зовнішнія матэрыялы ствараюць кантэкст для правільнага рашэння проблемы.

Мадэлі мовы сталкнуцца з тым жа проблемам. Іх загальныя знанні ўстойчывыя, але калі запытацца пра ўсё, што сталася пасля канца перыоду ўчэння — напрыклад, пра внутрэшній документ компаніі чыя-небудзь новая політыку — у ўсём гэтым іх няма. І ўсё горша тое, што там, дзе чалавек бы зьявіў неяснасць, мадэль часта дае плавны, абавязковы і фактычна некарэктны адказ, які сёньня шырока называецца галюцынацыяй.

Перэпрыяўленне мадэлі ўсё час, калі з’яўлялася новая інфармацыя, таксама не было рэалістычным, адколі сучасныя мадэлі выклікаюць вялічызненыя запатрэбненія ў вычыслювальных моцах, грошах і часе. Дзеярнікам была патрэбна мэтода, якая б дазволіла модэлі чытаць актуальную зовнішнюю інфармацыю пры адпаведзенні, без неабходнасці перэпрыяўлення. Гэтая патрэба прывела да стварэння тэхнікы Retrieval-Augmented Generation і заклала адну з аснов багацькох сучасных методаў кантэкстнага інжыніерынгу, якія маюць на меце даставіць модэлі правільную інфармацыю у правы час.

Два відзэны памяці

Ёжабы зразумець, чаму RAG мела значэнне, патрэбна разліка двух тыпаў памяці. Параметрычная памяць — гэта веды, якія зберагаюцца ў навучаных параметрах мадэлі: шаблоны, панявы, мовныя навыкі і факты, якія былі адкуплены пад час навучэння. У яе ёсць рэальныя меры:

  • Яе нельга лёгка апцэнаваць.
  • Яна можа стаць застарэлай.
  • Рэдкія факты можу забыцца.
  • Жадная мадэль не можа запам’ятаваць кожны дакумент, які калі-небудзь быў напісан.

RAG дадала непараметрычную памяць: веды, якія зберагаюцца за межамі мадэлі, у дакументах, базах дадзеных або індэксаваным корпусе, які адшукуецца пад час таго, калі мадэль дае адказ. Уместо таго, каб паслужыцца толькі тым, што было запам’ятавана месяцы раней, мадэль запрашае неабходны матэрыял за патрэбай пры напісанні адказу. Гэя простая ідэя змяніла спосаб, якім сістэмы AI могу кераваць ведамі, якія постаўляюцься ў постаці змян.

Адшукванне дахоўкі да мовных модэляў

Алгорытмы пошуку існавалі ўсё раней, чым з’явіліся большыя мовныя мадэлі. Працоўнікі пошуковых сістэм давно сталкваліся з аднаковай проблемай: серэд мільйонава дакументаў, калія з іх ёсць найболей значнымі для запіту карыстальніка? Першыя сістэмы паўтаралі словы, пільгаваючы тым, як часта тэрміны запіту з’являліся ў дакуменце. TF-IDF (Частота тэрміна – Вярнага прычыннік дакумента) паспрабаваў падняць эфектыўнасць, надаючы больш вагі інформатыўным словам і менш — распашчытым. BM25 пазней стаў стандартам у галузі для ранжыравання, выкорыстоўваючы болей прыгледзеную функцыю оцэнкі, якая лячыць як частоту тэрміна, так і дужыну дакумента, і ён досягаў застаецца ключовай часткай багато практычных сістэм пошуку.

Этыя падходы добра працуюць, калі точныя ключавыя словы ўжо ёсць ў дакуменце. Але яны маюць труднасці, калі два абароткі выражаюць адну і тую ж ідэю разнымі словамі, і гэтая праслойка стала падставай для сэмантычнага пошуку.

Калі нейральныя сеткі з’явіліся, дзеярнікі пачалі прэдставляць тэкст як ўпакоўаныя вектары, вядомыя як эмбедынгі. Эмбедынг — гэта чысловая прэдстава слова, рэчы або дакумента ў высокадымензійнам прасторэ, які часта называецца прасторам эмбедынга або лятэнтным прасторам. Адзінлівыя цыфры самыя по сабе мало чаго значаць. Разам яны фіксуюць значэнне, таму тэксты з падобным значэннем знаходзяцца блізка адзін да другога, а некалякіяя панявы знаходзяцца далека адзін ад другога. З-за такога кластэрування пошук можа вестыцца на адпрацоўку значэння, а не на точныя зусімства ключоўых слоў.

Узьмем прыклад карыстальніка, які спытаецца, як паспрабаваць парадксаваць карыстоўнасць нейральной сеткі. За дапамогою імбеддынга такы запіт все ж можа знайсці дакумент пад назвай „Тэхнікі оптымізацыі модэляў глыбокага навучэння“, хоць ні слова „нейральная сетка“, ні „карыстоўнасць“ у ям не выказаны. Пасля таго, як і запыты, і дакументы былі імбеддаваны, пошук стае пошукам вектараў дакументаў, якія знаходзяцца як можна бліжэй да вектара запыту. Гэя ідэя стала адной з аснов Dense Passage Retrieval (DPR), якая была прэдставленая у 2020 годзе. DPR паказала, што ўжоўтвораны семантычны пошук перавышае традыцыйны пошук за ключавымі словамі на багатых тэстах для адпаведзення на запыты з адкрытых домэнаў, і стала аднай з асновных складовых, якія зрабілі можлівым RAG.

Ад пошуку дакументаў да адпаведзення на запыты

Семантычныя методы адгукування пакрылі толькі палову частку задачы. Людзі не хочуць спіс дакументаў, яны хочуць адпаведзей, і гэта прыводзіць да адгукування на запытанні в адкрытым домене. Сістэма з закрытым доменам адбірае адпаведзі з фіксаванай базы знаёмых або набора дадзеных. Для адгукування на запытанні в адкрытым домене неабходна пашук у мільйонах дакументаў корыстных матэрыялаў прытым, як адпаведзаць. Калі ёсць запытанне на кшталт «Хто выграў Нобелевскі прыз у фізыцы 2024 года», сістэма спачатку скануе вялічэзны збор для знаходжэння найлепшых доказаў, а пасля пішае сваю адпаведзь на ўснове іх.

Гэта дае дваэтапную процэсуру:

  1. Адгукавацца да найболей рэлевантных дакументаў.
  2. Ствараць адпаведзь на адваротнае з тых дакументаў.

Гэты патэрн «з’явленне-потым-генераванне» ўтварае концэптуальную базу сучасных тэхналогій RAG. У стацыі 2020 года пад назвай Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks ён быў формалізаваны паўтарным з’еднаннем інтэнсіўнага механізма пошуку і модэлю генеравання последоўнасцей у ўзаемна спраяванай архітэктурэ. Яго цэнтральная ідэя была простая: не прасіце мовнага модэля даўаць адказы выключна на адвярнутыя з яго внутраніх параметраў даныя. Спачатку неабходна з’явіць найболей рэлевантныя зовнішні дакументы, а потым на ўснове гэтых фрагментаў кераваць процэсам генеравання. Механізм пошуку не заменіў мовныя модэлі; ён ўдосконаўваў іх, даваючы лепшую точнасць фактов, лепшыя рэзультаты у завадзях, якія выкарыстоўваюць велікі об’ём знанняў, а таксама знанні, якія можна апдэйтаваць простым заменай колекцыі дакументаў, не ператрэнаваючы модэль.

RAG-Sequence проты RAG-Token

У стацыянце быў запропанаваны два стратэгііяў адзысквання інфармацыі. RAG-Sequence адзысквае фіксаваны набор рэлевантных дакументаў аднойчы, перад пачаткам генеравання, і яны застаюцца тымі ж пры всім адпаведзе. Ён ўзлегкі ў вычысленнях і просты ў рэалізацыі, і ён яшчэ лягае ва основе большасці практычных RAG-сістэм.

RAG-Token ўсё бол дынамічны. Мадэль можа адзыскваць разныя дакументы падчас генеравання разных частак адпаведзе, што тэорэтычна дазволяе ёй збіраць свежую інфармацыю кожны раз, калі ёй трэба больш кантэксту, і гэта можа даць болей адпаведныя адпаведзенні.

Аббрэвія паводзіцца пра процэс напісання даследнічага абশ্য. За дапамою RAG-Sequence весь матэрыял для апавядання сарабіраецца да пераго рэчэнка. За дапамою RAG-Token аўтар зупініцца пасерэд напісання абশ্যа, каб вышукаць неабходную інфармацыю, калі выйдзе новы пытанне. Другі падход ёсць болей гнучкі, але ён выклікае больш заўсёды операцый вышуквання, спрацоўвае больш рэсурсаў і прызводзіць да затрымакаў. Самэ таму большасць практычных сістэм выбірае простэйшы дызайн RAG-Sequence і сфокусаваецца на самай схеме вышуквання, вжываючы гібрыдны пошук, пераранжаванне, перапісванне запыткаў і фільтрацыю метадаў.

Дзе не выйшаў первісны дызайн

Незважаючы на сваю рэвалюцыйную значымасць, первісная архітэктура мела недагоднасці, якія сталаўся ўжо пасля таго, як яе пачалі вжываць у рэальных умовах:

  • Якасць генеравання абশ্যа была обмежана якасцю вышуквання інфармацыі.
  • Неправільная разбівка матэрыялу паградзіла точнасць вышуквання.
  • Акна кантэксту мяркавалі, сколькі магчыма было падаць інфармацыі.
  • Методы інтэнсіўнага пошуку іноды працягваліся без знаходжэння важлівых точных падпадаў.
  • Пошук адбываўся раней за генераванне, што прызводзіла да затрымкі.
  • Падтрымка структураваных, табулярных і мультымадальных дадзеных была обмежаная.

Этыя проблемы сталі падставай для гадоў дальнейшых даследжэнняў, і за астаннія пяць гадоў тэхналогія RAG зменілася. Мадэлі мовы сталі набліжэней да ідэалу, мадэлі імбеддынгу паспелі развіцца, а базы дадзеных у вектарнай форме сталі болей розвітымі. Гібрыдныя методы пошуку спалучаюць лексычны і семантычны падходы да аднаходжэння інформацыі, а прыстроі перэранківага паспелі павышыць якасць выбору дакументаў. Новейшыя сістэмы дадаюць можлівасці фільтрацыі метададзеных, перапісву запытанняў, стыснення кантэкста, адаптатыўнага аднаходжэння інформацыі і агентных праграмных патэранаў; кроме таго, даследнікі запропанавалі такія падходы, як GraphRAG, Self-RAG, Corrective RAG (CRAG), RAPTOR і мультымадальнае аднаходжэння інформацыі. Што даўжыню, гэтыя дадаткі выправляюць большасць прычынных памылак ранніх версій, але ні адна з іх не заменяе самага ключовага крока — аднаходжэння інформацыі першым.

Сучасныя прыстройства для практычнага выкарыстоўвання значна адрозніяцца ад простай схемы 2020 года, пры тым яны спадзяюцца той жа фундаментальнай прымысловасці: аднаходзіць стосунаваныя знанні прычым перад тым, як ствараць адпаведны адказ.

Змена спосабу мышлення

Найболей значным ёсць тое, што RAG не столькі прызвалі да болей розумным мовным мадэлям, сколькі зменіў спосаб, якім людзі іх вікорыстоўваюць. Уместо таго, каб чакаць, што мадэль запамятае все большы запас знанняў, RAG спрыяе запрашанню званячых знанняў, калі гэта неабходна. Гэта змена адкрыла можлівасць ствараць сістэмы, якія ўсё болей тачныя, надзеяныя і здатныя справляцца з постаўна змінююцыміся данымі.

Знанне пра походжэнне RAG — гэта не проста урок історыі. Гэта паяснюе, чаму сучасныя сістэмы выглядаюць так, як выглядаюць, і чаму певныя архітэктурныя рашэнні маюць значэнне, калі яны вжываюцца ў практыцы. Команда, якая розумее первінныя мотывы, можа візначыць, якія новыя тэхнікі рашаюць рэальныя слабасці, а якія толькі дадаюць складнасці.

Супаўзвязаныя матэрыялы

  • Восьмыя ідэі лінейнай алгебры, якія стояць за тэхнікамі Embeddings, LoRA і PCA — вектары, матрыцы, скалярныя вектары, косінусная схожасць, нормы, SVD і ранг адгукаваны на прыкладах цін на будынкі і тэхніках ШЫ, якія аднойчы з імі.