Паспяшнае адказванне з падчыпленнем дадзейна: ад неапраных дакументаў да падкрэпленых адказаў.

Мадэлі мовы маюць дзівныя прычынкі: яны здаюцца впэўненымі ў сабе нават тады, калі у яных няма неабходных фактов. Запытайце пра внутрэнюю політыку компаніі, інструкцыю да продукту, выпусканага месяцам раней, незначны юрыдычны дакумент або чат-запыт з падтрымкай з вчора — мадэль можа проста нічога не ведаць. Што горэ, яна можа стварыць шта-небудзь, што здаецца правдападобным, каб закрыць гэтую прасоўку.

Метод генеравання з адзыскам дадзэнняў, які часта скарацваюць да RAG, ёсць стандартным рашэнням. Такая схема дазволяе мадэлі запытваць зовнішнія джэрэлы інформацыі тады, калі гэта неабходна. Не трэба, каб усё знаходзілася ў памяці мадэлі, адтуды сістэма шукае надзеяны базу дакументаў, выбірае найболей рэлевантныя фрагменты і стварае адпаведны адказ. Проста кажучы, асістэнт, які не мае доступу да інформацыі, становіцца асістэнтам, які можа ўзяць інформацыю з зовнішніх джэрэлаў.

Гэты падход прывернуў увагу завяршэннем даследжэння 2020 года пра генераванне з адчыненням інфармацыі для задач NLP з вялікай канцэнтрацыёю знаёмасцей, у яком была супарабоўвана генератыўная мадэль з прыстроем для пошуку, які шукаў у зборцы зовнішняях дакументаў. Ключоўым вынікам было тое, што вбудованыя знаёмасці модэлі і зовнішняя інфармацыя можу дапамагаць адна другой. Модэль забезпечвае мовныя можлівасці, а прыстрой для пошуку — актуальныя, конкрэтныя дэталі.

Базовы праграма працюе ў двух фазах. Індэксаванне падготавлівае дакументы для пошуку. Адпаведзенне прыме чыё-небудзь запітанне, знаходзіць стосунакавы матэрыял і перэдае яго модэлю як кантэкст. Гэта здаецца простым, але кожны етап скрывае рашэнні, якія формуюць рэзультат. Слабы сістэма рэдкая час збываецца праз пакінутасць самай модэлі. Частае прычына — гэта тое, што ён знаходзіць некарэктныя дакументы, фрагменты ў яго выходзе неупорадкованыя, запітанне ёсць нечысткім, або сістэма не можа з’явіць, што у яе няма адпаведзення.

Наступныя раздэлы постаўляюць гэту ідэю з самага пачатку.

Што на практыцы робіць RAG

Базовы цыкл складаецца з чатырох крокаў. Пользоватэль задае запітанне. Сістэма шукае ў базе знанняў. Найболей прыдатныя фрагменты патрапляюць у запіт модэлі. Модэль адпаведзае, выкорыстоўваючы гэты знайдзены кантэкст.

Уявіце кліента, які хочаць з’ясавіць, чы можна вернуць перароблены ноутбук пасля 20 дзён. Звычны чат-бот можа здагадвацца на адпаведнасць да загальных прычынкаў у роздробной торгавлі. Чат-бот на аднойчынай базе дадзеных можа знайсці адпаведную політыку вярнення, знайсці раздзел пра пераробленыя продукты і даць адпаведную адказ. Якшто політыка встановляе 14-дзённы тэрмін для пераробленых ноутбуков, бот можа гэта падтвердзіць. Якшо ў політыцы няма інформацыі пра пераробленыя ноутбукі, бот не павінен выдумваць правіла.

Гэтае і ёсць сутнасць: спачатку запошук, пасля — стварэнне адказу. Запошук скурчвае масштабы да калькі корыстных дапаможных дадзеных, а стварэнне адказу ператварае іх у корыстную адпаведнасць. Якшо ўсё зроблена правільна, такі падход павышае точнасць фактов, спрыяе лёгкам перапрацаванню адказоў і дазволяе апдэйтаваць тое, што знае сістэма, без практычнага ператрэніравання мадэлі.

Выбор джэрэлы ведамасцей

Кожны пайплайн запускаецца з матэрыялу, які трэба адзьёбваць. Тыповыя варыянты — корпоратывныя дасведчыванні, інструкцыі да продуктав, статыі з цэнтра дапамогі, PDF-файлы, кантракты, научныя працы, запісы з сэсій, запісі з базы дадзеных, дасведчыванні да коду і заявкі на падтрымку.

Самы вялікы істочнік не завжды ёсць найлепшы. Сфармаваны, апрануты і актуальны набор дасведчыванняях зазвычай лепшы за велікі шматак застарэлых файлоў. RAG не можа паспрабаваць выправіць пакіянуты істочнік матэрыялу, таму застарэлыя, нечысткія або суперасунковыя дасведчываннія даюць застарэлыя, нечысткія або суперасунковыя адказы.

Перад індэксаваньем чаго-небудзь карытна задаць калькі практычных запытанняў:

• Чы ўцёнкі точныя і актуальныя?
• Каму яны належаць?
• Чы кожнам пользоватэлям разрэшана іх адзьёбваць?
• Чы ёсць дуплікаты або суперасунковыя версіі?
• Чы табелі, адпрыемкі, прымечанні або прававыя клазусы трэба обрабляць спецыяльна?

Маленькая, але добрачна база знання — гарная пачатковая точка. Для першага праекта выберыце адзін чысты кейс выкарыстання, напрыклад, запытанні пра інструкцыю для спаведамчыка або FAQ да продукту, і расшырывайце яе, калі гэта запрацуе.

Чыстка і падготовка дакументаў

Сырыя файлы рэдка калі ўжо гатовы для пошуку. У PDF-файлах можа быць наражаная структура абзацаў. Веб-сторункі маюць меню, банеры з кукі, рэкламу і футэры, якія павтараюцца на кожной сторунцы. У внутршнях дакументах загаловкі можаць не мець достатнюю інфармацыю, а табліцы можаць хаваць важлівыя дэталі ў столбцах, якія паслаба чытаемыя як звычны тэкст.

Чыстка ператварае гэты бялк у тэкст, які можна шукаты. Яна можа включаць адзьёмленне непатрэбных элементаў, зберэжэнне загалоўкаў, выкарыстоўванне таблыц, пераканвертаванне усяго у аднаковы фармат і дадаўанне метаданых. Метаданыя ўжо особліва корыстныя, калі фрагмент павышае сваю цэннасць за рахунак наявнасці такіх поль як назва дакумента, автар, дата, аддзел-власнік, версія продукту, хутчэйшыя лінкі, рэжым доступу чыста загалоўка раздзела.

Пораўняйце просты фрагмент на кшталт «Вернуць можна толькі прыбылыя за 14 дзён» з фрагментам, які мае абазаваныя пазначэнні: назва — гэта правіла вярнуць перэраблены ноутбук, раздзел — перыод вярнуць, яго пасляпэўна адкорэгавалі у марцы 2026 года, а ў тэксце напісана, што вярнуць перэраблены ноутбук трэба прыбылыя за 14 дзён пасля яго прыбыцці. Такі другі варыянт дае як тому, хто шукае, так і модэлю больш матэрыялу для работы, і пазней спрошчае цітаванне і фільтрацыю.

Раздзелэнне дакументаў на фрагменты

Мадэлі мовы і сістэмы адказвання зазвычай не обрабоцваюць цэлыя кнігі, інструкцыі чыста бібліятэкі правілаў як адна цэласць. Яны лепшая справляюцца з меньшымі фрагментамі, якія называюцца чанкамі.

Разбіўка на чанкі ўскладнівае адной з найважлівейшых частак усяго працэсу, таму што адказвання вядзецца на рэвэлюцыі на рэвэлюцыі чанкаў. Калі чанкі занадта вялікія, адказ можа быць заглушаны нерэлевантным тэкстам. Калі яны занадта маленькія, сістэма можа знайсці фрагменты без достатньго кантэксту, каб правільна адказаць. Хорашы чанк — гэта той, які ўстаўляецца достатнькае для выражэння цэлага ідэі і ў той жытак мае розмер, каб заліцца сфокусаваным.

Для сістэм з вялікай колькасцю тэксту распрацоўшчыкі часта пачынаюць з чанкаў у колькасці каля кількох сот каўалакоў і корэгуюць іх па рэзультатах. Дзеякія выкарыстоўваюць перакрытыя чанкі, каб кантэкст не згубіўся на межы, напрыклад, там, дзе загалоўка заканчоўвае адны чанк, а тэкст правіла, які яна пракладае, пачынае наступны.

Калечэнне тэксту следует, калі гэта можліва, адпраўляць па структуры дакумента. Раздзелэнне на секцыі, загалоўкі, параграфы чыя-то пары запытання-адказ зазвычай лепшая, чым разрэзанне па фіксаванай колькасці сімвалаў, і разныя тыпы дакументаў, такія як правілы вярнення грошаў, падрабіцы для адлучэння проблем і науковыя статты, можаць кожны патрабаваць свайго сабе падходу.

Сюды ж прыводзіць тое, што багатыя базовыя сістэмы тыха моцнае дасягаюць успеху чы прағалі. Мадэль можа адпавядаць толькі на тое, што яна прымеўша, таму фрагмент без кантэксту можа спантаваць нават моцную мадэль.

Стварэнне імбеддынгаў

Пасля чысткі і калечэння кожны фрагмент ператвараецца ў імбеддынг — чысловую адпраўленасць значэння. Тэхнічна гэта вектар, спіс цыфр, які фіксуе сэмантычную інфармацыю пра тэкст. Тэксты з падобнымі значэннямі часта знаходзяцца блізка адзін да другога ў вектарным прасторэ, што дазволяе сістэме шукаць па значэнні, а не толькі па точным ключавым слову.

Такім чынам, задумаўся мы пра тое, які час трэба, каб хтось адправіў назад перэроблены камп’ютар, калі ў дасягліх документах зазначаецца, што перэробленыя ноутбукі можна вярнуць за запітам прыблізна за 14 дняў пасля доставкі. Традыцыйны пошук за ключовымі словамі можа не пазначыць зв’язак между фразамі «адправіць назад» і «вярнуць», або между «камп’ютар» і «ноутбук». Пошук на аднойчыні больш верагатна выявіць такія зв’язкі.

Такая семантычная адпаведнасць пояснюе, чаму методы ўжоўвышанага аднаходжэння інфармацыі сталі важлівымі ў адпаведзенні на запытанні ваўконага домэна. Раследаванні 2020 года паказалі, што навучаныя ўжоўвышаныя прэдставленні могу перамагаць сільны базовы метод BM25 у канкрэтных тэстах аднаходжэння інфармацыі для адпаведзення на запытанні ваўконага домэна.

У простайй сістэме апрацоўкі паведамлення кожны фрагмент уключаецца ў базу знанняў. Калі корыстнік ставя запіт, яго таксама уключаюць, порушваюць з фрагментамі, які ўжо зберагліся, і выбіраюць найбліжэйшыя падходжання.

Зберагчэнне эмбедынгаў у базе дадзеных вектароў

Эмбедынгам патрэбна асобліва структура, якая падтрымае пошук — гэта і ёсць ролі базы дадзеных вектароў, або вектарнага сховішча. Яна збераглівае эмбедынг кожнага фрагмента, яго первісны тэкст і будзь-яе корыстнае метааданы. Калі ставіцца запіт, яна знаходзіць тые фрагменты, чыя эмбедынгі знаходзяцца найбліжэй да эмбедынгаў запіта.

Для пратыпу падойдзе локальнае або внутрышняе сховішча. У прымэтным варыянце можа знадобіцца кераваная база дадзеных вектароў, пошуковы механізм, які падтрымае вектары, або пашырэнне базы дадзеных, якое даўае можлівасць вектарнаго пошуку. Выбор должны кантролюваць такія факторы, як масштабаванне, швальнасць, вартасць, патрэбы у фільтрацыі, безпека і частота змян дакументаў.

Спрытваець яго як частку механізма пошуку, а не проста ячэйка для зберагачвання. Якісна фільтрацыя метадаў можа значна паспрыяць. Запыт пра еўрапейскую політыку вярнення грошаў не павінен прыносіць інфармацыю з іншага рэгіону. Калі корыстнік можа пераглядаць толькі дакументы кадровага апарату свайго віддзела, спрытваець павінен гарантуваць гэта, прычыму нічога не дасягне модэлю.

Гэта важліва, таму што RAG можа выкрываць інфармацыю, калі контроль даступу слабкі. Не можна пакладацца на модэль, каб тая хавала обмежаны кантэнт пасля пошуку, і безпечней увогуле не даваць можнасці на выкарыстоўвання обмежаных матэрыялаў.

Пошук адпаведных фрагментаў

Адпаведныя адказы пачынаюцца, калі корыстнік ставя запыт. Сістэма вбудоввае запыт, шукае ў базе вектараў і вяртае найболей адпаведныя фрагменты. Эксперты называюць гэта методам пошуку top-k, дзе k — колькісць фрагментаў, якія вяртаюцца; top-5 означае пяць найбліжэйшых.

Выбір значэння k — гэта працэс балансавання. Калі запрашваць занадто мало інфармацыі, адказ можа не паведамляць важлівых дэталей. Калі запрашваць занадто многа, запіт становіцца шумным, дорогім чырага заплутаным. Больш кантэксту не завжды значыць лепш, але лепшы кантэкст — так.

Большасць простых сістэм пачынаюцца з пошуку за вектарной сэмабільнасцю, які добра справляецца з запітамі, адносныя да значэння, але не ўсёвыполненны. Дзеякі запіты залежаць ад точных слоў, ID, імен, дат, кодаў каштоўкаў чы юрыдычных фраз, і тады пошук за ключоўкамі можа перавершыць сам пошук за вектарамі.

З гэтай прычыны популярны гібрыдны пошук. Ён спаўнаець пошук за вектарамі з пошукам за ключоўкамі у повнай тэкстах і з’едынае рэзультаты. Напрыклад, Azure AI Search апісвае гібрыдны пошук як адзін запіт, які выконваець оба віда пошуку разам і з’едынае рангаваныя рэзультаты за дапамою метода Reciprocal Rank Fusion. Проста кажучы, сістэма мае два спосабы дасягнуць адказу: праз значэнне і праз точную формулювання.

Вектарный пошук — граматычны пачатковы крок. Калі аудыэнт часта пісвае коды продуктаў, назвы правіл, юрыдычныя тэксты або паведамленні пра адказы, планавайце выкарыстоўваць гібрыдны падход.

Стварэнне запіту

Калі чаккі будуць атрыманы, яны прайходзяць у запіт модэлі, які павінен чытка адзначаць кантэкст, запіт корыстніка і тое, што ад модэлі чакаюць. Просты запіт RAG можа паведаміць модэлі адпавядаць, выкарыстоўваючы паданы кантэкст, спакойвацца толькі на інфармацыі, якая там знаходзіцца, сказаць, што ён не ведае, калі кантэкст не мае адказу, і, як толькі можна, цітаваць назву аб раздзел выканаючага джэрага. Пасля гэтага следуюць атрыманыя чаккі і запіт.

Этыя інструкцыі маюць значэнне, таму што мадэль распаўляе загальныя знанні самае сябе. Без чыстай напамінкі яна можа сумешаць атрыманыя факты з сасвоймі прыпускамі. Гэта іноды ўзяць можна, але для бота-падтрымкі, правовага асістэнта, медычнага інструмента чы адпамогчыка з палітыкай мадэль павінна залішацца блізкая да доказаў, якія яй былі даны.

Дасягненні OpenAI па тэме інжынерыі запытоў адносна RAG апісваюць яе як дадаўшчы рэлевантнага кантэксту, атрыманага з базы дадзеных вектараў чы пошуку файлаў, да запыту на генераванне. Фармулаванне мае значэнне: яно паказвае атрыманы тэкст як тое, на чым мадэль павінна спакоюватыся.

Якша напісаны запыт таксама разв’язвае проблему неяснасці, дазваляючы модэлі сказаць, што паданыя дакументы не адпавядаюць на запыт. Такая адпаведзь менш прыгожая, чым впэўнены ўзгад, але набагато корыстнейшая.

Генераванне адпаведзі

Гэтая мадэль мовы пасля того запісвае фінальны адказ, які бачаюць корыстувальнікі. Ён павінен быць чыткім, обоснованым і достатнька адказовым. Ён не павінен проста падаваць необработаны тэкст, які быў знайдзены, чым не будзе запрошана. Ён павінен адказваць на прастай мове, паведамляць пра важлівыя обмежэння і, калі можна, цытаваць джэрыны.

Хорашы прыклад: «Ноутбукі, якія пройшлі рэмонт, павінны быць вернуты прыблізна за 14 дня пасля доставкі. У правілых няма выключэння для варыць прыблізна за 20 дней, таму, на адной з гэтых падстав, вара, запрошаная пасля 20 дней, не будзе прыйнята». Гэты адказ эфектывны, таму што ён узгадвае правілы, прыкладжае іх да сітуацыі корыстувальніка і не выдумвае выключэння, калі ў джэрынах яго няма.

Цітаты таксама дадзяўаюць ценнасць, таму што яны дазволяюць корыстувальнікам пераканацца ў адказе, а не проста верыць модэлі. Магчымасць адсочваць адказы ШЫ — адна з найбольшых практычных пераваг тэхналогій RAG.

Ацэнка працэсу

Сістэму RAG трэба перапрацаваць пры тэставанні, прычаму якшто хтось будзе на ёй спаклівацца. Частая памылка — адзін раз пераглядаць толькі фінальны адказ. Лепшая ўмова — ацэніць працэс выкарыстоўвання інфармацыі і стварэнне адказу окалічна: спачатку пераканацца, чы неякшы фрагменты знайдзены, а потым — чы модэль іх правільна выкарыстоўала.

Просты набір для ацэнкі супакоюе рэальныя запытанні корыстувача з правільнымі фрагментамі інфармацыі і адпаведнымі адказамі. Для кожнага запытання пераканацца, чы правільны документ ўключаны сярод рэзультатаў пошуку. Калі правільны фрагмент ніколі не падае да модэля, верагоднасць отрымання надзеянага адказу мінімальная.

Пасля чаго трэба пераглянуць створаны адказ. Чы ён застаецца правдзівым у контэксе? Чы ў яго ёсць тверджэння, якія ніхто не падтрымвае? Чы ён адпаведае на рэальнае запытанне і цітае правільны джэраг? Калі дакументы не падходзяць, чы ён гэта прызнае?

У кнізе-практыкуме Claude RAG рэкамендуецца асэцьніваць працэс выкарыстоўвання інфармацыі і цэлы сістэму окрэма, а не паслявацься на расплывчатыя уражанні пра якасць адпаведзення, і гэтыя парады заслуговуюць на адпаведжанне нават у маленькіх праектах.

Базовы цыкл асэцьнення можа фіксаваць:

• Точнасць выкарыстоўвання інфармацыі – чы была знайдзена правільная частка тэксту.
• Аддакованасць – чы адпаведзенне падтрымваецца знайдзеным кантэкстам.
• Полнасць – чы ў адпаведзенні ёсць важлівыя дэталі.
• Якасць цытатаў – чы цітаваныя джэрэлы справды рэлевантныя.
• Затрымка – час, які прабывае адпаведзенне.
• Косц – колькасць токенаў і каліквітас вызоў на выкарыстоўвання інфармацыі.
• Адпаведжанне корыстніка – чы проблема была рашаная.

RAG рыдко ёсць ідэальнім з першоі спробі. Оцінка показуе, у чому потрыбно вдосконаліты — чы то падзелу на фрагменты, метадані, працэс отрымання інформацыі, запіты, перэранжування чы самі віхідні документы.

Дэ вінікаюць проблемі з базовімі потокамі апрацоўкі

Перша версія потоку зазвічай працюе дастаткова добрэ, шчоб буты ефектывною, але водночас настылькі погано, шчоб створуваты трудношчы. Тыпові прычыні проблем:

• Погане падзелу на фрагменты. Повертаецца відповідній фрагмент, але повна відповідзь у ім відсутня.
• Шум у працэсі отрымання інформацыі. Повертаюцца урывкі, які здаюцца пов’язанімі, але не відповідаюць на запітання, особліво колі запіт ёсць шырокім, неоднозначнім або містыць тэрміні, прысутні у многіх документах.
• Застарыла інформацыя. Оновлення простышы, ніж перэнавчання мадэлі, але лішэ за умові, што база знань постыйно оновлюецца. Стары документы, што залішыліся в індэксі, все одно можна знайты.

Памылкі ў метаданых. Абсэнцыя дат, версій, рэгіёнаў чы праваў дазволяе прасунуць інфармацыю, якая тэхнічна ўпрыменна, але на практыцы не ўжывочная.

Чрэзмернае даверлівасць. RAG скармляе галюцынацыі, але не пазбавляе іх. Мадэль все ўсё можа неправямо расцэніць кантэкст, занадта загалізаваць чы паспамятна сукупляць фрагментаў. Аднакоўкі не ёсць гарантыяй правды.

Прасоцінкі ў безпецы. Введэнне спецыяльных запросаў ёсць рэальным рызыкам у прыкладнах на базе LLM. OWASP апісвае гэта як маніпуляцыю паведамленням мадэлі за дапамою спецыяльна створаных даных, укладаючы ў гэта і тыя, якія змушваюць сістэму ігнараваць інструкцыі або адкрываць інфармацыю. У падходзе RAG зловучыя інструкцыі можу быць ў самых завантажаных дакументах, а не толькі ў паведамленнях корыстніка. Веб-сторанка, заява на падтрымку або спяльны дакумент можу міць тэкст, які прыказвае мадэлі ігнараваць паканальныя інструкцыі і адкрываць запрос сістэмы. Вважайце все, што завантажаецца, данымі, а не надзяйнымі інструкцыямі.

Простая архітэктура

Дыяграма, прыдатная для пачатківца, паказвае два этапы. На этапе індэксавання дакументы саўершаюцься, чысцяцца, дзелюцца на фрагменты, уключаюцца ў фармат эмбедынга і зберагаюцца ў вектарным сховішчы разам з адной часовым тэкстам і метаданаямі. На этапе адпаведзення запыт карыстальніка таксама уключаецца ў фармат эмбедынга, выбіраюцца найболей рэлевантныя фрагменты, якія можаць быць фільтраваныя або пераранжаваныя, пасля чаго яны включаюцца ў запыт для мовнай мадэлі, котра дае адпаведзенне на адной часовым кантэкстам.

Короткая версія: дакументы ператвараюцца на фрагменты, потым — у эмбедынгі, і ў канцы — зберагаюцца ў вектарным сховішчы; запыт ператвараецца на эмбедынг запыту, праходзіць праз механізм пошуку, ўтвараючы кантэкст, а мовная мадэль ператварае гэты кантэкст у адпаведзенне.

Фрэймворкі з такіх як LangChain і LlamaIndex даюць інструменты для завантажэння документаў, створэння індэксаў і механізмаў пошуку, а таксама для під’еднання цых механізмаў да мадэляў мовлення. У документацыі LangChain пошук прэдставлена як вікорыстання вашых власных баз дадзеных праз засобы завантажэння і сховішча вектораў. LlamaIndex розглядае тэхналогію RAG як спосаб створэння індэксаў вашых дадзеных загадзя, шчоб кожны запіт мог узяць неабходны кантэкст ўсерэдыні працэсу вікорыстання LLM.

Для навчання цім тэхнікам не патрэбна складная сістэма. Для стварэння простага прототыпу достатньа пяці елементаў: калькі документаў у папцы, мадэль для генеравання вектораў, місце для зберагчэння вектораў, механізм пошуку і мадэль чату. Галоўнае — розумець кожны крок і не спрыйматы весь працэс як „чорную скрыньку“.

Што робіць сістэму хорашаю

Хорашыя сістэмы апрацоўкі дадзеных рабяць не толькі з выкарыстоўванням тэксту. Яны знаходзяць правільны тэкст, прадставляюць яго модэлю у зручнай для вікорыстоўвання форме і даюць адпаведны адказ, які застаецца вярным даступным дапамогам. Найлепшыя сістэмы маюць калькі спадчынных прыемоў: чыстыя, актуальныя крыніцы, акуратнае раздзелэння на часткі, сахаванне метаданных, выкарыстоўвання як значэння, так і тачнасці пры неабходнасці, чыстыя інструкцыі, цітаты, аднаўленая ацэнка працэса выкарыстоўвання дадзеных і стварэння адказа, захаванне чулівога дакументацыі пры яго перадачы модэлю, а таксама можлівасць вызнання свайго незнаёмства.

Таму хорашы RAG — гэта не проста функцыя ШЫ. Яны спалююць у сабе кераванне ведамасцю, пошук, дызайн продакту і абэрнасць.

Куды працаваць далей

Калі простая сістэма запрацавала, існуе калькі можлівасцей для ўдосконалення:

• Даўніць гібрыдны пошук, які дазволяе выкарыстоўваць як значэння, так і точныя тэрміны.
• Даўніць крок пераранжавання, пад час якога другі модэль пераглядае і ранжуе выкарыстоўваныя часткі дадзеных.

Разбіляйце тэкст на часткі па структуры дакумента, а не па фіксаваным дужынам.

Перапішыце нечысткія запіты на болей ясныя.

Удосконаліце цытаты, заносячы назвы джэрэл, ўражкі і лінкі.

Стварыце панелі керування, каб сочыць за ясношчай з часам.

Развітыя настройкі дазваляюць вікорыстоўваць агентаў, запрашэнне інфармацыі па калькам або праз графікі, запіты да структураваных баз дадзеных, запрашэнне інфармацыі сярод зображэнняў і тэксту, або прыстройства для пераранжавання, налаштованыя па конкрэтным домену. Няўзабавныя апыткі паказваюць, што галерая пераходзіць ад простых RAG-сістэм да модульных, у якіх запрашэнне інфармацыі, генераванне тэксту і яго дапраўленне ёсць окрэмымі, гнучкімі складовымі, а не ўзаемна спаяным процэсам. Усё-такі базовы прайсупутнік застаецца фундаментам: знаходзіце рэлевантныя доказы, перадаюце іх модэлю і пераканваліваецеся ў адпаведнасці з гэтымі доказамі.

Чаму варта выучыць

RAG стаў популярным, таму што задовольняе практычную потрэбу. Падпрыемства, дзеярнікі, разрабоўцы і каманды вялікі час зберагаюць ценныя знанні ў дакументах, базах дадзеных, інструкцыях, заявках і нотатках, а сама толькі мовная мадэль не можа надзеясна ўсё гэта зрозумець. RAG дае мадэлі можлівасць шукаць неабходную інфармацыю.

Сам прыем якісь просты: падготавіць дакументы, разбіць іх на часткі, увялічыць і зберагчы гэтыя часткі, выкарыстаць правільныя з іхніх і падкажчыць мадэлі даўаць адпаведныя адказы. Справжня складнасць крыўціцца ў дэталях – тут важлівыя якосьсць выкарыстоўваных дакументаў, іх разбіўка на часткі, працэс выкарыстоўвання інфармацыі, праектаванне запітоў, адлік эфектывнасці і захаванне дадзеных. Базовы тракт працэсу не ёсць канечным варыянтом розумнага асістэнта, але ён застаўся адным з простэйшых спосабоў стварэння AI, які ёсць болей корыстным, актуальным і абоснованым. У працоўку замест таго, каб прасіць мадэль быць всезнаючым оракулам, RAG дае ёй картку бібліятэкі і навучае яе правільна ўжываць бібліятэку.