Тры спосабы, якімі ламаецца RAG у прадакшне: разарваны кантэкст, дрэйф і памылковае выкарыстанне

Чаму дэманстрацыі RAG работаюць, а сістэмы для практычнага выкарыстоўвання — ні

Тэхнологія Retrieval-augmented generation стала стандартной архітэктураою для корпаратыўскага штучнага інтэлекту. Асістэнты падтрымкі, внутрашнія інструменты знанняў, кансалтанты з пытань прававага адпаведнага і розумныя прыстроі пошуку ў банкінгу, страхаванні, охороне здароў’я, тэлекамунікаціях, роздробнай торгавлі і дзяржавным установах выкарыстоўваюць яе, каб паў’язаць мадэлі мовы з сабеўтарымі знаннямі компаніі. Ідэя здаецца простай: запрашаць стосунавыя фрагменты з базы знанняў і перэдаць іх модэлі перад тым, як тая даўа адпаведзь. Але рэалізаваць гэта ў практычных умовах значна складней, чым можа здавацца на прабных прыкладах.

Большая колькацтва команд успявае запусціць пратотып, але пасля сталквіцца з новымі проблемамі пад масовым выкарыстаннем. Адказы прыходзяць непূранымі. Як толькі колькасць дадзэнняў зрастае, якосьць ўзяць іх падае. Занедбваецца важлівы кантэкст, з’яўляюцца галюцынаціі, збільшуецца затрымка, а корыстувальнікі атрымліваюць адказы, якія тэхнічна правыя, але практычна беспарадныя. Інодзе алгорытм для пошуку знаходзіць самэ правыя дакументы, але мадэль все равно дае неправы адказ.

Наладжэнні для корпаратыўных аб’ектаў паглыбляюць усе гэта, таму што знанні распадзелены між тысячамі дакументаў, правілаў, процедураў, інструкцый па эксплуатацыі і норматыўных рэкамендацый. Адна бізнес-выборчасць можа залежаць ад дэтаўлів, распадзеленых па калькі раздэлаў хранілішча, што робіць якосьць пошуку настолькі ж важлівай, як і можлівасці мадэлі.

Існуе пасярэднее розуменне, што лепшы RAG значыць пераважна лепшы LLM. Выбор модэлі мае значэнне, але багатыя проблэмы практычнага вікорыстання выйшлі з іншых аспектаў: разбіўка на часткі, архітэктура адзысквання інфармацыі, кантроль кантэксту, працэсы ранжыравання і ацэнкі. Якісна апранутая сістэма адзысквання інфармацыі, якая работае зямлівым модэлём, часта перамагае неякісную сістэму, якая вікорыстоўвае найсавечнейшы модэль. У рэгулююцых сферах, такіх як банкірства, знанне гэтых спосабаў абыходу часта мае большое значэнне, чым знанне внутрашняй структуры найсавечнейшых модэляў, адколі успех у практычнай працы рэдка калі залежыць толькі ад апдэйта модэлі. Гэта залежыць ад таго, насколькі добра інфармацыя адзысквана, ранжыруецца, структуруецца і прыказана.

Тры сцэнарыя паказваюць, як можу выйсці проблэмы:

• Сістэма адзыскваная relevантную інфармацыю, але ўсё рава працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае працягвае прац

Мадэль дае некарэктныя адказы, нават які ўзяты правільныя дакументы.

Усі тры прыклады паказваюць, што хорашы RAG атрымліваецца за дапамою лепшага выкарыстоўвання інформацыі, карыстоўвання кантэксту, адліквідацыі і праектавання сістэмы, а не проста за дапамою крашчых модэляў.

Першы сценарый: рэлевантны тэкст, але неясна сутніца

Адной з найбольш раздражаючых сітуацый ёсць калі атрымлівач знаходзіць рэлевантныя фрагменты, аднак адказ застаеўся поверхневым. Ён можа быць фактычна правільным, але не мае кантэксту, тонкіх дэталей чыў бізнес-нюансаў, якія людскі эксперт зможа бы адразу пазначыць. Гэта становіцца ўсё бол паспелым у длугіх дакументах, чыя інформацыя распадзелена між калькамі.

Уявіце сабэксперты банку, які зберагаюць правілы прыемкі кліентаў. Галоўныя трэбаванні знаходзяцца ў адной главе, распрацоўка выключэнняў — у іншай, а рэгуляторныя трэбаванні — у окрэмым раздзеле, які адпавядае дапамогай віддзелу рызыка. Кліент запытаецца, чыяму конкрэтнам дакументу достатняе, каб ачысці рахунок. Сістэма для пошуку вяртае правілы прыемкі, але не берае ў расчыт рэгуляторныя выключэння, задокументаваныя в іншым месцы. Адпаведзь мадэлі ёсць правільной на адной падставе таго, што яна бачыла, але застаецца непашырою для бізнесу. Гэта прыклад сістэмы, якая розумее толькі частку дакумента і не бачыць цэлага картання.

Інжынеры часта падазроўваюць перш за ўсё саму мадэль. Звычныя прычыны — архітэктура пошуку.

Фрагменты фіксаванага розмеру перарываюць логіку

Першым пунктом, які трэба пераглянуць, ўзятае часткаванне дакументаў. Багатыя рэалізацыі вікорыстоўваюць часткі фіксаванага размеру, таму што іх лёгка стварыць, і яны добра працуюць у експерыментах: дакументы дзелюцца на часткі кожныя калькі токенав і храняцца ў базе дадзенаў вектараў. Гэта проста, але часта нарабляе проблемы з логічнымі зв’язкамі. Дакументы не пішаны ў блоках розмеру токена. Яны арганізаваны ўакол ідэй, раздэлаў, правіл, процедураў і бізнес-канцэпцый, і калі межа прыходзіць праз адну з іх, кантэкст рассыпаецца. Адзінае візначэнне правіла можа апынуцца ў одной частцы, а яго выключэнне — у іншай. Сістэма для пошуку запрашае візначэнне, але ніколі не знаходзіць выключэння, і мадэль робіць выводы на адной частковай інфармацыі.

Способы выправлення проблемы рассыпанага кантэксту

Семантычныя групаванні ўскладненняў являюцца стандартным рашэннем. У працоўку не включаюцца элементы на абавязковай колькасці токенав, а спрыяецца натуральная структура — загаловкі, раздзелы, параграфы і змяны тэмы, што дапамагае захаваць зв’язкі між элементамі і значна паспрыяе ўскладненню.

Нават у такім случае важлівая інфармацыя часта знаходзіцца на межы двух групаванніў. Калі групаванні ўсё ж такі абсалютна незалежныя, ускладненне можа ўпусціць яе. У такім разы дапамагаюць перакрытыя групаванні. Дазвол паўнекамушчыкам дзеліцца часткай контэнту стварае прычыннасць за межамі, адколькі тое, што заканчвае адна групаванню, таксама пачынае наступную, што зменшае рызык втраты значэнага кантэксту.

Калі дакументы становяцца болей складнымі, падход з аб’ектамі-родзіцямі і ўсёма іх элементамі выказвае ся як эфектывны. Маленькі фрагменты вбудовуюцца і шукаюцца, таму ўсё можна знайты з большой точнасцю. Калі знаходзіцца падходзяшчы маленькі фрагмент, сістэма запрашвае большую частку-родзіця, якая яго містыць, тады мадэль бачыць як сам фрагмент, так і аб’екты, якія знаходзяцца ў яго апошынку. Гэта падобна да пошуку правільнага абзацу, а пасля — чытання цэлага роздзела замест калькі скасытых абзацоў.

Сістэмы для практычнага вікорыстання таксама паказваюць, што найкрашчая адпаведнасць рэдка калі знаходзіцца толькі ў аднам фрагменце. Дапаможная інфармацыя часта знаходзіцца прымусова перад або пасля найболей падходзяшчага рэзультата, таму запрашэнне толькі фрагмента з найвышэйшай рангаваннем можа заставіць логіку непূরнай. Розшырэнне працэсу запрашэння, ўключаючы суседзячы фрагменты разам з галоўным рэзультатам, параджыць працягласці і дазволяе модэлі бачыць, як разныя часткі аб’ектаў взаімаюцься межы сабою.

Зростанне баз знанняя падае тычэнак на якасць аднаходжання інфармацыі. Векторны пошук чырпаець у знаходжэнні семантычна падобных тэкстаў, але ён можа працягваць не знаходзіць точную тэрміналогію, назвы продуктав, ідэнтыфікаторы правіл, норматывныя апавяданні і ключоўыя словы, спецыфічныя для певнага домэна. У банкавасці кліент можа цытаваць конкрэтнае правілу, тып абліковання чыста катэгорыю транзакцый, для якых патрэбна точная адпаведнасць. Гібрыдная стратэгія, якая спалюе семантычны пошук з методамі на адпаведнасць ключоўых слоў, такімі як BM25, пакрывае оба аспекты: семантычны пошук фіксуе значэнне, а пошук на ключоўыя слова — тачнасць, і разам яны пакрываюць больш, чым кожны з іх окалічна.

Пасуючыя ў прыорытэтах працэсы перэранкавання і оптымізацыі кантэксту праходзяць перш, чым матэрыял прайдзе да модэлю. Не кожны знайдзены абзац паслугуе для включэння ў фінальны запіт. Працэсы перэранкавання паднімаюць на верх найболей рэлевантны матэрыял, а оптымізацыя кантэксту усуне зайвасці, каб максымальна скорасты апрацоўку інфармацыі. Мета не проста ў тым, каб знайсці рэлевантны тэкст — гэта таксама і ў тым, каб даць модэлю розуменне, якое атрымаў бы кваліфікованы чалавек пасля прачытання рэлевантных частак. Калі падчас знаходжэння інфармацыі сохраняюцца зв’язкі межаў панэрам, правіламі, асунекамі і доказамі, якасць адпаведзення значна падыходзіць, а тонкія моменты, захаваныя ў дужа дзёльгіх дакументах, больш не трапляюцца ў забутку.

Короткая відпаведзь

Пры гэтым сімптаме трэба адзірнуць слой выкарыстоўвання дадзеных даўнае ад модэля. Перагледзіце стратэгію разбівання на часткі, перайдзіце да семантычнага разбівання з перакрыццям, дадзіце можлівасць выкарыстоўвання дадзеных з роднымі часткамі, распрашчыце поўнёх па суседзяючым часткам і спалучыце гібрыдны пошук з параднай пераранжаваннем. Гэтыя змены зазвычай даюць модэлю багатшы, лепшая з’яўлены кантэкст, што як правілле дапамагае зберагчы нюансы ў дзялёгіх дакументах.

Сцэнарый два: чудова ў разработцы, нестабільна ў працэсе выкарыстоўвання

Часта історыя підпрыемств полягае у наступному. Сістэма RAG розвівалася успішно, але незабаром пасля запуску почала повертаты неактуальні або суперэчліві рэзультаты. Дэмонстрація пройшла добрэ, тэстові запіты давалі точні адказы, працэс пошуку здавався надыйнім, а рывень довіры був вісокім. Потым почався справжній трафік. Корыстувачы ставляць рызні запітання, у базі знань постыйно з’являюцца нові документы, бізнес-працэсі змінююцца, а обсяг інформацыі зростае. Адказы, які ранішэ здаваліся правільнімі, стаюць суперэчлівімі, неповнімі або неактуальнімі.

Чы змініліся даныя?

Перша перэвірка полягае у тому, чы змінілася розподылена структура даных. У серэдовішчах распрацоўкі зберыгаецца невеліка, рэтэльно підыбрана і організована база даных. У продакшн-серэдовішчах можа буты тысячы або навіць мільйоні дакументаў, створэніх рызнімі командамі у рызніх фарматах і відповідно до рызніх стандартыв. Уявіць банк, які почынае з невелікоі колькасці правіл інтэграціі, а потым розшыруе іх, додаючы процедуры відповідносты, документы аўдыту, керывніцтва шчодо бороцьбі з шахрайством, інструкціі до продуктыв, лістування з кліентамі і рэгуляторні повідомлення. Запіт, які ранішэ вібірав з дэсяты найбільш рэлевантніх дакументаў, цяпер конкуруе з тысячамі частково пов’язаніх дакументаў. Сістэма пошуку все шчэ можа повертаты схожый за змістом матэрыал, не вібіраючы найкорыснішый варыант, і гэта часта ёсць першым ознакою погіршэння якосты пошуку з ростом базі знань.

Віміруйце ефектывнісць пошуку окрэмо

Далей неабяжна адзінакоўваць процэс выкарыстоўвання інфармацыі з процэсам працы мовнага мадэлю. Частая памылка — караць LLM за пасляпэльныя адказы, калі сам прыстрой выкарыстоўвання інфармацыі ніколі не падаў правільны кантэкст. Паказнікі, такія як Recall@K і Precision@K, быстра расставляюць усё на свае месца: калі праві дакумент не ўваходзіць у топ-рэзультаты, мадэль ніколі не мела шансу. Часта сам прыстрой выкарыстоўвання інфармацыі патрабуе перэработкі.

Адна з частых прычын — дрыфт эмбеджаў. Мадэль эмбеджаў, якая добра працавала з малым наборам дадзеных, можа паспяшаць з працэю, калі дакументы становяцца разнараднейшымі, адтолькі як разныя тыпы, стылі напісання і слоўнік домэны з часам зменшуюць яе эфектыўнасць. База знання банку можа супакоўваць правілы з команды з дапамогі ў састаноўленні правілаў, інструкцыі з бізнес-команд і тэхнічныя спецыфікацыі з інжынерскай команды. Усё гэта належыць да адной організацыі, але мова супакоўваецца дужа, і калі эмбеджы не фіксуюць гэтыя разніцы, якосьць падупае.

Стратэгіі разбівання на часткі таксама можу стацыянарызавацца. Падход, які працавал для сотняў дакументаў, можа не працаваць для сотняў тысяч, таму што паслаба разбіленыя часткі ствараюць перашкоды для пошуку падобнасці і ускладнююць знаходжэнне рэлевантных дакументаў. Самэ гэтая прычына вымагае ад сістэм RAG у рэальных умовах стацыонарной адрабоўкі, а не ежадзеўнай перабудовы.

Рэальныя запіты не адпаведаюць тэстовым запітам

Патэрны запытаў заслуговуюць на адзінакавую увагу. Тэсты пад час разработкі ствараюць ідэальныя запыты, таму што інжынеры ведаюць даны загадзя. Рэальныя корыстувачы задаюць нечысткія або непূরнэ запыты і вжываюць тэрміны, якіх няма ў базе знанняў. Агент службы можа шукаты «правіла закрыцья прэміум-акаунта», тады калі офіцыйныя дакументы пішуць «працэсы завершання абслужвання кліентаў з высокай цэннасцю». Людзі момантальна бачаць зв’язак, але сістэма пошуку можа яго не знайсці. Назіранне за тым, як ведаюць ся рэальныя корыстувачы, часта адкрывае слабасі, якіх тэсты ніколі не выявляюць.

Пазірцы ўнутры пайплайна

Візуабельнасць процэса адзыскання дадзеных — ўжо адна з цінных тэхнік. Для кожнага запіту ў прымэтным рэжыме візуабельнасць павінна абягаць:

• канферы дакументаў, якія былі адзысканы
• прычыны адзыскання кожнага з іх
• рэйтынгі сяродзецтва
• канечны кантэкст, які надаецца LLM
• сгенараваны адказ

Без гэтага дыбаггін стае спробамі здогадвацца. З гэтым следы часта паказваюць, чы рошчэнне выйшла з адзыскання, пераранжавання, стварэння запіта чы генеравання адказа.

Калі колькасць дадзеных продовжвае растаць, перад вектарным пошукам можна выставіць дапаможныя слоі, такія як гібрыдны адзысканне, фільтры метададзэў, класыфікацыя дакументаў, прыстроі пераранжавання чы пайплайны, спецыяльныя для конкрэтных домэнаў. Напрыклад, запыт пра іпаткі з банкуўскай сферы павінен шукаты матэрыялы пра іпаткі раней, чым шуканне будзе адбывацца ў всій базе знанняяў падпрыемства. Скарочэнне прастору пошуку павышае як тачнасць, так і якасць адказаў.

Гэты вывад гласзь, што сістэмы RAG для працы ў практычных умовах — гэта жывыя сістэмы, якія развіваюцца разам з своімі дадзеннямі. Нельга прыпускаць, што рашэнне, якае добра працуе з самага пачатку, будзе такім жа эфектывным праз шысць месцаў, таму постаўленне непярывнага стазірання, ацэнкі і перапрыяўлення компанентаў адзысквання інфармацыі ёсць неабходным для падтрымкі высокай якосцы на велікых масштабах.

Короткая відпаведзь

Калі сістэма добра працуе пад час розработкі, але пасля запуску працуе слабка, спачатку трэба адсекрэтаваць проблемы з адзыскванням інфармацыі ад проблем з ўтворэнням рашэння. Панарысавайце паказнікі адзысквання, перагляньце адзысканыя дакументы, пераканайцеся ў якосці інтэграцыі дадзенняў, выявіце рэальныя шаблоны запітоў і забезпечыце можлівасць стазірання ў всім ланцугу апрацоўкі. Калі обсяг дадзенняў зрастае, варта рассмотрэць гібрыдны пошук, фільтрацыю метададзенняў, пераранжаванне рэзультатаў і адзысквання інфармацыі, прылагоджанае да конкрэтнай галіны, каб рэзультаты заставаліся рэлевантнымі і точнымі.

Трэці сценарый: правыя дакументы, некорэктная адпаведзь

Багато інжынераў прыпускаюць, што як толькі працэс выявлення інформацыі запрацоўвае, задача завершаная. Аднак адным з найцяжэйшых сценарыёў у тэхналогіях RAG ёст тое, калі сістэма знаходзіць правільныя дакументы, а мадэль заўсёды дае некарэктныя адпаведзі. Гэта особаўска разчароўваюча, таму што звычны інстынкт дэбаггінгу спрамоўвае ўвагу на працэс выявлення інформацыі, хоць сам прыстрой для выявлення можа выканаваць свою працу ідэальна. Прычына працzoўкі крыўцяе ў тым, як мадэль аналізуе і выкарштоввае заключэння на аднойчыну, якая ёй даўнаецца.

Уявіце сабе асістэнта з пытанняў пра даследжэння банкавых операцый, які адпавядае на запытанні, связаныя з борьбай з праналётом грошаў. Карыстувач запытаецца, чы можа рахунак кліента застацца актыўным, пакуль чэкаея перапрацоўка даных KYC. Сістэма выявляе правільныя норматыўныя дакументы, а неабходныя правілы ёсць у аднойчыну. Аднак адпаведзь стверджуе, што рахунак можа застацца актыўным незаканчэнна. Неабходная інформацыя была ў наявнасці, але мадэль не змогла яе правільна выкарыстаць.

Перадмерная кантэкстная інформацыя і проблемы з аналізам

Адзін з фактараў — перанасыленне кантэкстам. Чым больш дакументаў атрымліваецца, тым больш мусі прыняць мадэль, і не усё з таго мае роўную значымасць, таму важлівыя дэталі можу застацца пад заглушкай у дужаўзкім запіце. Гэта часта называецца проблемай "загубленага ў серэдзіне": мадэлі звычайна звертаюць увагу на матэрыял поблізу пачатку і канца кантэкста і не зважаюць на тое, што знаходзіцца ў серэдзіне. Праводабны адказ можа быць буквальна ў запытэ, але праўда застацца неазначаным.

Рашэнь — ставіць качоўнасць кантэксту вышэй за яго колькасць. Команды часта прабуюць падняць точнасць, збіраючы больш маўчынкі, але больш кантэксту не гарантуе лепых адказоў, і калькі высокакачоўных фрагментаў часта перамагаюць купу слабкаякісных, нешто сустракаючыхся межы сабою. У такім случае корысна ўжываць перэранкаванне, калі найболей рэлевантныя фрагменты паводзіцца ў прыорытэце перш чым мадэль іх пабачыць. Даўжанне модэлі трохі высокарэлевантных дакументаў з чысткімі падтрымальнымі доказамі можа прынесць лепыя рэзультаты, чым дзесяць умера рэлевантных.

Запросы, якія выкаланяюць апарацыянарэчнае падставленне

Дызайн запросаў таксама мае значэнне. У зменшыць таго, каб мадэль адпавядала свабодна, трэба яе прабіць строго апарацыянарэчна базавацца на збіраным кантэксце, а таксама чытка сказаць, што інфармацыі недастаткова, калі доказы не можу падтрымаць адказ. Гэта значна зменшае непадтрыманыя выводы.

Стварэнне на адказах на цітаты таксама дапамагае. Калі модэль павінна назваць конкрэтныя раздзелы або ідэнтыфікаторы дакументаў, значна простае пераканацца, чы рэспонс апоўнены выкарыстоўванымі доказамі, што мае важнае значэнне ў рэгулююцыхся галузях, такіх як банкава справа, дзе неабходныя аўдытабельнасць і пояснення.

Суперасліжныя джэрэлы

Пераканацца, чы выкарыстоўваныя дакументы не суперасліжны. Большыя організацыі часта зберагаюць калькі версый правілаў, процедураў і рэкамендацый, і калі падчас пошуку адразу выяўляюцца застарэлыя і актуальныя версіі, модэль можа не знаты, калкія з іх мае прыорытэт. Фільтрацыя мэтаданоў і версійаванне дакументаў стаюць неабходнымі.

Мета — не проста выкарыстоўваць інфармацыю. Цэлі — пераканацца, што модэль можа выявіць, практычна адначасна прыорытэтаваць і аналізаваць найболей рэлевантныя доказы, якія ў ёй ёсць. Сістэма RAG успехоўна працюе толькі тады, калі пошук і аналіз працююць разам.

Коротка

Калі правыя дакументы вяртаюцца, а адказ застаецца некорэктным, паглядзіце, як мадэль выкарыстоўвае кантэкст: перанасылка інфармацыі, эфекты «загублення ў серэдзіне», суперасункі між джэрамі інфармацыі і слабкая аднесенасць да рэальнасці. Спосабы, якія варта спробаваць, — гэта пераранжаванне рэзультатаў, скорачэння кантэкста, адказы, якіе цытуюць своія джэры, фільтры метаданых і запросы, якія змушаюць мадэль паслужыцца толькі тымі доказамі, якія былі атрыманы. Часта проблема не ў самай атрымоўцы інфармацыі, а ў тым, як выкарыстоўваецца кантэкст.

Што спакойнае ў трох віпадках

Стварэнне хорашага сістэмы RAG трэбуе гораздо большага часу, чым простае падключэнне базы даных вектароў да LLM. Прыклады практычнага прыменэння часта выглядаюць вяліканскімі, а справжнія вызовы праследуюць, калі сістэмы пачынаюць працаваць у рэальных умовах і трэбуе стабільна функцыонаваць у велікых масштабах. У гэтых трох сценарыях фрагменты кантэксту ў вялікіх дакументах розсеююцца, якосьць аднаходжэння інформацыі падупала ў меру зростання баз даных, а нават калі аднаходзіцца правільная інформацыя, мадэль можа не змагчыцца правільна яе аналізаваць.

Паўтараючыся тэмай ёсць тое, што якасць адзысквання інфармацыі мае такое ж значэнне, як і можлівасці мадэлі. Нават найсучаснейшая LLM не можа компенсаваць нехватку кантэксту, паслабла архітэктуру частак інфармацыі, слабкія стратэгіі адзысквання чыста нерэлевантны матэрыял у запіце; кроме таго, паследжэнне архітэктуры адзысквання часта дае большыя рэзультаты, чым замена мадэлі. Для інжынераў, архітэктараў і тэхнічных керуючых тымамі тое, што адзеляе сістэмы прыемнага рэвэлюціяна ад яскравых дамаванняў, — гэта рэшучы дызайн: правільная разбівка інфармацыі на часткі, надзеяныя трубопрацесы адзысквання, асновыванне на кантэксце, пераранжаванне рэзультатаў і стацыонарная ацэнка. Корпаратыўныя AI-сістэмы — гэта не толькі стварэнне адпаведзенняў; гэта стварэнне адпаведзенняў, якія ёсць рэлевантнымі, асновыванымі на фактах, поясненнымі і стабільна надзеянымі.