Як RAG скарачае галюцынацыі LLM: пошук, эмбедынгі і выкарыстанне ў кампаніях

Падзірцем, кампанія з фінтэху ставіць асістэнта на айці пры кліентах, каб той раз'ясняў споры па транзакціям. Кліент пішчае простае запытанне: чаму мая плата была адхілена?

Асістэнт адразу ж адпавядае, наводзячы „межы международных транзакцый“ і співаючы з абыяковасцю. Гэта звучыць правдападобна. Але гэта таксама некалькі. Рэальная прычына была тымчасовым сігналам пра шахрайство, які з'яўіўся за калькі хвілін раней, пра што асістэнт ніколі не мог бы дазнацца.

Гэта тая тыхая слабас у багатых сістэмах на айці. Яны не выклікаюць гучных проблем, але выклікаюць пераканаючыя. Некалькі адпаведзь, дадзеныя з абыяковасцю, наносяць больш шкоды, чым сістэма, якая з'яўляе сваю некалькі, бо ніхто не думае пра перапрацавку інфармацыі. Тэхнологія Retrieval-Augmented Generation, якую часта скрацваюць як RAG, створана самэ для рашэння гэтай проблемы.

Што такое RAG

RAG — гэта падчырь, які спаўнае адзыскванне інфармацыі з генераваннем тэксту. Мадэль простага языка адпавядае на запыткі на аднойчынку таго, што ўсваяла пад час навчання. Сістэма RAG спачатку запошчае рэлевантны матэрыял з зовнішніх істочнікаў, такіх як базы дадзенаў, дакументы чы API, і толькі пасля чаго пішчае сваю адпаведзь.

Гэта мае значэнне для корпаратыўных языковых сістэм, дзе тачнасць, рэлевантнасць і свежая інфармацыя ўсё гэта ёсць ўмовамі, а не дапаможнымі функцыямі. Разлік заключаецца між ШЫ, якае пераказвае тое, што запамятала каля калькі месцаў таму, і тым, якае перакантролюе актуальныя факты пры адпаведзі.

Аналагія памагае. Уявіце сабе звычны LLM як талантаванага, хораша адучыся працавальніка, які з заканчэннем навчання застаецца ў кімнаце без тэлефона, без электрана і без новых спадчынакаў з зямлі. Усё, што ён гаворыць, выходзіць з яго памяці. RAG дае гэтаму працавальніку можлівасць прайсці да жывых сістэмы компаніі, такіх як інструмент для стварэння заявок, вікі з правіламі і база дадзэння кліянтаў, прыбліжна перад кожнай адпаведздзю. Ён заўсёды гаворыць сам, але цяпер у яго ёсць актуальная, можна пераканацца інформацыя пры ям.

Чаму мовныя мадэлі ствараюць галюцынаціі

Галюцынацыя значыць стварэнне плавнага, абавесцованага тэксту, які ў рэальнасці ўсё ж такі некарэктны або вымышлены. Існуе тры структурныя прычыны.

• Заморожаныя даны навчання. Усё, што мадэль выучыла, перастае растаць у певны даты. Калі запытацца пра змяны з мінулага тыдня, мадэль, навучаная год назад, не будзе матыць нічога.
• Няма можлівасці адзірвання жывых чыста прыватных дадзейнаў. Падзеі, якія выканаюцца пасля навучэння, а таксама ўсё, што зберагаецца ў прыватных сістэмах, для яго невідма. Ваша внутрэшня політыка кадраў, історыя аблікавання кліента і сучасны запас товара не існуе ў яго памяці.
• Прагнозаванне на адной падставе верыгоднасці, а не пераканання. Мадэль выдае статыстычна найбольш верагодныя наступныя словы, а не найточнейшыя. Яна оптымізуецца па прынцыпу таго, што звучыць правільна, што зазвычай падходзіць майжэ да правільнага, але інодзе — ні, і у яе няма внутрэшньага спосабу разлічваць гэтыя два варыянты.

У бізнес-сераўысе гэтыя слепыя пункты прыводзяць да паслядніх рашэнняў, адныя ўтраты довер'я і справжніх операцыйных рызыкаў. Выдуманая адпаведзь у неформальным чат-боце ёсць прыемлівай, але выдуманая адпаведзь пра дозу леку, пункт кантракту чы ўзаемнае фінансавае абранне ёсць абавесцю.

Корачэй кажучы, звычны LLM адпавядае на запыткі на адваге памяці, тады як сістэма RAG адпавядае на адваге памяці і доказаў.

Як процэс выкарыстоўвання дадзэнняў рашае проблему

У сістэме RAG крок выкарыстоўвання дадзэнняў выкананы раней за крок стварэння адпаведзення. Уместо таго, каб проста здагадвацца, сістэма выкананае тры дзеянні:

1. Яна шукае ў надзеяных істочніках дадзэнняў адпаведны матэрыял.
2. Яна выбірае дакументы або запісі, якія наіболей падходзяць да запытку.
3. Яна пішае адпаведзенне, апарацыйнае на тым, што ёй ўжо было выкарыстоўана.

Рэзультат выходзіць з чагосьці рэальнага, а не проста правдападобнага, таму сістэма лепшая розумее кантэкст. Ёй таксама легка пераканаць у правдзівасці адпаведзення. Выкарыстоўваныя дакументы вядомы, таму адпаведзенне можна прыследзіць да яго істочніка. Чыста генератыўны мадэль не можа гэтага запрацаваць, незалежна ад таго, насколькі гарна ёй звучыць.

Двухчастковая архітэктура

Тыповая структура LLM-plus-RAG складаецца з двух основных компанентаў, якія працуюць абоўсоўна па рэчы.

Агент на пошук. Яго задача — адзінавацьці матэрыял у зовнішніх сховішчах, напрыклад, у базах дадзеных падпрыемства, базах знанняў або векторных базах дадзеных, якія падтрымляюць семантычны пошук. Ён сам нічога не адпавядае. Ён скарматоўвае масу дакументаў да тых калькі, якія з наібольшай верыгоднасцю могу мяць адпаведзенне.

Генератор. Зазвычай сама LLM, якая берае адзінаваны матэрыял і ператварае яго на цэлеспрабавную, тачную адпаведзь. Яе задача — плавнасць і сынтэз, ператвараючы неапрануты адзінаваны тэкст у прымітную, ясную адпаведзь на запыт корыстніка.

Разам яны ствараюць сістэму, якая не толькі інтэрпрэтуюць запыт, але і закрэпляе сваю адпаведзь у рэальных дадзеных. Самэ гэта спалучэнне ўскладнівае значэнне RAG для надзеяных мовных прыемоў у масштабе.

Эмбеддынгі, векторныя базы дадзеных і семантычны пошук

Большая частка шукачоў паводзіцца на семантычны пошук, пабудаваны на эмбедынгах. Эмбедынг ператварае тэкст у довгі радок цыфр, які фіксуе значэнне рэчы, а не толькі ўсё точна ўжытыя словы. Две рэчы з аднаковым значэннем, але разнымі словамі, знаходзяцца падалей адзін ад другога ў гэтым чысловым прасторы.

Калі даходзіць да запіту, ён таксама ператвараецца ў эмбедынг, і база дадзеных у вектарнай форме вяртае зберажаныя дакументы, чыяй эмбедынгі знаходзяцца падалей. Такім чынам запіт на кшталт "Чаму мая оплата была адхілена?" можа прывесты да карточкі падтрымкі пад назвай "Аператыя заблокавана праз перагляд на фальсіфікацыю." Формулірацыя разная, але значэння перакрываецца, чаго не можа пазначыць пошук за ключавымі словамі.

Знайдзеныя дакументы потым падаюць у вікно кантэксту генератора разам з первісным запітам, якое дае модэлю відкрытыя нотаткі для адпаведзення заместа толькі памяці.

RAG і налаштаванне рашуюць разныя проблемы

Частая памылка — гадка, што RAG робіць фін-налаштаванне непатрэбным. Шырокія методы раштаўляюць разныя задачы.

Фін-налаштаванне зменяе внутрашнія вагі модэлю за дапамогою спецыяльна падобранага набора дадзенняў, навучаючы яго пэўнаму стылю, тону або спецыялістскім навыкам. Ён корыстны, калі модэль павінен дзеяць адносова стабільна, напрыклад, пісаць у стылі брэнда або следаваць структураванаму фармату выходных дадзенняў. Аднак яго апдэйт ёсць дорогі, і ён не дае доступу да фактов, якія зміняюцца ўсё час.

RAG не чыніць змян у вагах модэлю. Ён зменяе тое, што модэль бачыць у момент адпаведзення, падаючы свежы, рэлевантны кантэкст. Чырвоныя гэта робіць абнаўленні значна танней і быстрэй, адколі апдэйт базы знанняў займае хвіліны, а перэналяштаванне — дні або тыдні.

У практыцы наймоцнейшыя корпаратыўныя сістэмы часта аб’еднваюць аба падходы: тонкай налаштаванай модэлі для керавання тонам, структурой і прычынна-наследнай логікай у паводзе з конкрэтнымі доменамі, а таксама RAG для фактов, якія быстра змінююця. Ні адна з эйх сама по сабе не можа пакрыць усё. Точнасць даёст RAG, а адносна стабільнасць — тонкая налаштаваная модэль.

Дзе яго вікорыстоўваюць підпрыемства

RAG быстра стае невыключным элементам корпаратыўскага ІІ. Выдзеляюцца чатыры основныя сферы ўжыцця.

Чат-боты. Боты, якія паводзяцца інтарнальнымі базамі знанняў, можу даўаць точныя, актуальныя адказы на запіты кліянтаў, пытанні ў сферы кадраў і падтрымкі IT. У працоўку замест генерычнага адказу „Будзь ласка, звяжыцеся з падтрымкай“, бот можа знайсці конкрэтную політыку аб історыю заявок і адразу даць адказ.

Пошук у корпаратыўных сістэмах. Сэмантычная адпаведнасць заменяе нестабільныя пошукі за ключавымі словамі, таму спецыялісты можаць выконваць запыты ў вялікіх базах дакументаў на ўседзённай мове. Калі запытаць, як зарахаваць вітраты на вечару з кліентам, можа апынуцца правільная сторанка правіл, нават калі ў яе назве напісана "Рэгламенты вярнення віток на ўжынку і разважанні".

Аналітыка. Сістэмы RAG можаць адразу выкарыстоўваць калькі разных джэрэл дадзэнняў і прадаўаць корыстныя выводы, таму каманды можаць прымыкаты рашэнні быстрэй і на аднакова достоверных даных. Аналітыкі могу ставіць простыя запытанні і атрымляць адпаведныя адказы, апараціяныя на базе актуальных дадзэнняў компаніі, а не на статычным, вялікі час як застарэлым, адчыненні.

Адрасаванне дакументаў. Контракты, фінансавыя звяты і падобныя складныя файлы можна выявіць, падсумаваць і адначытаць з большай тачнасцю, чым можа зробіць апаратура на адыскаванне ключоўых словаў. Перагляд сотняў дагавораў з постачальнікамі зарады аднаго пункта пра адпаведнае абавязанне стае запытаннем, на якое можна отрымаць цітаваны адказ за каліксекунды, а не за гады.

Што вы атрымуеце

Інтэграцыя RAG у корпаратыўную сістэму мовы дае чыткі набор прыямоў:

• Лепшая тачнасць. Адказы базуюцца на перакананых джэрэлах, а не на найкрашчай спадзяванні модэлю.
• Актуальныя ведамасці. Штучны інтэлект застаецца апошнім без павторнага навучэння, адколі дастатнька толькі аднавлення базы ведамасцяў.
• Менш галюцынацый. Генераванне на адной падставе фактов скарочыць выдуманыя адказы, а кожна тверджэнне можа быць прысвячана да дакумента-джэрэла.

Магчымас для развіцця. Дадзенне новага джэрэла дадзеных значыць яго падключэнне да процэса выкарыстоўвання. Сама мадэль застаецца некінульнай.

Лепшая адчувальнасць да кантэксту. Калі ёсць рэальны матэрыял для аналізу, сістэма болей тачна адрабатвае запіт корыстніка.

Ішчо адна перавага, якую лёгка працізіць: працэйнасць. Калі адпаведзь ствараецца на адной з выкарыстоўваных дакументаў, можна паказаць корыстніку ўсходжанне таго дакумента, і мало якія функцыі так сільна спрыяюць доверлівасці.

Дзе RAG яшчэ не дастае

Гэта не чародная пілюлі, і яе меры лімітаў заслуговаюць на чыстасцю.

• Ліміты выкарыстоўвання дакументаў вплываюць на якасць адпаведзяў. Калі прыстрой для выкарыстоўвання дакументаў прынесе некарэктны дакумент, генератор будзе з абавесцю будаваць адпаведзь на паслабленай базе. Якшы вхідны матэрыял паказвае сябе паслаблена, выходны матэрыял таксама будзе паслабленым.
• Застарэлы чы або дубліруючыся контэнт такі ж паслаблі, як і ўсёўсёдышнія прыводы. Сістэма можа быць настолькі ж актуальной, насколькі актуальныя ўсі ўжо з’ѐеднаныя з яю даны. Без рэгулярнага адчысцэння ў яе можу прабіцца старая інформацыя, якая будзе прадставленая як правдзіва.
• Накапліваецца затрымка. Кожны крок абробкі даных займае час, і прыкладненні, якім патрэбны адпаведныя рэспансы за каліксекунды, вынушаны шукаць спосабы падрыхтавацца да такога зусільнага часу.
• Паслабленні ў логічных выводах застаюцца. Нават калі факты падтрымліваюцься, цэлком не павышаецца логіка чы матэматычныя здольнасці модэлю. Там, дзе раней былі проблемы, яны застаюцца.

Нічыя з гэтых прычын не спроцватае прымусова прыняцце RAG. Яны спроцватаюць заставаць нас ствараць такія сістэмы цікавае, выкорыстоўваючы тую ж дысцыпліну, якую мы прыкладваем да будзь-якага промышленага каналу апрацоўкі даных.

Звычкі, якія робяць сістэму RAG надзеяным

Дзеяныя звычкі адразняюць справныя сістэмы RAG ад тых, якія паступова втрачаюць доверлівасць корыстувачаў:

• Зберагачыце базу знанняў у апраноце. Рэгулярна адчыняйце застарэлыя, павтараючыяся або суперасліжныя дакументы, калі ўжо якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось якось я

  Перакантовка, чы ўсё працуе

  Запуск — гэта не канец. Гэта канец, калі вядома, чы сістэма дапамагае. Некалькі паказнікаяў маюць наўрадзе важлівую ролю:

  • Точнасць выкарыстоўвання інфармацыі. З усіх выкарыстоўваных дадзеных, якая частка насправды стосуецца запітання? Нізкая точнасць прыносіць генератору пераважна шум.
  • Адпаведнасць адпаведзі да выхадных дадзеных. Пораўняйце адпаведзь з ўсімі ўхіднымы джэрамі інфармацыі: чы ёна падтрымлівае тое, што сказана там, чы мадэль блукае і прыўязвае тверджэнні, якіх ніхто не падтрымлівае? Галюцынаціі можуць існаваць у сістэме, якая выглядае абоснованай, а гэты паказнік яе адкрывае.
  • Паверхневасць. У якой частцы запытанняў выкарыстоўвання інфармацыі дае якісь значныя рэзультаты? Прасачыні ў базе знанняяў тылуцінна прымушваюць мадэль зноў гадаць.
• Шчыльнасць парадробкі корыстувальніка. Післяльгуеце перапісвы, дадзеныя пасля пытання і пазнакі некорэктных адказоў. Паколькі гэтыя даны атрымваюцца з рэальнага выкарыстоўвання, а не з набора тэстоў, яны даюць наібольш точную інфармацыю.

Команды, якія фіксуюць толькі тое, чыі адказ атрымалі корыстувальнікі, працягваюць ігнораваць болей важлівыя пытанні: чы быў адказ правільны і чы можна яго падтвердзіць. Лёгкі цыкл адзываў, нават пазначкі «згода» або «незгода», прыўязаныя да атрыманага крыніцы, быстра вярнюе ся у віглядзе парадактных наследків.

Куды прымкнэць ІІ, якая розумее кантэкст

Калі організацыі все больш павернуцца да ІІ для прыняцця рашэнняў, патрабаванне да надзеяных, кантэкст-свядомых сістэм будзе продовжваць раставаць. RAG ўжо ўзьяў значны крок у гэтым напрамку, з’яўляючыся мостам між статычнымі мадэлямі і дынамічнымі, жывымі знаннямі.

Можна спакавацца, што на наступным этапе тэхналогія RAG будзе спаўнавацца з аднавяленымі методамі пошуку інфармацыі, такімі як мнагапрыходзовыя выважанні на адной час на калькі дакументаў, пошук, які прыстосоўваецца да ступеня вярыгоднасці модэлю, а таксама болей тычальная зворотная связь между запытамі корыстніка і контэнтам базы знанняў. Статычныя адпаведзі на адзін запыт заменяюцца сістэмамі, якія дзейнуюць як абавяжаны колега, які пераглядае джэрэлы, цітае іх і кажа, што адпаведзь трэба параболіць, прычымуя да пераканання.

У чым справа

Для компаній, якія адмашчваюць генератыўныя AI-тэхналогіі, вызов больш не ў шырокім выдаванні адпаведзяў. Гэта выдаванне адпаведзяў, якія ўсё ж такі ўсё правільныя, кантэкстуальныя, актуальныя і надзеяныя. Тэхналогія RAG рашае гэтыя проблемы, дазваляючы модэлю базаваць сваія адпаведзі на рэальной інфармацыі, а не толькі на статычных даных навчання, што дапамагае зменшыць галюцынаціі, падняць точнасць, даўаць адпаведзі, падтрыманыя джэрэламі, і прыстосавацца да змянюючайся інфармацыі без дорогога перэнавчання.

Найцэннейшыя сістэмы, што ў большай меры, не будуць тымі, якія выкарыстоўваюць самыя большыя мадэлі. Гэта будуць тыя, якія маюць доступ да найболей рэлевантных, пераканальваных знанняў у момент прымэння рашэння. Незалежна ад таго, чы то шуканне, автаматызацыя падтрымкі, аналіз дакументаў, калектываванне знанняў чы рэальны аналіз, RAG стае фунаментальным патэрнам для прымэння AI у практыцы.

Супаўязаныя матэрыялы

• RAG from First Principles: How Retrieval-Augmented Generation Actually Works — Першыя прынцыпы RAG: чаму ён існуе, як ён адрозніваецца ад фін-цюнінгу, яго развіцце, афлайн і онлайн практыкі, а таксама способы неудач.
• Практычныя прыемы: Чым являецца Retrieval-Augmented Generation (RAG)? Практычныя рэкамендацыі — Паследовы выкладкі па тэме «Практычныя прыемы: Чым являецца Retrieval-Augmented Generation (RAG)? Практычныя рэкамендацыі»: контракты, перакантрольваннія і шаблоны коду для команд, якія вікорыстоўваюць гэты падход.