Чаму RAG прапускае старонку з адказам: хлеб, дрожджы і вектары
Пошук па падабенстве ў RAG можа вяртаць старонкі па тэме і ўсё роўна прапусціць тую, дзе адказ. Чаму табліцы і top-k пагаршаюць справу і што тэставаць спачатку.
Уявіце хлеб, які выходзіць з печы плоскім і ўплотненым. Вы запытваеце штучнага інтэлекту, які прачытаў усю вашу кнігу прыемаў, чаму так адбылася. Адпаведзь прыходзіць мгновенна, з аблікованым абавесцю: пераканайцеся, што правільна тэхніка замешвання, пераканайцеся, што тэмпература печы правільная. Усе, што ён кажа, стосуецца хлеба, але нічога з таго няўсёлідна.
У кнізе прыемаў адноўсёлідна была адпаведзь. На старонцы пад заглавлём „Актывацыя дрожжоў“ напісана, што вода з тэмпературой вышэй за 50°C вбівае дрожжы. Вода была занадта гарачая, дрожжы памерлі, нічога не паднялася, і хлеб застаўся плоскім. этую старонку ніколі не ачынілі. Прычыну варта зразумець, таму што тое ж самае тыхо адбываецца ў багацьці корпоратыўскіх сістэм штучнага інтэлекту.
Як працуюць гэтыя сістэмы
Гэта тэхніка называецца генераванне з дапамогай узяць з базы дадзеных, або RAG. Мадэль не можа запам’ятаваць усі вашы дакументы, таму сістэма запрашвае стосунавочныя фрагменты і дазваляе модэлі ўжо ўсё гэта прачытаць пры адпаведзе.
Пазней мае значэньне адна дэталь. Сістэма не зберагае цэлыя дакументы. Яна раздзеляе іх на фрагменты па колькасці сотняў слоў, якія называюцца чанкамі, і шукае сярод іх. У кулінарнай кнізе чанк – гэта прыблізна адна стораніца.
Прыемны прыклад – бібліятэкар, які працуе з экспертом. Ваша запытка падае да бібліятэкара, які праходзіць па поліцы, збірае калькі стораніцаў, якія, як здаецца, стосуюцца тэмы, і прасоввае іх праз ўзьвіз эксперту, які знаходзіцца ў кімнаце. Эксперт можа вжываць толькі гэтыя стораніцы і не мае можлівасці запрашваць больш.
Скількіх сторанак перадаецца? Зазвычай пяць за замовчанням, як у Amazon Bedrock Knowledge Bases і Azure OpenAI On Your Data, тады як у LangChain — чатыры. Падвышэнне колькасці — гэта першы спосаб, да якога вяртаюцца большасць людзей. Кожная платформа называе гэта по-рознаму: numberOfResults у Bedrock, topNDocuments у Azure OpenAI On Your Data, а k у LangChain і самай Azure AI Search. Усе гэта означае, скількі фрагментаў мадэль можа прачытаць.
Калі бібліятэкар добра выбірае, эксперт выглядае выдаюшчася. Калі выбор паслабы, эксперт не адзначае, што сторанакі некарэктныя. Ён усё рава адпавядае, плавна, аднойчы і некорэктна.
Як бібліятэкар выбірае
Усе іншае вынікае з гэтага крока. Сістэма ператварае кожны фрагмент у спіс цыфр, якія опісваюць, пра шта ён стосуецца, і робіць тое ж самае з вашым запітам. Потым яна вяртае фрагменты, чыя цыфры знаходзяцца найбліжэй да цыфр запіта.
Пастойчаўна з’яўляюцься два тэрміны. Спіс цыфр фрагмента называецца эмбедынгам, а крэтэрыям блізкасці служыць косінусавая схожасць. Можна прыхіліцца да простага разумеўнага падходу, адколі ідэя заключаецца проста ў тым, насколькі блізкія за значэннем два элементы.
Недагоднасць можна пазначыць у самай схеме
Уявіце кожны фрагмент як стрэлу, накіраваную ў певны направленні. Рэйтынг схожасці відбівае куточак межы двух стрэлаў: маленькі куточак указвае на схожасць, вялікі — на несхожасць. Паколькі формула вырахоўваецца з урахоўваннем дужыны кожной стрэлы, застаецца толькі ўпрымку тэксту. Сіла, тачнасць і акцэнт выліваюцца.
Вы можэтэе паказаць наследкі гэтага прыблізна за адзін мінут. Возьміце пары рэчэй, якія разлічаюцца на адзін слова, пры чым гэта слова несу всю інструкцыю, напрыклад „дзеяць“ проты „не дзеяць“. Для пошуку кожная пара выглядае практычна однакова. Калі сістэма знаходзіць некалькі правы член пары, то канечны адказ не ўзніклае неясным — ён будзе абсалютна некалькісным.
Перад тым, як пасляваляцца на сістэму, зрабіце шырокі адзінчы пераконтак з вашым матэрыялам. Выберыце две рэчэй, якія разлічаюцца толькі на наявнасці запароджэння, номера версіі чыста прагу, уключыце іх і парабяліце рэзультаты. Гэта пераканае больш, чым будзь-які опублікованы крэйтэрыан, таму што ў гэтым вы іспользуеце свой корпус дадзеных.
Ёсць правда, гэты падход не ўключае падбору ключоўых слоў. Ён парабялівае значэнне, таму сінанімы не ствараюць проблем: якшо запытаць пра автомабіль, сістэма знайдзе тэксты пра аўтамабілі. Людзі часта думаюць, што крашчая формулірацыя ёсць рашэннем, але сама формулірацыя не ёсць проблемай.
Рэгламент выклікае, чы рэчак прытаманны той ж самай тэме, што і запытанне. Але ён не выклікае, чы рэчак змяшчае адказ. Большая частка часоў гэтыя два падыходзяць адно да другога, і ніхто таго не зазначае. Запытанне пра тое, калі быў пабудаваны Ейфелева вежа, адпавядае рэчак пра Ейфелеву вежу, і гэта проста.
А цяпер вярнімся да хлеба.
Калі адказ знаходзіцца ў іншай тэме
Запытанне стосуецца хлеба. Старонка, якая мае адказ, стосуецца дрожжоў. Гэта разныя тэмы, а не разныя словы для адной тэмы, таму хітрыя формулюванні не можаць іх спаяць. Што іх спаяе, — гэта прычынна-наследныя зв’язкі:
вода занадта гарачая, дрожжы гінуць, няма газу, няма падымання, хлеб застаеся плоскім
Апытны пекар праходзіць па гэтым ланцугу без жадных раздумаў. Пошук сэмаверства ўжо не можа яго перасекць, бо для перасекання трэбаяя логіка, а пошук выклікае толькі ступень сэмаверства.
Становіцца ўсё горша. Вы запыталіся самэль таму, што не зналі прычыны. Якбы вы зналі, што трэба пераглядаць тэмпературу дрожжоў, не было б патрэбы запытвацца. Шырокія сістэмы добра падходзяць для запытанняў, на якія можна было бы самому адпаведаць.
Чаму запрашэнне большых колькасцяў стораніц дапамагае толькі часткова
Падвышэнне значэння з пяці на пяцьдзесят выглядае як явны спосаб рашэння проблемы, і стораніца пра дрожжы можа цяпер быць запрашаная. Але рангінг не змяніўся. Стораніца застаецца «закопанай», таму што яна яшчэ прыналежыць да іншай тэмы. Магчымасці ўсё большыя, і вы спадзяецеся.
Есць ўсё ж і ўскладнення: больш тэксту значыць вышэйшыя косты, медленнейшыя адпаведзі і дадатковы матэрыял, блізкі за тэматыкай, які заплутвае тое, што чытае мадэль, і, як паказана ніжэй, гэта актываўна пагаршае рэзультаты.
Табліцы втрачаюцца ўжо перад тым, як пачнёцца пошук
Другая втрата пакуецца раней, калі дакументы прыймаюцца. Перш чым можна шукаць, дакумент ператвараецца ў звычны тэкст. Проза застаецца пасля ператварэння, а структура — частае не.
Уявіце таблыцу, якая пераказвае часы праверкі, з адной ступенём на кожны тып хлеба. Калі ёй даюць форму тэксту, цыфры застаюцца, але ступені знікаюць. Калі запытацца, сколькі часу патрэбна ржа, зберожаны тэкст не дае жадных звязкаў между цыфрой 45 хвілін і ржай у працоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасупрацоўнасуп
Ўбе вялікія воблака зараз прысунуюць лепшую обработку: Bedrock располагае парсерам на адміністрацыі модэлей, а Azure — функцыяю Document Intelligence для выяўлення структуры дакументаў. Яны дапамагаюць значна, але не пазбавляюць нас проблемы, і яны не ўключаюцца як стандартна функцыя.
Эксперыментальныя доказы
Бенчмарк пад назвай BRIGHT нацэлёваны на задачы, дзе для выбору правільнага дакумента неабходна логічная аналіза, а не проста падбіранне па тэме. Модэлі, якія даходзяць да рэзультата апошніх 59 з 100 пад звычнымі запытамі, пад такімі задачамі даходзяць толькі да 18. Якісць не змянілася, за выключэнням тыпу задачы. Большая вычысловая моц таксама не дапамагае: сярод трохцяці перабраных модэляў найлепшы рэзультат пад складнымі задачамі складаў 24.
Апасцярожнае аспекта
Якбы сістэма адаптавалася і паказвала „нічога не знайдзена“, гэта была бы незначная проблема. Але яна так не робіць. Сервісы пошуку сортаваюць рэзультаты за ступенем адпаведнасці і не адхроняюць жадных з іх. Калі у вашых дакументах няма адпаведнай адказы, вы все раве атрымліваеце рэзультаты, якія выглядаюць як успех, і не існуе жаднага крэткага показніка, па якім сістэма могла б заявіць, што не знайшла нічога корыстнага.
Работа, прэдставленая на ICLR 2025, даследавала гэта явішча. Калі мадэль атрымлівала супаўзвучны матэрыял, які на самай працэ не меў адказы, яе некарэктныя адказы вырасталі з прыблізна 10% да 66%, што было горша, чым калі яна вовсе не давала адказа. Мадэлі таксама сталаўся значна менш склонныя заявляць, што не ведаюць.
Матэрыял, які часткова ўзможлівае розуменне, нарабляе больш шкоды, чым нічога, адколькі стварае хыбную адказнасць. Дэшэўа ўжываць просты, бездзейнаўчы матэрыял. Аднак той жа прыклад пакрычыны ў анаізе супакоўнасці, медычным пытанні чы выборы архітэктуры не ёсць такім, і самэ гэта робіць такую пакрычыну значнымю.
Што робіць
Тры крокі можу дапамогчы, прыблізна за порадкам эфектыўнасці:
- Ўжывайце рэалістычныя пытанні. Команды зазвычай тэстуюць з запытаннямі, напісанымі автарамі дакументаў, выкарыстоўваючы ўласныя словы дакументаў. Крашчэ, каб запытанні напісалі колегі, якія не чыталі матэрыял, і тады слабыя месцы быстра стануць віднымі.
- Ацэніце процэс выкарыстоўвання інфармацыі самастойна. Перш чым адмаўляцца, чы была хораша адказ, пераканайцеся, чы ўзагалі быў знайдзены правы фрагмент. Калі ён не быў знайдзены, налагоджэнне модэлю не дапаможа, таму што лагодзіцца неправы ўжо частак сістэмы.
Традыцыйныя сістэмы RAG сталкваюцца з трудамі па рашэнню складных тэхнічных запытанняў з калькольных прычын, і гэта разліка межа выкарыстоўваннем інфармацыі і логічным мышлэннем — толькі адна з іх. Іншая прычына — разбіўка тэксту, якая разрушае яго значэнне, а таксама — сістэмы, якія пасканаюць тэсты, але не функцыонуюць у рэальных умовах. Для выправлення будзь-кага з гэтых прыбліжэнняў пачынаюць з апытакі, дзе загубілася правільная частка тэксту, а не з згадкі, і з прыняцця гэтага, што першая спроба выкарыстоўвання інфармацыі іноды будзе невялікая.
Супаўзвязаныя матэрыялы
- Чаму RAG яшчэ дае некарэктныя адпаведзі: гібрыдны пошук, пераранжаванне і Recall@K — Чыстыя часткі тэксту не гарантуюць хорашых адпаведзяў. Пазнакайце, дзе парадоксуецца вектарны пошук, і як фюзыя, пераранжаванне за дапамою крос-кодэра, HyDE і метрыка Recall@K гэта выправляюць.
- Кантэкстуальныя методы адгэтування дадзейнаў у RAG: што хавае цяперышні показнік у 67%, якія ўскладненні і рызыкі, а таксама калі гэты падход не дапамагае — як вікорыстоўванне прыметнікаў для паспакоўкі дадзейнаў рашае проблему аддзельных фрагментаў, чаму 67% падвышэння эфектыўнасці даўаецца за счытком трох вароўных заходаў, што дапамагае кэшаванне запытанняў, і чатыры сцэны, калі гэты метод не ўзмацнівае рэзультатаў.
- Простая схема RAG на Python з вікорыстоўванням Qdrant, fastembed і Gemini — стварэнне інструмента на команднай лініі для поступовага адгэтування дадзейнаў: падзел локальных дакументаў на фрагменты, ўкладкі іх у вектары без падключэння да інтэрнэту, зберагчыце вектары ў Qdrant і адпавідзайце на запытанні за дапамогою Gemini.
- Што на самай працо значыць GPT і чаму інжынерыя AI застаецца інжынерыяй — Дзеянне парадыгмы Generative Pre-trained Transformer, прынцыпы attention, фітынгу і прагнозавання, а таксама празьбы, чаму якісная праца з AI застаецца залежным ад звычайнага інжынерскага суджэння і крашчых запытанняў.