Галоўная / Артыкулы

Разбіўка: недаацэненае рашэнне RAG за памылковымі адказамі

Чаму дрэнная разбіўка дакументаў абмяжоўвае якасць пошуку, як дапамагаюць разбіўка з улікам структуры і parent-child і як вымераць, ці працуюць вашы фрагменты.

Выдавец: REACTAPP.TOP7 хв чытання1686 слоў

Крыніцы: Chunking: The RAG Decision Everyone Skips, and Shouldn’t

Калі чат-бот на адаптаваным глобальным модэлі з упэўненасцю дае некарэктны адказ, звычная рэакцыя — гэта звынувачваць сам модэль. Людзі заменяюць яго на большы LLM, перэрабляюць запіт або пробуюць іншы модэль укладання дадзеных. Часта нічга з гэтага не падчыняецца справжняй прычыне, якая знаходзіцца раней у працэсе апрацоўкі, тады, калі дакумент быў раздзелены на часткі. Штадзець называецца фрагментаваннем. Ён мае вялікы патэнцыяў на якасць выкарыстоўвання дадзеных і лёгкі да ігнаравання, таму што ён выраховваецца раней за тымі часткамі, якія людзі зазвычай налаштовваюць.

Конкрэты прыклад гэта чытра паказвае. Кліент запытае бота падтрымкі, чы можна вернуць грошы за парадзелены тавар. Бот адказвае, што вярнення прыймаюцца прыблізна за 30 дней. Гэта здаецца нормальным, але правіла таксавання таксуюць, што гэтае правіло не паўтараецца для тавароў, адзначаных як «працоўны прымер». Бот ніколі не бачыў гэтага пункту. Модэль тут не вінаваты. Фраза проста знаходзілася ў іншым фрагменце, чым той, які быў выкарыстоўваны.

У наступным чытанні расказваецца пра тое, што такое чанкаванне, чаму наўмовітная версія выконваецца некорэктна самэй гэтым спосабам і якія рашэнні прымаюць практычныя сістэмы для выйшага. У матэрыяле апіроўваюцца да дакументацыі прадавцоў і фрэймворкаў, а таксама стараюцца утрымлівацца ад згадкіў на основе спэкуляцый, дзе тое можліва.

Што такое чанкаванне

Сістэма ШЫ, якая адначасова працуе з вашымі дакументамі, спачатку должна разбіць іх на менжыя часткі. Два практычныя фактора спрыяюць гэтаму.

Першы з іх — тачнасць выкарыстоўвання дакументаў. Якшто зберагчы цэлы дакумент як адну елементацію, а пасля здзейсніць пошук за фразай „палітыка вярнення грошаў“, будзе атрыманы весь файл, большая частка якога неякразнае. Нужна самэ тая частка, якая адпаведае на запыт. У дакументацыі Azure AI Search ад Microsoft праўда якраз гэта падчэркнута: нават калі дакумент пасвячваецца ў межы можлівасцей вхідных дадзенняў модэлю, яго разбіванне на менжыя часткі часта дапамагае атрымаць лепшыя рэзультаты, таму што адны вектары не можаць належна выражаць многа розных падтэм.

Другій проблемай ёсць строгія ліміт вводу для модэлей эмбеддынгу. Разбіўка на часткі запобегае таму, каб контэнт, які перасягае гэты ліміт, быў таямніча адсечаны.

Потым працэс выконваецца так: дакумент раздзеляецца на часткі. Кожная частка стае вектарам, эмбеддынгам, і гэтыя вектары зберагаюцца ў базе дадзэнняў вектароў. Пытанне карыстальніка таксама працоўваецца як эмбеддынг, і сістэма запрашвае тыя часткі, якія маюць найвышэйшую рангаванне па выбранам методу пошуку: чыстая сэмалія вектароў, гібрыдны пошук, які спалучае вектары з ключоўымі словамі, або дадатковая перэрангавання.

Самэ ў гэтым заключным кроце выбор спосабу разбіўкі на часткі можа стаць прычынай проблем. Сістэма можа запрашваць толькі тое, што ёй было дана. Калі доказы для адпаведзення распадзелены між двумя часткамі, а запрашваецца толькі адна, модэль даўае адпаведзенне на падчастковы кантэкст і не можа знайсці, што недастатковы фрагмент існуе ў іншым месцы.

Чаму наўважны падход не працуе

Самый просты ўзьём — гэта разбіўка на фрагменты фіксаванага размеру. Тэкст раздзеляецца кожныя N токенав або сімвалаў, незалежна ад таго, што ён містыць. Ён популярны, таму што ён просты і перэдбачальны, і для яго не трэба многа дадатковай апрацоўкі.

Нават Azure, чыяя інструкцыі называюць разбіўку на фрагменты фіксаванага размеру правільным пачатковым падходам, чыста кажуць, што правільны размер і ступень перакрыцця залежаць ад формы контэнту і віда запітоў, якія надаюць корыстнікі, і што высокаструктурованыя даны можаць патрабаваць іншаг адносу, чым простая проза. Ключовы момент у тым, што меншы размер не значыць автаматычна лепшы. Занадта дробная разбіўка можа адсекць факты, якія павінны чытацца разам, і самэ гэта сталася з політыкай вярнення грошаў.

Павтарыце той прыклад. Падазроўце, што рэччы пра 30 дзён знаходзіцца ў аднай частцы, а асаблівасць заканчальнай продажу — у наступной. Запыт пра вярненне грошаў сільна падходзіць да першай частцы завяршэннем „вярненне“. Частка з асаблівасцю ніколі не бераецца. Мадэль правільна аналізуе тое, што яна пачула, але тое, што яна пачула, было непূরнае.

Гэтае ўсходжае з асновнага недастатку часткавання: якосць выкарыстоўвання даных абмежваецца якосцю частак, незалежна ад таго, насколькі сільны ўжоўваныя мадэлі чы LLM, якія яны выкарыстоўваюць. Команды вітрачаюць недзеяўкі на налагоджэнне ужоўваных модэляў і пераранжаванне даных, хоча асалоджэнне знаходзіцца на адны крок раней — у спосабе раздзелення выхідных даных.

Што робяць сістэмы працы

Паўтараючыся ўсё чашчэ два патэрны.

Часткаванне з урахоўваннем структуры

Эты спосаб прынімае дакумент не як аб’еднаную строку. У працоўванні з дакументам не робіцца разлік на кожных N токенав, а спачатку водзіцца разлік па прыродных межах — заглав’ях, раздзелах і параграфах, а ліміт розмеру застосоўваецца толькі тады, калі раздзел становіць вялікі розмер. Azure AI Search прысвечвае гэтаму аспекту сваёю спроможнасцю Document Layout, дзе мадэль інтэлігенціі дакументаў выявляе ўсю структуру і стварае цэлеспрамованыя раздзелы для пасляўсьего ўкладання ў часткі.

Як базовы падход пры дадаванні усведамлення структуры, чыныя рэкамендаціі Microsoft прапануют пачынаць з прыблізна 512 токенав з апошнім перакрыццем у 25 процэнаў, акцэнюючы пры тым, што найлепшыя настройкі залежаць ад контэнту і сферы прыменення.

Укладанне ў часткі «родык-дзеця»

Гэты падчынны метод, які таксама называецца іерархічным або методам выкарыстоўвання малых частак для пошуку, атакуе тую ж проблему з іншай стороны. Уместо таго, каб запрашаць адну вялікую частку і спадзявацца, што ў яй ёсць усё неабходнае, сістэма знаходзіць маленькую, точную частку-падчынка для правільнага паўтарэння, а потым расшырвае рэзультат, ўключаючы большую частку-якорь, каб прадстаўіць полны кантэкст.

Няколькі популярных інструментаў яго рэалізуюць:

  • LlamaIndex стварае іерархію з грубых да тонкіх вузлаў за дапамогою HierarchicalNodeParser. Для вектарнага пошуку індэксуюцься толькі маленькі лістовыя частакі, а ўсе большыя якорныя часткі зберагаюцца ў окольнім сховішчы дакументаў. Пасля таго AutoMergingRetriever знову включае якорную частку, калі ўжо будзе знайдзена достатня колькасць яе падчынных частак.
  • У LangChain клас ParentDocumentRetriever працюе па той жа прынцып: ён включае маленькія фрагменты-дзеці для цялевай пашуковай працы, а пад час запіту знаходзіць адпраўны документ, з каго прыйшла кожная рэзультатная інфармацыя, і вяртае тэты большы тэкст, стараючыся саўершынаваць точнасць адналічэння і ўтрымаць достатню дужыну тэксту для зберагчэння кантэксту.
  • Amazon Bedrock Knowledge Bases опісвае гэты патэрн своімі словамі: спачатку адналічаюцься фрагменты-дзеці, а пасля яны заменяюцца ўсё бол шырокімі адпраўнымі документамі, таму што маленькія эмбеддынгі ёсць болей точнымі, але модэлю все ж трэба ўсеохопны кантэкст.
  • Такій падзелле ўсё спрацоўвае таму, што маленькія і вялікія фрагменты маюць разныя перавагі. Маленькія фрагменты даюць чыстыя, сфокусаваныя эмбедынгі і спрыяюць высокаточнам выкарыстоўванню інформацыі. Вялікія фрагменты забезпечваюць модэлю достатню колькасць абаканяючага тэксту, каб ухіліцца ад адпаведзення на фрагмент, цалкам адсутны ў кантэксце. Падзелле на «родычаў» і «дзецей» дазволяе кожнаму розмеру выканаць тое, у чым ён супэрна, замест таго, каб прымусваць адні розмеры выканаць як задачу выкарыстоўвання інформацыі, так і задачу стварэння новага тэксту.

    Аднак гэта не ўніверсальна. Для корпусаў, складзеных з вялікіх, самастойных елементаў, такіх як запытанні-адказы або спісы продуктаў, або для строга табулярных і шыматных дадзеных, крок расшырэння «родычаў» часта прыносіць дапаможныя зусілля без адпаведнай парадыгі.

    Няма аднаго найкрашчага настаўлення

    Ні розмер фрагмента, ні стратэгія падзелле не ўсюды ёсць выгодныя. Выбор залежыць ад таго, як складзеныя вашы дакументы, якія запытанні задаюць корыстувальнікі, якая у вас архітэктура выкарыстоўвання і пераранжавання інформацыі, а таксама ад таго, як вы ацэнюеце цэлую сістэму.

    Семантычна групування тэксту за значэнням, а не за структурою чы розміром, часта вважаецца більш просунутою стратэгіею. AWS опісуе іі як одну з підтрымуваніх методык порад із фіксовано-розмірнім і іерархічнім групуванням, проце яна перэдбачае додаткові параметры і компромісі, тому необхідно перэвірыты іі ефектывнісць на власніх документах і запітах, а не прыпускаты автоматычну перэмогу.

    Перэвірка працы семантычного групування

    Вібір стратэгіі — гэта не одноразове рышэння. Яго потрыбно постыйно оцінюваты і корыгуваты. Пасля запуску сістэмі важліво стэжыты за трыма показнікамі.

    • Рывень відтворэння інформацыі. Для будзь-якого запіту перэвірце, чы множына отрыманіх груп включае необхідні доказі для правільноі адказы. Калі ні, жодні подальшы дыі не зможуць віправіты сітуацію.
  • Точна адаптацыя даўжынкі фрагментаў. З усіх павернуўшыхся фрагментаў, скількі з іх было практычна рэлевантным? Нізкая точнасць зазвычай означае, што фрагменты занадта вялікія або маюць занадта слабкія межы, і ў ўзеўзеце падае несвязаны тэкст.
  • Якосьць адпаведзі з початку да канца. Калі ў модэлі ў руках быў правільны фрагмент, чы сумела яна яго правільна выкарыстаць? Гэта дапамагае выявіць проблемы ў працэсе стварэння адпаведзі, а не толькі ў ўзнікненні фрагментаў, а разлікаванне гэтага пункту ад двух іншых паказвае, чы паслабленая адпаведзь вынікла з-за фрагментавання, пошуку чы стварэння.
  • Разлікованне гэтых трохоў пунктова, а не проста перакананне, чы фінальная адпаведзь правільная, ператварае працэс фрагментавання з простага здогадвання ў працэс, над якім можна працаваць паэтапна.

    Маленькі спосаб прыступу

    Дашчыцкі першы эксперымент дапамагае. Зберыце дваццаць чырвоны трыдцяць рэальных запытанняў разам з аблакамі, якія павінны на іха адпаведзець. Працуйце з тым жа наборам праз два чырвоны тры канфігурацыі разбіяння на часткі, такія як фіксаваны размер з перакрыццю, разбіянне з урахоўванням структуры чырвоны розшырэнне «якор-дзець». Для кожной з іх падсчытайце, як часта неабходныя доказы з’яўляюцца ў атрыманам наборэ. Канфігурацыя, якая будзе эфектываюсь для вашых сабэйных дакументаў, ценнейшая за будзь-яе загальнае рэкамендаванне.

    Што трэба памяцаць

    Разбіянне на часткі — гэта не крок падготовкі дакументаў, які можна выконаць раз і забыць. Гэта першая рашэнне сістэмы па атрыманні інфармацыі, і ўсё, што выконваецца пасля таго — ад імбеджынга да пераранжавання чырвоны генеравання — успадковвае наследства будзь-якіх парадох у гэтым кроку.

    Сільны мадэль імбеджынга не можа вылечыць дакумент, які паспела пагана разбіць на часткі. Калі адпаведзенні з сістэмы RAG здаюцца наэнтэзічнымі, непачаткамымі чырвоны абсалютна некорэктнымі, перагляньце часткі прычымоўна да таго, калі будзеце працаваць з модэлем.

    Ўрайны

    Вышэўказаныя дакладнасці падаюцься з адкрытай дастатковай інфармацыі Microsoft Azure AI Search, укладзенай у яе кансалтатывныя матэрыялы пра падзелку дакументаў на часткі і пра абавязкі функцыі Document Layout, з рэпазітарыя Azure-Samples, прызначанага для праектавання і ацэнкі рашэнняў на аднойчынную пашуковую генератыўную аперацыю (RAG), з старонік LlamaIndex, якія распаведаюць пра аўтаматычныя з’еднанні элементаў пашуку і парсероў вузлаў, з дастатковай інфармацыі LangChain пра ParentDocumentRetriever і з старонік Amazon Bedrock, якія паказваюць, як адбываецца падзелка кантэнту на часткі для баз знаёмых. Настройкі могу зменіцца межы выданнямі, таму пераканайцеся ў іх правільнасці, супрацоўваючы з актуальнымі дакументамі.