KohakuRAG: падымаемся па дрэве дакумента, каб знайсці патрэбныя доказы
KohakuRAG падымаецца па чатырохузроўневым дрэве дакумента ў пошуках доказаў: шматзапытны пошук, паўторы пры пустых адказах і галасаванне — правераныя на WattBot 2025.
Крыніцы: KohakuRAG: Climb the Document Tree, Find the Right Evidence
Генераванне, аддытаванае за дапамою выкарыстоўвання інфармацыі, часта выглядае чудова ў дэмантных прыкладах, але пасля таго не справляецца з рэальнымі запытаннямі. KohakuRAG — фрэймворк, апісаны ў стацыіі arXiv 2026 года, прагчыць запалаваць гэтыя праслейкі за дапамою простых інжынерных рашэнняў, і яго варта рэштацыйна рассмотрыць.
Дзе звычны RAG не падходзіць
Задачы на кшталт WattBot 2025 Challenge адкрываюць слабыя месцы такога падходу. Яны выкарыстоўваюць чысловыя адпаведзі, точныя да 0,1 процэнта, а таксама вымагаюць точнага апісання джэрага інфармацыі. Тры прычыны, якія вплываюць на неэфектыўнасць стандартных практык, такія:
- Разбіванне тэксту на аддзелы ігнаруе структуру дакумента, таму выявленне джэрага адпаведзі стае складнейшым, а цітаты зяўляюцца менш надзеянымі.
- Адна запытанне можа лёгка працісціць хорашыя доказы, калі запытанне і дакумент выражаюць тую ж ідэю аднакова, але іншым спосабам.
З плоскіх частак да дрэва
KohakuRAG — гэта компактная парадграма, пабудаваная на чатыроуровневым індэксе: дакумент, раздзел, параграф, рэчы. Структура застаецца стабільной, таму што інкапсуляцыі сумавляюцца знізу вверх. Планаванне запіта ад LLM, а таксама перэранківанне між запітамі, расшырваюць дыяпазон аднаходжэння інфармацыі. Адказы стабілізуюцца за дапамогою галасавання між калькамі генеравання, пры чым спецыяльна адмаўляюцца порожнія выходы.
Офлайн: стварэнне індэкса
Спачатку выканана параболізацыя. Кожны дакумент стае дрэвам з тых чатырох рэўлінаў. Адпраўкі і табліцы спрацоўваюць як спецыяльныя вузлы параграфаў з генераванымі пісьмовымі апісамі. PyMuPDF выкалывае адпраўкі, а мадэль візуальнага мовы (Qwen3-VL) пішае апісы, якія сфокусаваны на тэхнічным контэнце, цыфрах і пазначэннях вясей.
Большая частка параболізацыі базуецца на правілах. PyMuPDF выкалывае тэкст і макет, а потым гіерархію вярнююць на аднойчынных методах, якія залежнаць ад розмеру шрыфта, адстаней і фарматавання:
- Раздэлы: блакі, у якіх розмер шрыфта ўжо прынеймна 1,2 раза большы за медыянны розмер, лячуцца кандыдатамі на загаловкі, а нумарацыя на кшталт 1,2 або A,3 дапамагае паўтарыць межу.
- Параграфы: суседзяючыя блакі, якія разлучаны менш чым на 1,5 вышыні лініі, з’едынаюцца, а большыя прыемкі ствараюць новы параграф.
- Звесткі: функцыя NLTK
sent_tokenizeадзначае межы звестак, плюс існуюць дадзеные правілы для тэхнічных скрацэнняў, такіх як Fig., et al. і i.e.
Далей ідуць эмбедынгі. Звесткі, тое ўзлёсы дрэва, эмбедуюцца безпосерэдзя. Кожны абяцелі ёст мяркавым значэннем своіх дзецей, з узважэннем да колькасці токэнаў, таму дэльнейшы фрагменты вялікіяя ўтвараюць большы вклад. Падтрымліваюцца два бэкенды: Jina v3 для тэксту (768 вымераў, кантэкст да 8K) і Jina v4 для мультымадальнага пошуку, з вымерамі Matryoshka ад 128 да 2048 і можлівасцю безпосерэдньага апрацоўвання як тэксту, так і адпраўк. Для зберагчэння вікорыстоўваецца sqlite-vec — лёгкі вектарны бэкенд.
У рэальны час: пошук за калькамі запыткаў
У час пытанняў LLM раскрывае первіснае пытанне на кальколька супаўзвязаных запітоў, якія включаюць перафразаванні, раскрыція абрывкіў і падпытанні. Кожны запіт адбывае пошук за допамогою косай схожасці, які обмежваецца вузламі рэчэнцаў і параграфаў. Апшырэннам па выбору ўводзіцца гібрыдны крок, які дагаўляе рыхлы пошук BM25 толькі на індэксе параграфаў, пры чым рэзультаты з гібрыднага пошуку дадаюцца пасля рэзультатаў з ўжо існуючага пошуку.
Рэзультаты пасля таго пераранжуюцца па запыткам на адказа адпрацоўкай частоты, балу або ўжыццём ўсіх трох, тады вузел, які падходзіць кальколькам запыткаў, атрымвае вышэйшую пазіцыю. Сістэма пасля таго праходзіць па дрэве і расшырвае кантэкст: для кожнага патрабаванняя ёна прыўлекае родныя і сяброўскія вузелі. Падходзячая запаведзь прыўлекае свой параграф, а падходзячы параграф — свой раздзіл. Патрабаванняя на рэвэле раздзіла адхоўляюцца, таму што яны занадта грубыя. Апцыянальны крок адзліквідавання дуплікацый можа адмахнуцца перакрыцця абоццаў і наследнікаў, каб захаваць вікна кантэксту, хоць падчас змаганняя яго не выкорыстоўвалі.
Стварэнне адказа
Запросы размешчаюць атрыбутаваны кантэкст прымаўшы ўперадзе за запіт, што запобегае эфекту «загублення ў серэдзіне», а знакі цітата спрыяюць лёгкаму атрыбуцыі для модэля. Рэзультат выдаецца у фармаце JSON, які містыць адпаведны адказ, выкарыстоўваныя значэнні, ID-ы цітатаў, адказ на запыт і флаг для падазроўных, порожніх рэзультатаў. Калі доказаў недастатнько, ад модэля чакаюць чыстае адмова. Заўважыце, што цітаты ацэнююцца на рэвэле ID-а дакумента, а не па сторунках чы аб’ектах, што мае значэнне пад час адгукнення да таго, што оптымізуе сістэма.
Цыкл павторных спроб падменяеся на разгляд порожніх рэзультатаў. Калі модэль адзвячае, што доказаў недастатнько, сістэма выбірае метод top-k, зноў атрыбуе даныя і павтарае процэс, пакуль не будзе атрыбавана правільная адпаведзь чы не будзе досягнута межа павторных спроб.
Калькі паказоў, а потым галасаванне
У зямест на тое, каб прагтучы аднай адказ, сістэма стварае калькі незалежна. Празрыя адказы адзьяляюцца пры галасаванні, калі існуе хоць адзін рэальны адказ. Калі ўсе спробы застаюцца празрыямі, сістэма воздэржываецца. Галасаванне стабілізуе як адказы, так і цітаты.
Рэзультаты
Эта працоўная сістэма была створана для вызову WattBot 2025, таму рэзультаты гэткаа большасцю выйшлі з гэтага тэста: 32 тэхнічныя дакументы пра выкарыстоўванне AI ў энергетыцы, укладзеныя ў фармаце статэй, адчыненых звярненняў і прэзентацый, а ўсьго – апошней 500K токенав. Тэмы абходзяць спрацоўванне энергіі, выкарыстоўванне вады, вуглеўны след і характэрыстыкі кантролі модэляў.
KohakuRAG павысіўся да 0.902 у публічным рэйтынгу і да 0.861 у прыватным, і ён быў едынны метод, які застаўся на першай пазіцыі ў обох.
Выдзеляюця два ключовыя вынікі. Парадак запытку мае вельмі важлівое значэнне: размешчэнне запытку пасля атрыманага кантэксту, а не даўжыню, дала 80 працэнтавых падыходжаецкіх практычных парадактав, чыяму падтрымлівае ідэя пропуску інфармацыі ў промежуцтве. Інодзе найбольшы парадактав даходзіць ад самай простай змены. А сама толькі інтэнсіўная атрымоўка інфармацыі можа быць дастаточной. Гібрыдны пошук з BM25 зазвычай спрыяецца як моцны базовы варыянт, пры тым чыста структураваная іерархічная сістэма атрымоўкі таксама парадзіла ся дужа добра, а дадаць BM25 дапамогла толькі прыблізна на 3,1 працэнта.
Ацэнка
Няма жаднага аддзелу тут, які б быў радыкальна новы. Сіла заключаецца ў тым, як калькі вядомых тэхнік (шаровы індэкс, калькі запыткаў на адну запытку, пракатка запытку, калі модэль адмовіцца, і голасаванне большасцю) з’едынаюцца навакол аднаго складнага цялевага пункту: точныя адказы, точныя цітаты і готовасць адмовіцца, калі доказы слабкія.
Эта методыка таксама стосуецца аднаго з найцяжэйшых аспектаў адпаведзення на запытанні ў корпаратыўных сістэмах, дзе можлівасць атрымання дакладных дапамогаў мае ўжо большое значэнне, чым правільнасць адпаведзення. Якшча адносіцца да гэтага падходу, такія структуры не ўскладнены спосаб разбівання тэксту — гэта інфраструктура для цітатаў, аўдыту і аналізу памылак.
Застаюць два прыбліжныя прыемлівыя пытанні. Першы — чутлівасць да якосці парсінгу, а таксама, верагатна, да якосці планавання запытанняў. Рэальны корпаратыўны контэнт заполненыя некаляканымі PDF-файламі і нэўпорадкованымі макетамі, таму методы, базаваныя на правілах, можу не працаваць ад самага пачатку. Другі — цэна і час адпаведзення. Вікорыстанне кількох методаў прыбліжна лінейна падвайшвае цэну, а прабавы занова можу пагоршыць час адпаведзення, таму гэты падход падходзіць для сістэм з высокай надзеяйнасцю, але з нізкай працэснасцю, і не ўсходзіць у спіну для онлайн-сістэм з высокай паралельнасцю запытанняў.
Основны артыкул называецца „KohakuRAG: Апштый фрэймворк RAG з іерархічным індэксаваннем дакументаў“ і ён доступны на arXiv.