Галоўная / Артыкулы

Пошук інформацыі ў інжынерным вікі: BM25, ўплотненыя вікна без рызыка для токенаў і RRF.

Аналіз першым крокам у пошуку інформацыі ў тэхнічным вікі: цілі на адпаведнасць дакументаў, базовы показнік BM25, баг у скорачэнні дадзеных MiniLM, вікна токенаў і рэзультаты з’еднання вярагоднасці рангу.

Выдавец: REACTAPP.TOP7 хв чытання1701 слоў

Крыніцы: Building RAG from the Corpus Up, Not the Model Down

Адзіная ідэя керуе всім на стадзіі выкарыстоўвання інфармацыі ў гэтым праекце RAG, які спачатку ацэнюе даныя, і які працюе з вялікім інжынерным вікі:

Тое, што падходзіць пад адпаведнасць, і тое, што вяртаецца, не павінны быць тым самым.

Працэс разбівання дадзеных вялікіх блакоў на маленькія фрагменты вялікі ўжо даў можлівасць стварыць маленькія, часткавыя запісы для пошуку, пры чым кожны первісны фрагмент застаўся недзеяным. Гэта паднімае практычныя пытанні: чы хаця бы пошук трэба весты на адзынкі ключоўых слоў чы на асасе эмбеддынгаў? Чы фрагмент, які падходзіць пад адпаведнасць, павінен безпосерэдна прайсці да мовнага модэлю? Скількі рэзультатаў трэба вярнуць? І як можна параблікаваць гэтыя варыянты, не паслугоўваючыся колькама запытамі, якія, можа, здаюцца пераканальнымі?

Вікі ёсць прыватным, таму прыклады тут сінтэтычныя, а дакладныя відомасці пра корпус дадзеных скудныя. Выборы ў рэалізацыі і зафіксаваныя рэзультаты ёсць рэальнымі. Атрыбуты адпаведнасці яшчэ застаюць эксперыментальнымі і не павінны сплутваны з остаточнымі рэзультатамі у працэсе выкарыстоўвання.

Спачатку — кантракт па доказы

Не кожны запіс пра пошук лічыцца автантывным доказам. Звычны фрагмент загалоўкі можа служыць як елементам для падбору, так і елементам, які вяртаецца. Рэкурсыўны падэлемент, фрагмент JSON або вікна з кодам — гэта інша справа. Ён існуе ў тым, каб пошук могаў знайсці большую структуру, і ён не павінен заменяць тую структуру.

Таму кожны запіс пра пошук ператвараецца ў цэль выявлення:

ordinary chunk  -> exact chunk
recursive child -> exact parent chunk
JSON locator    -> exact source document
code locator    -> exact source document

Гэтыя супарабоўкі выкананыя ўсё раней, чым адбываецца фінальная класыфікацыя. Калі два перакрытыя элементы-дзеці таго ж абяцаючага элемента падходзяць як адпаведні, яны злучаюцца ў адну мету, таму два рэзультатныя поле ніколі не выкарыстоўваюцца для фрагментаў, якія вядуць да той самай доказовай інформацыі.

Працэс заполнення дадзейнасцю выкананы пасля класыфікацыі. Сістэма берэ ID меты і завантажвае первісны частака абяцаючага элемента або вучэнай документацыі, захаваючы ўсё яе змест, шлях крыніцы, дыяпазон роўней і хэш. Маленькі элемент-дзець застаёцца як частка лянгвістычнай спадчыны, але не прыменяецца як повны кантэкст адпаведзі. Контракт у адной фразе: пошук праз оптымізаваныя локаторы, класыфікацыя унікальных метаў, вярненне автантыфікованай доказовай інформацыі.

Пачатак з лексыкальнай базы

Інтэнсіўны пошук часта спрыяжаны як стандарт для RAG, пры тым чы ў тэхнічных вікіях множацься тэрміны, якія лексыкальны пошук обрабоцвае без працы, такія як назвы API, ключы налаштавання, шляхі, коды адзінакоў, каманды шэлу, акронімы і назвы служб.

BM25 быў выбран першым, таму што ён быстрый, зрозумілы і важкая мета для пераканання ў частцы точных ідэнтыфікатораў. Токенайзер захоўвае такія тэрміны, як api/v2, config.yaml і error-code, цэлымі, не выкарыстоўваючы тыя самыя сімвалы, якія робяць іх унікальнымі. Кожны запіс індэксуецца разам з часткай абаканальнага кантэксту:

document title
heading path
exact record content

Значэнне тытулу і шляху загалоў важна, таму ўжо сама короткая фрагментацыя можа быць неодназначной. Такі рэчы, як «Пачнуць занова рабочы працэс», маюць больш значэння, калі індэкс таксама паказвае «Аперацыі > Усуненне нештачакоў > Вярнэнне». Такі кантэкст служыць толькі для падбору адпаведнасцей і ніколі не включаецца ў офіцыяльны кантэнт вучылка.

BM25 задаў моцную, зрозумелую базовую лінію і адкрыў праблему, прыязначаную для набора дадзеных для ацэнкі. Запытанні, напісаныя на адваротах з вучылкаў, часта перадаюць тавароўнік вучылка, што спрыяе лексычнаму пошуку. Таму успех BM25 на гэтым наборэ не можа быць прыйняты як гарантыя рэзультаатаў для будучых запытанняў корыстніка.

Інтэнсыўны пошук і тыхі баг пераканчвання

Для створэння ўшчыльненоі базовоі лініі вікорыстовувався інструмент sentence-transformers/all-MiniLM-L6-v2, які генеруе нормалізовані ембеддынгі розміром 384 віміры, тому косінусова схожысць зводыцца до дотычного добутку. Перша версія ембедджувала кожэн запіс пошуку як окрэмій радок. Метод чанкінгу ужо перэдбачав обмежэння за колькасцю слів, што здавалося безпечнім.

Але гэта не було так. Обмежэння за розміром чанків рахуваліся прыблізною колькасцю слів, тоды як мадэль MiniLM прыймае максімум 256 токенів. У шляхах, маркапінгу, фарматах JSON і ідэнтыфікаторах немае стабільного співвідношэння слів до токенів, тому запіс, які умішчуецца в ліміт чанкінгу, все одно можа перэповніты мадэль. Інструмент Sentence Transformers обрызав такі запісі без поперэджэння. Тэкст напрыкінці довгого запісу ніколі не потрапляв до энкодэру. Джэрэло існувало і чанк був індэксованій, проце запіт міг залішытыся без адказы, оскількі відповідне рэчэння було обрызане шчэ до енкодування.

Урок: ліміт на частківы не ўзьміваецца за ліміт на вбудовванне, калі толькі оба не меруюцца за дапамою токенайзера выбранага модэлю.

Акна, безпечныя для токенаў

Корэктаваны ўплотнены індэкс вызывае токенайзер модэлю безпосерэдна. Для кожнага запісу частка токенавага бюджэту, якая мае певны ліміт, выдаваецца на заглавле дакумента і шлях заголовка, а рэшта выкорыстоўваецца для контэнту. Дзялёны контэнт ператвараецца на перакрытыя акна токенаў з перакрыццем у 32 токаны. Пасля стварэння фінальнага тэксту ён зноў токенізуецца, ўбеджаючыся, што ён пасвячаецца ў межы 256 токанаў.

search record
  -> contextual prefix
  -> tokenizer-aware content windows
  -> normalized embedding per window
  -> collapse matching windows to one retrieval target

Усе эксперыменты далі працо гэта-такі два разы больш колькасць ўплотненых вікнаў, чым колькасць запісаў з пошуку выхадных дакументаў. Гэта ўсё правільна. Вікна расшыруюць дзеянне падбору, але не даюць новых доказаў, якія можна было б выдаты, таму што калькі вікнаў яшчэ залішаюцца пры там самым адпаведным чакунке або выхадным дакумэнце.

Тут лёгка памыліцца з тромя елементамі:

  1. Выхадны элемент: адпаведны выхадны дакумэнц ілі точны адпаведны чакунк.
  2. Элемент пошуку: дзеціны элемент, які ведае пра структуру, або звычайны чакунк.
  3. Элемент умешчэння: вікно з тэксту пошуку, ягое размер падлагае токенізатору.

Толькі першы элемент зарачунваецца як доказ. Элементы пошуку і умешчэння проста паказваюць на яго.

Адлікаванне за межамі „гэта выглядае добра“

Было створана дваццаць запітоў, адпрацаваных на базе вучальных дадзенняў, каб пакрыць процедурныя, концэптуальныя, спрамованыя на ідэнтыфікаторы і мнагапраменныя патэрны. Кожны з іх апісвае адзін або калькі актуальных ID-ў целей для пошуку. Атрыбуты запітаў спецыяльна пазначаны як чакаючыя на перагляд. Запіты, адпрацаваные на базе вучальных дадзенняў, добра працуюць у рамках данай сістэмы, але ў іх ёсць два недакладнасці. Фразаванне, якое падражнае вучальныя дадзенні, спрыяе выкарыстоўванню алгорытму BM25, а першыя рэзультаты можа не врачыць іншыя фрагменты, якія таксама можуць належна адпаведаць на запіт. Таму гэтыя показнікі служаюць толькі для порэвання ў рамках гэтага набора дадзенняў, а не як стандарт для практычнага выкарыстоўвання.

У якосты крытэрыю выбрана п’яць атрыбутаваных фрагментаў, пры чым выкарыстоўваліся тры показнікі:

  • MRR@5 паказвае, на якім раннім этапе з’яўляецца першы актуальны рэзультат.
  • Recall@5 паказвае, якая частка вядомых актуальных дадзенняў ўключаецца у п’яць першых рэзультатаў.
  • nDCG@5 паказвае, чыя рэлевантныя цілі знаходзяцца бліжэй да верхней часткі.
  • У першым параганеўцы былі атрыбутаваны такія цыфры:

    • Contextual BM25: MRR@5 0.4875, Recall@5 0.5583, nDCG@5 0.4533.
    • Windowed MiniLM: MRR@5 0.1392, Recall@5 0.2500, nDCG@5 0.1593.
    • Гібрыдны метод з аднароднай фузыяй рангаў: MRR@5 0.5308, Recall@5 0.7583, nDCG@5 0.5480.

    У гэтым наборэ задач BM25 явна перамагаў застойны метод адзыскання даных. Але гэта не значыць, што эмбедынгі бяруцься без прызначэння. Оба методы адзыскання давалі некарэктныя рэзультаты по-разнаму, і гэта стварыла можлівасць для ўжывання фузыі.

    Гібрыдны метод адзыскання без гібрыднага індэкса

    Індэксы BM25 і застойныя індэксы застаюцца окалічна, а ўзятые імі рангаваныя рэзультаты з’еднаюцца за дапамогою аднароднай фузыяй рангаў. Для цілі d сумаваны бал вырахоўваецца як сума, па кожнаму з методаў адзыскання, з значэння 1 дэленага на (k плюс ранг таго методу для d), пры чым у гэтым эксперыменце k становіць 60.

    Кожны рэтрывер прадае свае 10 найлепшых унікальных цэляў, фюзыя спаўнае іх рангі, і вяртаюцца пяць найкрашчых адпаведных фрагментаў. Рэйтынгі на адзначэнне лексыкі і ўжоўтварэння мацевых дадзеных ніколі не трэба калібруваць адночасна, таму што фюзыя берэ за основу пазіцыі ў рангаванні, а не вялічыны чыстых рэйтынгаў.

    Показнік Recall@5 падняўся з 0,5583 пры вікорыстоўванні толькі BM25 да 0,7583, а таксама паспрабаваліся першы-ударны ранг і nDCG. На гэтым даследніцкым наборэ дапамагалі взаімадопаможныя ўжоўтварэння мацевых дадзеных, нават якія самыя па сабе былі слабыя.

    Адпрацоўка адбываецца за дапамогою коордынуючага рэтрывера, а не трэцьяго фізычнага індэксу:

    query
      -> BM25 top 10 targets
      -> dense top 10 targets
      -> target-level RRF
      -> top 5 targets
      -> exact parent/source hydration
    

    Ён таксама фіксуе ранг кожнага агента для пошуку і адаптаваны локатар. Завдзягае гэтаму кожны рэзултат стае зрозумелым: паказваецца, чы гэты рэзултат быў знайдзены за дапамогою BM25, методу ўжоўсткага пошуку чы іх абоўсоў, і які самэ частка або вікна інкапсулявання прывелі да автантычнага об’екта.

    Разнаобразнасць, якая пагубна паўтарылася

    Хыбрыдны выхад інодзе меў калькі фрагментаў з аднаго дакумента, што выглядала зайвым. Быў прыменены выбірач максымальнай колькасці фрагментаў на дакумент. Выхад стаў болей разнаобразным, але якасць пошуку паднялася. У процедурных чы глыбока структураваных дакументах можа знадобіцца калькі раздэлаў на адной сторонцы. Разнаобразнасць дакументаў дзейвала як візуальны прыямліванне, а не як сігнал рэлевантнасці. Выбірач застаецца доступным для пазнейшых эксперыментаў, але за значэннем ён выключаны.

    Неабяжна разліка: павтараючыяся дакументы не ўважаюцца павтараючыміся доказамі. Аб’еднанне дзецячых елементаў, якія спрабоўваюць дасягнуць таго ж цэльвы, ёсць правільным. Выключэнне разных, але значыцьвых частак лішь таму, што яны знаходзяцца ў однам дакуменце, — цэлае аднае рашэнне, якое патрабуе доказаў, прызначаных конкрэтна для задачы.

    Гаранціі фінальнага шляху

    • BM25 і ўплотненыя індэксы пакрываюць тыя ж запісы кантэкстовага пошуку.
    • Уплотненыя запісы адбіваюцца за дапамою рэальнага ліміту токенав мадэлі.
    • Падпараднікі і елементы, якія знаходзяцца ў акно, аб’еднваюцца ў ўнікальныя цэльвы для выкарыстоўвання.
    • Пры працэсе фюзіі адзінадцаць кандыдаатаў з кожнага інструмента пошуку спалююцца разам без калібравання балав.
    • Вяртаецца пяць точных фрагментаў-родакоў або аднаго дакумента-выкладчыка.
    • Аўтэнтнымі застаюцца первынны кантэнт і хешы.
    • Рангі кожнага інструмента пошуку і лянцюгі падпараднікаў застаюцца доступнымі для перагляду.
    • Разнараднасць дакументаў прыменяецца толькі тады, калі доказы паказваюць, што гэта дапамагае.

    Рэтрыўвер ўмышлена просты. Ён коордынуе існуючыя індэксы, працэсы злучэння і гідратацыі, не хаваючы поведання за абстракцыямі фрэймворка і не дадаючы новага хранілішча даных.

    Што яшчэ не ўсё

    Сістэма цяпер можа прыйняць запіт і вернуць пяць рангаваных абзацаў з точнымі доказамі, паказаць, звядзе кожны з іх прыйшоў, а таксама параболіць варыянты рэтрыбуцыі за дапамогою павторныямых метрык. Аднак гэта яшчэ не ўсёцікавы сістэма RAG. Наступны этап паказвае неабходнасць вярнага складання абзацаў у кантэкст мадэлі, вярнага выкарыстання цытатаў, адпрацоўкі суперсучасных чы недастатковых доказаў, а таксама вярнага выбору моменту, калі сістэма павінна утрымацца ад дальнейшых дзеянь. Метрыкі рэтрыбуцыі таксама павінны быць спаяныя з рэгламентамі адносна правдзівасці адпаведных адказоў і правільнасці цытатаў, каб створаныя адказы чытка разлічавалі тое, што зазначае вікі, і тое, што мадэль проста знае.