Чаму пераранжаванне — найтаннейшае вялікае паляпшэнне RAG-канвеера
Знайсці 50, пакінуць 5: як пераранжаванне крос-энкодэрам выпраўляе парадак у RAG, якога выйгрышу і затрымкі чакаць, калі ад яго адмовіцца і што выкаткваць.
Нават калі сістэма для пошуку знаходзіць правільны фрагмент, яна можа прызначыць яму настолькі нізкі ранг, што мадэль ніколі яго не паблікуе. Другі етап аналізу выправляе гэта: выбіраецца шырокі набор кандыдатаў, яны перэраховваюцца за дапамою моцнейшай модэлі, і LLM отрымае толькі найлепшыя варыянты.
Две задачы, якія хаваюцца ў адной практыцы
Пошук у сістэме RAG выконвае два околачынныя заведаменні. Яна должна знайсці правільны фрагмент тэксту, а таксама практычна размясціць яго на достатна высокай пазіцыі, каб мадэль могла яго выкарыстаць. Команды часта ставяць усі зусіллі на першую задачу і занедбваюць другую, таму паказнікі пошуку можу выглядаць чыста прыгожа, а адпаведныя адпаведзі застаюцца незадовольняючымі.
Мадэль бачыць толькі тое, што практыкуецца ў запытанні. Праві фрагмент, які знаходзіцца на 7-й пазіцыі, тыянее, калі адправляюцца толькі першыя 5, і з практычнай точкі зору ён можа выглядаць як фрагмент з 700-й пазіцыі. Самэй гэтага показнік Recall@50 можа выглядаць чудовым, хоць адказы некарэктныя: інфармацыя была знайдзена, але так і не прайшла да вікна кантэксту.
Працэс пераранжавання закрывае гэты прыем. У якосты другаг этапа ён перэраховвае оцэнкі кандыдатаў, яых ужо знайшоў механізм пошуку, і пераранжуе іх за ступенем адпаведнасці да запытання. Для багато сістэм гэты метод ўваходзіць у чысле найкрашчых спосабаў падвышэння якосці за аднаковы час, адколі архітэктура застаецца незменнай, а рэшта складовых таксама не падвергаюцца змянам.
Чаму разлічаюцца гэтыя два этапы
Мадэль тыпу „dense retriever“ загадзя укладае кожны дакумент у вектарны фармат. Пад час запіту яна укладае сам запіт і шукае суседнія вектары. Запіт і дакумент на практыцы ніколі не зустрэчаюцца, адколькі кожны з іх спачатку ператвараецца у свой вектар пры порэванаванні, і гэта стысненне пазбярагае тонкія дэталі, якія паказваюць ступень ўзможнасці ўзможнасці ўзможнасці ўзможнасці ўзможнасці ўзможнасці ўзможнасці ўзможнасці ўзможнасці ўзможнасці ўзможнасці ўзможнасці ўзможнасці ўзможнасці ўзможнасці ўзможнасці ўзможнасці ўзможнасці ўзможнасці ўзможнасці ўзможнасці ўзможнасці ўзможнасці ўзможнасці ўзможнасці ўзможнасці ўзможнасці ўзможнасці ўзможнасці ўзможнасці ўзможнасці ўзможнасці ўзможнасці ўзможнасці ўзможнасці ўзможнасці ўзможнасці ўзможнасці ўзможнасці ўзможнасці ўзможнасці ўзможнасці ўзможнасці ўзможнасці ўзможнасьці.
Крос-кодэр працюе інакш. Ён прадае запіт і адзін дакумент праз мадэль адночасна, як адну вхідную дань, і адрабатвае цю пару па цэлым шляху апрацоўкі. Паколькі оба тэксты відображаюцца разам, можна взяць у расчытанне заперчанні, умовы і конкрэтную формулюванню, якая робіць пасунк справжнім адказам на запіт, а не проста разлікаванне ўзаемной сэмантычнай схожасці.
Такая точнасць караецца пэўнымі затратамі. Нічога нельга прадзеясніць загадзя, таму пад час запіту трэба адрабатваць кожны кандыдат аддзельна. Для мільйона дакументаў гэта немагчыма, а для 50 дакументаў, калі на першым этапе ўжо выбраныя варыянты, гэта ўскоранае і практычнае рашэння. Таму і ідэя двухэтапнага падходу: спачатку шукаць максымальна шырока, а потым точна і рэгламентавана пераранжаваць рэзультаты.
Кераванне Cohere, інструкцыі OpenAI RAG і большасць прыемных рашэнняў адпаведаюць прыбліжна той самай схеме, якая складаецца з трох крокаў:
- Шукаць шырока. Выбіраюць 50 найлепшых рэзультатаў, часта за дапамогою гібрыднага пошуку, дзе рэзультаты методаў dense і BM25 з’едынаюцца за дапамогою фузыі взаімных рангаў. Шырокі пошук падвышае шансы на тое, што будзе выключаны правільны фрагмент.
- Пераранжаваць. Крос-кодэр оцінюе кожную з 50 пар запіт-дакумент, пасля чаго спіс сортаваецца за гэтай оцэнкай.
- Заставіць пяць. Да LLM адправляюць толькі найболей значныя рэзультаты.
Асэнтная правіла, яяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяяя
Час затрымкі дзе-жаўна зрастае, але гэты адзінклік ўсьмохнены па адносу да всіго працэсу:
- Оцэнка 50 кандыдаата на GPU займае меней чым 50 мс.
- На CPU тыя ж 50 кандыдаата займаюць 100–300 мс, калі ўсе пары адправляюцца ў адну вікліканую пакетную операцыю.
- Ультрабяглая бібліятэка, такая як FlashRank, патрабуе толькі 15–30 мс.
- Завершэнне працы LLM як і раней застаецца найэфектывнейшым з точкі зору часу і віткоў, таму перэоцэнка ледве вплывае на загальныя расходы.
У большасці застосоўкаў плата прыблізна 120–200 мс за падышчу точнасі у топ-3 на 40% і больш ёсць найкрашчым варыянтам у всім цікле апрацоўкі.
Калі гэта дапамагае, а калі — ні
Перэоцэнка дае высокія рынкі, але не ёсць універсальной; галоўная ідэя заключаецца у тым, што яна выправляе рангаванне, а не знаходзіць новыя кандыдаты. Гэта ёсць корыстным, калі:
- Шумны ўтварэннія на верхніх месцах, незважаючы на хорашы рэкалі. Правы фрагмент прападае ў топ-50, але знаходзіцца на 6-й або 12-й пазіцыі. Высокі рэкалі@50 паўсупакоўваецца нізкай прыцэльнасцю@3, што ўтварае ясную праблему для пераранжавання.
- Мяркавы бюджэт запытанняў. Калі да модэлю доходзіць толькі 3-5 фрагментаў, тады парадак становіць усё, і паслаблены топ-3 прыводзіць да паслабленага адпаведнага адказу.
- Складныя або неодназначныя запытанні. Калі значэнне залежыць ад дапаможных слоў аб адмовы, напрыклад, пераклад чыёткіх счытків у CSV проты перакладу атласаў у PDF, саўместная оцэнка пары дапамагае розразліць майжэ тыповыя варыянты, якія бі-энкодэр злучае ў адно.
- Корпус заполнены майжэ дублікатамі. Дакументы падтрымкі і правілы маюць багато схожых фрагментаў, якія адпавядаюць на разныя запытанні, і перэранжавач дапамагае іх розразліць.
Гэта разчароўвае, калі:
- Слабая спроможнасць да вярнага аднаходжэння ў першай этапы. Апранкер можа толькі перасортаваць свой вхідны даны. Калі правы фрагмент не ў топ-50, спачатку трэба паспрабаваць паспрабаваць павышыць эфектыўнасць аднаходжэння за дапамою лепшага разбівання на фрагменты або гібрыднага пошуку.
- Спроможнасць да вярнага аднаходжэння, якая ужо выдатная. Калі правы фрагмент зазвычай і так знаходзіцца ў топе, апранкер проста перасортавае вялікі ўжо правільны спіс, не даючы значных выгод. Швырак пераконтальнік: калі той самы фрагмент выграў у большасці запітоў з апранкерам і без яго, значыць, ён не адпавядае своім задачам.
- Генератор, які прымыкае да недосконаласцей. Мадэль, якая працуе з 20 слабкая зв’язаных фрагментаў, адносна менш корыстаецца інформацыяй з топ-3, чым мадэль, якай даўаеся толькі 5 фрагментаў.
- Строгі ліміт затрымкі. Пры суворых тэрмінах рэальнага часу 150 мс можа вялікі тым, што трэба. Выберыце швыракі апранкер, такі як FlashRank, або ўзагалі не вжывайце яго.
Ёнколі трэба з’ясавіць, які варыянт падходзіць, неабяжна адначас змерыць recall@50 і precision. Recall паказвае, чы рэтрыбуцыя знаходзіць адпаведны фрагмент, а precision — чы ён правільна класіфікуее яго; перэкласіфікацыя можа выправіць толькі другы пункт.
Крос-энкодэры або рэранкеры LLM
Існуе два тыпы, і выбор зводзіцца да простага супернатыку тачнасці проты часу адпаведнага апрацоўкі.
- Крос-энкодэры ўжо ўсталяны як стандарт. Яны быстрыя, дышэчныя, прыемныя з пункту зору працы, і даюць чысловы бал, які можна выкарыстоўваць як прагу. Для пераважнай часткі практычных сістэм яны ёсць правым і завершальным рашэннем.
Пачніце з cross-encoder. Разглядзіце LLM reranker толькі пасля таго, як пераканаецеся ў рэальнай разніцы па складных запытаннях і паўтарыце, што час адпаведае вашым можлівасцям.
Два спосабы ўпроваджэння
Команды зазвычай выбіраюць самастойна хоставаны cross-encoder або хоставаную API, пры чым кожны з іх выкарыстоўвае каля калькі ліній коду.
Самастойнае хоставанне за дапамогою sentence-transformers добра працуе з BGE-reranker-v2-m3, стандартным варыянтам на адкрытым кодзе, які падтрымлівае калькі мов і мае ліцэнзію Apache 2.0:
from sentence_transformers import CrossEncoder
# ~568M params, multilingual, Apache 2.0; load once at startup
reranker = CrossEncoder("BAAI/bge-reranker-v2-m3", max_length=512)
def rerank(query, candidates, top_n=5):
pairs = [(query, doc) for doc in candidates] # one batched pass
scores = reranker.predict(pairs)
ranked = sorted(zip(candidates, scores), key=lambda x: -x[1])
return ranked[:top_n]
# candidates = the top 50 chunks from the retriever
best = rerank("How do I cancel my subscription?", candidates, top_n=5)
Калі не патрэбна рэалізацыя модэлі, Cohere Rerank ёсць варыянт, які працюе на хостынгу:
import cohere
co = cohere.ClientV2()
resp = co.rerank(
model="rerank-v3.5",
query="How do I cancel my subscription?",
documents=candidates, # the top 50 from the retriever
top_n=5,
)
# resp.results carries the reranked indices and relevance scores
Обе схемы выкарыстоўваюць той самы вхідны даны — топ-50 ад рэтрывера — і вяртаюць адточнейшы топ-5. Фрэймворкі, такія як LangChain, размешчаюць іх за адной спяльнай інтэрфейсам, таму змена межы між імі адбываецца за дапамою адной лініі коду.
Выбір модэлю
У гэтым аспекце існуюць чыткія варыянты выбору, якія залежаць ад ліміту затрымкі, мовы і можлівасці самастойнага хоставання:
- Стандартны варыянт з адкрытым кодам: BGE-reranker-v2-m3, багамовы і пад ліцензіяй Apache 2.0, працюе прыблізна за 80 мс на CPU для 50 кандыдатаў. Для працы, дзе пераважае англійскі язык, можна выкарыстоўваць bge-reranker-large.
- Найпростыяйшы варыянт з хоставанням: Cohere Rerank выкарыстоўвае адну вызов API і не трэбуе сервераў; косцт выраховываецца прыблізна у $1 за кожны тысяча пошукоў.
- Найстрогейшыя вакантныя па швальнасці: FlashRank або компактны крос-энкодэр MiniLM, які перэранжуе даны на CPU за менш чым 30 мс з незначным падышчам у якосці.
- Доўгі дакументы: выберыце рэранкер, які падтрымлівае довгі кантэкст, такі як Jina Reranker v2, адтолькі ўстаноўкі стандартных крос-кодэраў тыха перыякаюць вхідны тэкст пасля 512 токенав.
Як апрыксіматыўны паказнік, хоставаная API ёсць найдражэйшы варыянт для пачатку працы, калі колькасць запытанняў на дзень становіць менейш за дзесяць тысяч. Пасля гэтага колькасці самастойна хоставанага модэля BGE зазвычай шыбка компенсуе сваю вартасць.
Вывык
Рэранкінг забезпечвае тую точнасць, якая ператварае адлічэнне рэлевантных дакументаў у адпаведныя адпаведзі. Рэтрывер распускае дэшавую, шырокую сетку і вяртае вялікі захоплены тэкст, а крос-кодэр пасля гэтага перэрахоўвае оценкі гэтага тэкста за дапамогою процэса, які урахоўвае запытанне і які рэтрывер не можа сабе парадзіць, перамешчаючы справжна рэлевантныя часткі туды, куды модэль насправды атрымлівае інфармацыю.
Гэта спосаб працы RAG з найвышшым рэзультатам, таму што ён застаецца контрольваным: запрашываюцца 50 элементаў, яны пераранжуюцца да 5, больш нічога не зміняецца, і адмеркуюцца рэзультаты на сасобных даных. Падыш у точнасці зазвычай вялікі, вітраты на затрымку малыя, а рашэнне залежыць ад адной запыткі: чы ранжырацель працуе настолькі ж добра, як і знаходзіць даныя? Зазвычай — ні, і самэ пераранжаванне і ўсуне гэтыя разлікі.
Джэрэлы цых цыфраў
- Дакументацыя Cohere пра пераранжаванне
- Карточка модэлю для BAAI's BGE-reranker-v2-m3
- Дакументацыя CrossEncoder з project-а sentence-transformers
- ARAGOG — ступеневая параболіка аднароджэння прыглушаных методаў RAG, уключаючы пераранжаванне (arXiv 2404.01037)
- Адгукі Databricks пра працу RAG з дзяўгім кантэкстам і пераранжаванне
- FlashRank — бібліятэка для пераранжавання з малымі затрымкамі на GitHub
Супаўзяленая літэратура
- Развітая тэхналогія RAG у працэйнай асяроддзі: архітэктура, інструменты і компромісы — Аналіз працэйнай асяроддзя RAG: практычныя аспекты інтэграцыі, парсінгу, разбівання на часткі, стварэння эмбедынгаў, зберагчыкаў вектараў, гібрыднага пошуку, пераранжавання, ацэнкі і безпекі, а таксама компромісы, якія супакоўваюцца з кожным з гэтых аспектаў.
- Пераранжаванне у RAG: вузкая сфера, дзе крос-энкодэры дзейсна дапамагаюць — Чаму крос-энкодэры павышаюць карыстнасць RAG толькі ў межах аптымальнага рэгістру памяці, што такое фантомныя рэзультаты, і як за адні полудзень вымерыць як ніжнюю, так і верхнюю межы для сваіх запытанняў.