Артыкулы для тых, хто
выводзіць стэк у прод
Матэрыялы пра React, Node.js, TypeScript і AI. Перакладзены тэкст паказваецца, калі ён ёсць. Калі не — вы бачыце англійскі тэкст і пазнаку пра гэта.
Тэг: BM25
Пяцьдзесят гадоў даследжэнняў у галузі пошуку інформацыі, якія працуюць у рамках вашага пайплайна RAG.
Разбій на фрагменты RAG, гібрыдныя пошукавыя методы, HyDE, переранкіраванне та оцэнка – усе гэтыя технікі маюць своіх прадкуў, якія існуюць вялікія гады ў галузі пошуку інформацыі. Огляд доследжэнняў та ўсіх ўскладнэнняў у ўжыцці гэтых методаў.
17 хв чытанняДыягностыка процеса адгутавання RAG: Recall@K, BM25, гібрыдныя методы фюзыі і перыякораванне
Маленькі эксперыменты з трубопрацэўнай сэткі RAG, якія пасунулі правы фрагмент на чэтвёртае месца, паказваюць, як фрагментаванне, BM25, спаўненне рангаў і паўтарна класыфікацыя вплываюць на Recall@3 і MRR.
11 хв чытанняАцэнка прыемаў выкарыстоўвання RAG па-за межамі простага рівня відтворення дадзеных у ANN, на прыкладзе Turbopuffer.
Швыракі вектарныі індэксы ўсё ж можу не знайсці адпаведнай адпаведзі. Дазвольце вы мяркаваць прынцыпы зберагчэння дадзеных у Turbopuffer, гібрыдны падхід BM25 плюс пошук за вектарамі, а таксама тое, як «золатыя» наборы дапамагаюць ацэніць рэальны рівень відтворення дадзеных.
7 хв чытанняГібрыдны метод аднаходжэння даных для RAG: BM25, фюзыя рангу і переранжавання перавышаюць эфектывнасць вектарных пошукавальнікаў.
Чыстыя методы пошуку вектора не знаходзяць точных тэрмінаў. За дапамогай BM25 плюс эмбедынгі, методу сынтэзы рангу і крос-кодэра точнасць адналокавання ў гэтым распадзе RAG дасягла 91%.
6 хв чытанняКонтекстуальнае выкарыстанне дадзеных для RAG: Чаго хавае цячка 67%, якія ў цьму є цены і калі гэта не вяршыцца.
Контекстуальна адаптацыя для RAG: як урахоўванне прыметак выправляе аддзеленыя фрагменты, чаму показнік 67% адбіваецца трохма змянамі, што захоўвае кэшуванне запытак і калі гэта не выходзіць.
13 хв чытанняПяць спосабоў індексавання вектараў для RAG, перапрацаваных на мільйоне вкладзінаў з Вікіпедыі
Пяць спосабаў індексавання вектараў для RAG, працаваных на мільйоне эмбеддзінгаў Вікіпедыі: flat, IVFFlat, HNSW, гібрыд BM25 і DiskANN, з показнікамі затрымкі і точнасці.
9 хв чытанняПошук інформацыі ў інжынерным вікі: BM25, ўплотненыя вікна без рызыка для токенаў і RRF.
Аналіз першым крокам у пошуку інформацыі ў тэхнічным вікі: цілі на адпаведнасць дакументаў, базовы показнік BM25, баг у скорачэнні дадзеных MiniLM, вікна токенаў і рэзультаты з’еднання вярагоднасці рангу.
7 хв чытанняГібрыдны пошук для RAG: практычнае застосоўванне BM25, вектароў і спаўнення на адносны ранг.
Гібрыдный пошук для RAG: чаму метод адзыскання на адказе вектараў губі точныя ID, як метод Reciprocal Rank Fusion спаўнае BM25 з эмбеддінгамі, і дзе гібрыдны падход застаецца недастатковым.
11 хв чытанняКанцэларыя для адгаваня RAG: BM25, Dense, HyDE, RRF, MMR і Reranking
Інструментарый набор для адзысквэнтнага адзысквэння RAG: BM25, ўпакоўаныя вектары, HyDE, RRF, MMR і переранкінг, калі выкорыстоўваць кожны з іх, апрыксамны час адпаведнага этапу і як гібрыдны прайсэп з’едынае іх.
8 хв чытання
Пра гэтыя артыкулы
Ацэнка за 24 гадзіны
Патрэбны такі стэк у аператарскім слоі? Дашліце брыф — ацэнка за 24 гадзіны.