Статті для тих, хто
виводить стек у прод
Матеріали про React, Node.js, TypeScript і AI. Перекладений текст показується, якщо він є. Якщо ні — ви бачите англійський текст і примітку про це.
Тег: BM25
П’ятдесят років досліджень у сфері пошуку, які приховані всередині вашої системи RAG.
Розбиття тексту на фрагменти, гібридний пошук, HyDE, переранжування та оцінка – усі ці методи мають десятиліттями існуючі аналоги в галузі пошуку інформації. Огляд досліджень та їхні обмеження.
17 хв читанняДебагування процесу отримання даних у RAG: Recall@K, BM25, гібридне поєднання та переранжування
Невеликий експеримент із пайплайном RAG, який поставив правильний фрагмент на четверте місце, що демонструє, як розділення на фрагменти, алгоритм BM25, об’єднання рангів та їх переранжування впливають на показники Recall@3 та MRR.
11 хв читанняОцінка процесу пошуку в RAG за межами показників точності ANN, на прикладі Turbopuffer
Швидкий векторний індекс все одно може пропустити правильну відповідь. Дізнайтеся про компроміси у зберіганні в Turbopuffer, гібридний підхід BM25 та векторного пошуку, а також про те, як «золотий набір» вимірює справжню точність повернення даних.
7 хв читанняГібридний метод пошуку для RAG: BM25, Rank Fusion та переранжування перевершують вектори.
Чистий векторний пошук пропускає точні терміни. Використання BM25 разом із ембеддингами, методу Reciprocal Rank Fusion та крос-енкодера-реранкера дозволило досягти точності пошуку 91% у цій конфігурації RAG.
6 хв читанняКонтекстуальне отримання даних для RAG: що приховує показник у 67%, які витрати це супроводжує та коли цей підхід зазнає невдачі.
Контекстуальне отримання даних для RAG: як використання префіксів виправляє відокремлені фрагменти, чому показник 67% враховує три зміни, що економить кешування запитів та коли воно зазнає невдачі.
13 хв читанняП’ять способів індексування векторів для RAG, протестовано на мільйоні ембеддингів Вікіпедії
П’ять способів індексування векторів для RAG, протестованих на мільйоні ембеддингів Вікіпедії: flat, IVFFlat, HNSW, гібрид BM25 та DiskANN, із показниками затримки та точності.
9 хв читанняОтримання інформації з технічного вікі: BM25, щільні вікна без ризику для токенів та RRF.
Отримання інформації з оцінкою на першому місці для технічного вікі: цілі точних доказів, базовий підхід BM25, помилка обрізання у MiniLM, вікна токенів та результати фузії взаємного рангування.
7 хв читанняГібридний пошук для RAG: BM25, вектори та поєднання рангів у практиці
Гібридний пошук для RAG: чому пошук лише за векторами втрачає точні ідентифікатори, як Reciprocal Rank Fusion поєднує BM25 з ембеддингами та де гібридний підхід все ще має недоліки.
11 хв читанняІнструментарій для отримання даних RAG: BM25, Dense, HyDE, RRF, MMR та Reranking
Інструментарій для отримання даних RAG: BM25, щільні вектори, HyDE, RRF, MMR та повторне ранжування, коли використовувати кожен з них, приблизний час виконання кожної стадії та як гібридна схема поєднує їх.
8 хв читання
Про ці статті
Оцінка за 24 години
Потрібен такий стек в операторському шарі? Надішліть бриф — оцінка за 24 години.