Статьи для тех, кто
выводит стек в прод
Материалы о React, Node.js, TypeScript и AI. Переведённый текст показывается, если он есть. Если нет — вы видите английский текст и пометку об этом.
Тег: BM25
Пятьдесят лет исследований в области поиска информации, скрытых внутри вашей системы RAG.
Разбиение текста на фрагменты, гибридный поиск, HyDE, переранжирование и оценка — все эти методы имеют предшественников, существующих уже десятилетиями в области поиска информации. Обзор исследований и их ограничений.
17 мин чтенияОтладка процесса извлечения данных в RAG: Recall@K, BM25, гибридное объединение и повторная классификация
Небольшой эксперимент с пайплайном RAG, в котором правильный фрагмент занял четвертое место, демонстрирующий, как разбиение на фрагменты, алгоритм BM25, слияние рангов и повторная оценка влияют на показатели Recall@3 и MRR.
11 мин чтенияОценка процесса извлечения информации в рамках RAG за пределами показателя восстановления данных в ANN, на примере Turbopuffer.
Быстрый векторный поиск всё равно может не найти ответ. Узнайте о компромиссах в хранении в Turbopuffer, гибридном подходе BM25 с векторным поиском и о том, как «золотой набор» оценивает реальную степень восстановления данных.
7 мин чтенияГибридный поиск для RAG: BM25, методы Rank Fusion и переранжирования превосходят векторные подходы.
Чистый векторный поиск упускает точные термины. Использование BM25 в сочетании с эмбеддингами, метода слияния рангов по принципу обратных взаимосвязей и кросс-кодера для переранжирования позволило добиться точности поиска 91% в этой схеме RAG.
6 мин чтенияКонтекстуальный поиск в RAG: что скрывает показатель в 67%, каковы его затраты и когда он терпит неудачу.
Контекстуальный поиск для RAG: как использование префиксов решает проблему одиноких фрагментов, почему показатель 67% отражает три изменения, что экономит кэширование промптов и когда оно терпит неудачу.
13 мин чтенияПять способов индексации векторов для RAG, протестированных на миллионе эмбеддингов Википедии
Пять способов индексации векторов для RAG, протестированных на миллионе эмбеддингов Википедии: flat, IVFFlat, HNSW, гибрид BM25 и DiskANN, с показателями задержки и точности восстановления.
9 мин чтенияПоиск в инженерном вики: BM25, плотные окна безопасных токенов и RRF
Поиск с оценкой в первую очередь для технического вики: цели точного подтверждения, базовая модель BM25, ошибка обрезки в MiniLM, окна токенов и результаты слияния обратного ранга.
7 мин чтенияГибридный поиск для RAG: BM25, векторы и практическое применение метода объединения рангов по принципу взаимности.
Гибридный поиск для RAG: почему поиск только с векторами приводит к потере точных идентификаторов, как метод слияния взаимных рангов объединяет BM25 с эмбеддингами и в чём всё ещё остаются недостатки гибридного подхода.
11 мин чтенияИнструментарий для поиска информации в RAG: BM25, Dense, HyDE, RRF, MMR и повторная ранжирование
Инструментарий для поиска информации в RAG: BM25, плотные векторы, HyDE, RRF, MMR и повторная классификация, когда использовать каждый из них, приблизительное время обработки на каждом этапе и как гибридная схема объединяет их.
8 мин чтения
О этих статьях
Оценка за 24 часа
Нужен такой же стек в операторском слое? Пришлите бриф — оценка за 24 часа.