BM25 Plus pgvector із функцією об’єднання взаємних рангів: гібридний пошук для RAG у Python
Гібридний пошук для RAG у Python: чому щільний метод пошуку пропускає точні терміни, як BM25 та косинусний пошук pgvector доповнюють один одного, поєднані з RRF у Postgres.
Джерела: Why BM25 + pgvector Hybrid Search Beats Naive RAG — A Deep Technical Breakdown
Лише щільні вектори не враховують точні ключові слова, рідкісні терміни та спеціалізовану термінологію галузі. Поєднання лексичного ранжеру з векторним індексом усуває цю проблему, і вся система вписується в Python-стек, орієнтований на Postgres. Далі йдуть математичні основи, архітектура та код.
Що йде не так із звичайним RAG
Базовий процес отримання інформації з підсиленням є простим:
- Інкорпоруйте запит за допомогою моделі, такої як
text-embedding-3-small. - Виконайте пошук за косинусом у векторному сховищі, такому як pgvector, Pinecone чи Weaviate.
- Візьміть K найкращих фрагментів.
- Включіть їх у запит до LLM.
Це працює доти, доки запит не ґрунтується на буквальному рядку. Припустимо, користувач запитує, як проект використовує BM25 для ранжування. Ембеддинг запиту опиняється поблизу векторів, пов’язаних із ранжуванням, алгоритмами пошуку та оцінкою релевантності, тож документ, який містить буквальний токен BM25, може програти більш нечіткій сторінці про моделі пошуку. Це проблема неузгодження словникового запасу, про яку дослідники у сфері пошуку інформації знають з 1990-х років.
Ембеддинги стискають значення у континуальний простір, і в цьому процесі вони затуманюють точні збіги. Близькість між „інфарктом міокарда“ та „серцевим нападом“ є бажаною. Однак близькість між BM25 та Okapi ranking є перешкодою, коли запит є конкретним.
BM25 у короткості
BM25, скорочення від Best Match 25, — це функція ймовірнісного надання ваг термінам з родини моделей пошуку Okapi. Для документа d та запиту q вона підсумовує терміни запиту:
score(q, d) = Σ IDF(tᵢ) · [f(tᵢ, d) · (k₁ + 1)] / [f(tᵢ, d) + k₁ · (1 - b + b · |d| / avgdl)]
Символи означають наступне:
tᵢ— це один з термінів запиту.f(tᵢ, d)— це кількість разів, коли цей термін зустрічається в документі.|d|— це довжина документа у токенах, аavgdl— середня довжина в усьому корпусі.k₁, який зазвичай знаходиться в межах від 1,2 до 2,0, визначає швидкість насичення частоти термінів; чим вище значення, тим більше ваги має частота.b, який знаходиться в межах від 0 до 1, контролює нормалізацію довжини: 0 означає жодної нормалізації, а 1 — повну.IDF(tᵢ)— це логарифм відношення між документами, які не містять термін, та документами, які його містять (кожен з них зсунутий на пів документа), плюс один. Тут N — це загальна кількість документів, а n(tᵢ) — кількість документів, які містять термін.
Три інтуїції пояснюють, чому цей підхід демонструє гарну ефективність. Частота вживання термінів насичується, тож десять згадок BM25 не дають у десять разів більшого балу, ніж одна згадка, а k₁ формує цю криву. Нормалізація довжини запобігає тому, щоб документи каралися за низьку кількість згадок у первинному форматі, причому b змінює значення в залежності від середньої довжини. А обернена частота документів надає перевагу рідкісним термінам: „BM25“ у корпусі текстів з теми машинного навчання має високу вагу, тоді як „the“ майже не має її.
Усе це робить BM25 відмінним інструментом для запитів з точним збігом, рідкісними термінами та великою кількістю ключових слів, що є сферою, де стикаються труднощі з щільними ембеддингами.
pgvector та щільне пошукове відтворення
pgvector — це розширення PostgreSQL, яке зберігає ембеддинги та забезпечує приблизний пошук найближчого сусіда за допомогою графів HNSW або індексів IVFFlat. Схожість між вектором запиту та вектором документа вимірюється косинусом:
cosine_sim(q, dᵢ) = (q · dᵢ) / (‖q‖ · ‖dᵢ‖)
Запити HNSW виконуються приблизно за логарифмічний час, причому обсяг пам’яті пропорційний значенню N помноженому на M, де M — кількість двонапрямкових посилань, які зберігаються для кожного вузла. Це дозволяє здійснювати пошук серед мільйонів векторів менш ніж за мілісекунду. Метод щільного пошуку ефективний для семантичного порівняння, такого як парафразування, варіації мови та схожість на рівні концепцій. Через вищезазначену причину він не створює індексів для точних рядків.
Об’єднання двох методів за допомогою Reciprocal Rank Fusion
Існують два списки з рангуванням: один від BM25, інший — від pgvector. Reciprocal Rank Fusion поєднує їх, присвоюючи кожному документу бал залежно від його позиції в кожному зі списків:
RRF(d) = Σᵢ 1 / (k + rankᵢ(d))
Константа k дорівнює 60. Вона пом’якшує вплив дуже високих рангів та ефективно працює у багатьох завданнях. Ця сума враховує обидва методи пошуку.
Чому краще використовувати RRF замість навченого комбінатора? Не потрібні позначені дані про релевантність. Він працює з рангами, а не з оцінками, тому уникає неузгодженості між значеннями BM25, які є необмеженими, та значеннями косинуса, які знаходяться в діапазоні від -1 до 1. Крім того, Кормак та його колеги у 2009 році показали, що RRF дорівнює або перевершує зважену лінійну комбінацію без необхідності налаштувань. Проста комбінація на кшталт α · bm25_score + β · cosine_score є менш надійною, оскільки первинні числа знаходяться на несумісних масштабах.
Дані з тестів
У тесті BEIR, який включає змішані набори даних з галузей біомедицини, новин та технічної літератури, поєднання алгоритму BM25 із методом щільного пошуку зазвичай дає кращі результати, ніж будь-який з підходів окремо. Прикладом може слугувати тест TREC-COVID: там BM25 перевершує модель щільного пошуку, оскільки запити з галузі біомедицини, такі як „SARS-CoV-2 spike protein ACE2 binding“, містять дуже специфічні терміни, які ембеддинги затуманюють. Гібридний підхід зберігає сильні сторони обох методів.
Реалізація на Python
Налаштування
Усе знаходиться в одній схемі Postgres. Спочатку встановіть необхідні залежності:
# requirements: psycopg2, pgvector, rank-bm25, openai, numpy
Потім налаштуйте з’єднання, тип вектора та бібліотеки:
import psycopg2
from pgvector.psycopg2 import register_vector
from rank_bm25 import BM25Okapi
import openai
import numpy as np
from typing import List, Tuple# ── DB setup ──────────────────────────────────────────────────────────────
conn = psycopg2.connect("postgresql://user:pass@localhost/ragdb")
register_vector(conn)with conn.cursor() as cur:
cur.execute("CREATE EXTENSION IF NOT EXISTS vector;")
cur.execute("""
CREATE TABLE IF NOT EXISTS documents (
id SERIAL PRIMARY KEY,
content TEXT NOT NULL,
embedding vector(1536) -- text-embedding-3-small dim
);
""")
# HNSW index: m=16 (edges/node), ef_construction=64 (build-time beam width)
cur.execute("""
CREATE INDEX IF NOT EXISTS doc_hnsw_idx
ON documents USING hnsw (embedding vector_cosine_ops)
WITH (m = 16, ef_construction = 64);
""")
conn.commit()
Індексування
Допоміжний інструмент обгортає виклик API для вбудовування:
def embed(texts: List[str]) -> List[List[float]]:
resp = openai.embeddings.create(
model="text-embedding-3-small",
input=texts
)
return [r.embedding for r in resp.data]
А функція індексування зберігає кожен документ разом із його ембеддингом:
def index_documents(docs: List[str]) -> None:
embeddings = embed(docs)
with conn.cursor() as cur:
for doc, emb in zip(docs, embeddings):
cur.execute(
"INSERT INTO documents (content, embedding) VALUES (%s, %s)",
(doc, emb)
)
conn.commit()
Гібридний пошук
Лексичний пошук ранжує корпус за допомогою BM25Okapi:
def bm25_search(
corpus: List[str],
query: str,
top_k: int = 20
) -> List[Tuple[int, float]]:
"""Returns [(doc_idx, bm25_score), ...] sorted descending."""
tokenized = [doc.lower().split() for doc in corpus]
bm25 = BM25Okapi(tokenized, k1=1.5, b=0.75)
scores = bm25.get_scores(query.lower().split())
ranked = sorted(enumerate(scores), key=lambda x: x[1], reverse=True)
return ranked[:top_k]
Щільні запити до пошуку pgvector та наступний крок фузії застосовують RRF:
def dense_search(
query: str,
top_k: int = 20
) -> List[Tuple[int, float]]:
"""Returns [(doc_id, cosine_sim), ...] sorted descending."""
q_emb = embed([query])[0]
with conn.cursor() as cur:
cur.execute("""
SELECT id, 1 - (embedding <=> %s::vector) AS cosine_sim
FROM documents
ORDER BY embedding <=> %s::vector
LIMIT %s;
""", (q_emb, q_emb, top_k))
return [(row[0], row[1]) for row in cur.fetchall()]
def reciprocal_rank_fusion(
*ranked_lists: List[Tuple[int, float]],
k: int = 60
) -> List[Tuple[int, float]]:
"""
RRF(d) = Σᵢ 1 / (k + rankᵢ(d))
k=60 is the standard constant from Cormack et al. 2009.
"""
scores: dict[int, float] = {}
for ranked in ranked_lists:
for rank, (doc_id, _) in enumerate(ranked, start=1):
scores[doc_id] = scores.get(doc_id, 0.0) + 1.0 / (k + rank)
return sorted(scores.items(), key=lambda x: x[1], reverse=True)
def hybrid_retrieve(
corpus: List[str],
doc_ids: List[int], # DB IDs aligned with corpus
query: str,
top_k: int = 5
) -> List[dict]:
"""
Full hybrid pipeline:
1. BM25 sparse search
2. pgvector dense ANN search
3. RRF fusion
4. Return top-K merged results
"""
bm25_results = bm25_search(corpus, query, top_k=20)
# Map corpus index → DB id for BM25
bm25_db = [(doc_ids[idx], score) for idx, score in bm25_results] dense_results = dense_search(query, top_k=20) fused = reciprocal_rank_fusion(bm25_db, dense_results, k=60) # Fetch content for top-K
top_ids = [doc_id for doc_id, _ in fused[:top_k]]
with conn.cursor() as cur:
cur.execute(
"SELECT id, content FROM documents WHERE id = ANY(%s)",
(top_ids,)
)
rows = {row[0]: row[1] for row in cur.fetchall()} return [
{"id": doc_id, "rrf_score": score, "content": rows.get(doc_id, "")}
for doc_id, score in fused[:top_k]
]
Генерація відповіді
На останньому етапі отримуються найкращі результати та формується контекст:
def rag_answer(query: str, corpus: List[str], doc_ids: List[int]) -> str:
results = hybrid_retrieve(corpus, doc_ids, query, top_k=5)
context = "\n\n---\n\n".join(r["content"] for r in results)
Обмежувальний запит змушує модель залишатися в межах того, що було отримано:
prompt = f"""You are a precise technical assistant.
Use only the provided context to answer the question.
If the context doesn't contain the answer, say so.Context:
{context}Question: {query}
Answer:""" resp = openai.chat.completions.create(
model="gpt-4o",
messages=[{"role": "user", "content": prompt}],
temperature=0
)
return resp.choices[0].message.content
Параметри, які варто налаштовувати
У BM25 значення k₁ за замовчуванням дорівнює 1,5; більша цифра надає більшої ваги повторюваним термінам, що підходить для довгих запитів. Значення b у BM25 за замовчуванням становить 0,75, і його підвищення посилює покарання за довжину тексту. Для алгоритму HNSW значення m за замовчуванням дорівнює 16, оскільки більша кількість кроків сприяє кращому відтворенню інформації за рахунок збільшення витрат пам’яті, а ef_construction за замовчуванням дорівнює 64; більша цифра покращує якість індексу, але уповільнює процес його створення. Значення RRF k у 60 можна знизити, якщо бажається, щоб результати з найвищим рейтингом мали більший вплив. За замовчуванням береться 20 кандидатів на кожного пошуковика, і більша кількість кандидатів зазвичай покращує процес об’єднання результатів.
У корпусах з великою кількістю спеціалізованого контенту, таких як медичні, юридичні чи програмні документи, слід знизити значення b до 0,5, щоб зменшити покарання за довгі технічні тексти, та підвищити значення k₁ до 2,0, щоб нагороджувати повторювані технічні терміни.
Вибір правильного пошукового алгоритму
Точні ключові слова, коди продуктів та назви API краще підходять для BM25. Концептуальні, перефразовані чи багатомовні запити краще обробляються за допомогою щільного пошуку. Більшість реальних запитів є поєднанням обох типів, тому гібридний підхід з RRF є найкращим вибором, а спеціалізована термінологія в медицині, праві чи програмуванні найкраще працює з BM25 або гібридним алгоритмом.
Висновок
Naive RAG створює міцну базову модель, але не забезпечує належного рівня відтворення інформації у запитах, що містять багато ключових слів чи є спеціалізованими. Виправлення цієї проблеми просте з точки зору архітектури: виконати обробку даних за допомогою BM25 над тим самим корпусом разом із пошуком за допомогою pgvector, об’єднати два списки рангування за допомогою RRF з параметром k=60, а потім надіслати отриманий список топ-K до LLM. Отриманий механізм пошуку ефективно справляється як із семантичними запитами на кшталт „що таке машинне навчання“, так і з лексичними запитами на кшталт „покажіть мені, як працює параметр k1 у BM25Okapi“, без необхідності тренування додаткової моделі та лише з додатковою обробкою даних за допомогою BM25 протягом кількох мікросекунд.
pgvector поставляється разом із Postgres, BM25 встановлюється за допомогою пакета rank-bm25, а RRF складається з кількох рядків коду. Майже ніщо не заважає додати гібридний механізм пошуку до продакшн-системи RAG.
Пов’язана література
- Семантичний пошук у PostgreSQL за допомогою pgvector та .NET: практична налаштування — Зберігайте ембеддинги поруч із реляційними даними, створюйте індекси HNSW або IVFFlat, фільтруйте та поєднуйте гібридні рейтинги, а також визначайте, чи достатньо pgvector для вашого додатку.
- GraphRAG проти Vector RAG: чому векторний пошук зазнає невдач у великих масштабах та як це вирішити — Vector RAG має проблеми з ізоляцією частин документів, міждокументним міркуванням та масштабуванням. Дізнайтеся, як GraphRAG створює спільноти та резюме для вирішення цих проблем, та коли варто обирати кожен з підходів.