BM25 і pgvector з Reciprocal Rank Fusion: гібрыдны пошук для RAG на Python
Гібрыдны пошук для RAG на Python: чаму шчыльны пошук прапускае дакладныя тэрміны, як BM25 і касінусны пошук pgvector дапаўняюць адзін аднаго і зліваюцца праз RRF у Postgres.
Крыніцы: Why BM25 + pgvector Hybrid Search Beats Naive RAG — A Deep Technical Breakdown
Толькі ўжо ўтрамбаваныя вектары не можаюць выявіць точныя ключавыя словы, рэдкія тэрміны і спецыялізаваную тэрміналогію. Спалучэнне лексычнага рангавальніка з вектарным індэксам усуне гэтыя недагоды, а весь прыем пасваюць у Python-сістэму, адаснованую на Postgres. Далей паказаны матэматычныя аспекты, архітэктура і код.
Што не так у простым RAG
Базовы працэс адзыскання дадзэнняў з дапамогай RAG ўскладнены:
- Інкорпораваць запіт за дапамогою мадэлі, такой як
text-embedding-3-small. - Адкрыць пошук за допамогою косінуса ў вектарным сховішчы, такім як pgvector, Pinecone або Weaviate.
- Выбраць K найболей рэлевантных фрагментаў.
- Уключыць іх у запрос для LLM.
Этый падчынак працуе даклэга, калі запіт не базуецца на буквальным рэчэнцы. Падумаймо, ўжо корыстувач спытаецца, як праект выкарыстоўвае BM25 для ранжыравання. Эмбеддынг запіта апынуцца поблізу вектараў, якія стосуюцца ранжыравання, алгорытмаў пошуку і ацэнкі рэлевантнасці, таму дакумент, які мае буквальны токен BM25, можа праспаць працоўкі працоўкі падобнай, але менш конкрэтнай старонкі пра модэлі аднаходжэння інфармацыі. Гэта ўжо проблема несувярэннасці слоўніку, пра якую дакладнікі аднаходжэння інфармацыі ведаюць з 1990-х гадоў.
Эмбеддынгі стыскаюць значэнне ў контынуальны прастор, і ў гэтым процэсе затуманююць точныя адпаведнасці. Блізкасць між „інфарктам міокарда“ і „атакай на серце“ ўважаецца паслядовай. Аднак блізкасць між BM25 і Okapi ranking стварае працоўкі, калі запіт ёсць конкрэтным.
BM25 у кароткім відзеце
BM25, як скрацення адзначэння Best Match 25, — гэта функцыя верыятнасцевага прыняшчання вагі тэрмінаў з сямейства модэляў аднаходжэння дакументаў Okapi. Для дакумента d і запіту q яна сумуе тэрміны запіту:
score(q, d) = Σ IDF(tᵢ) · [f(tᵢ, d) · (k₁ + 1)] / [f(tᵢ, d) + k₁ · (1 - b + b · |d| / avgdl)]
Сімвалі бяруць значэнні наступныя:
tᵢ— адны з тэрмаў запыту.f(tᵢ, d)— лічыць, як часта гэты тэрм выклікаецца ў дакуменце.|d|— дыявалець дакумента ў токэнах, аavgdl— сярэдні дыявалець у всім корпусе.k₁, як правіло, знаходзіцца межа 1,2 і 2,0, і ён вялічыць, насколькі быстра насышчаецца частота тэрма; чым вышэй значэнне, тым большы вага надаецца частоце.b, які знаходзіцца межа 0 і 1, кантролюе нормалізацыю дыявалка, пры чым 0 значыць жаданая нормалізацыя няма, а 1 — ўсё цяпер жадана.IDF(tᵢ)— гэта логарым звяршання між дакументамі, якія не маюць тэрма, і дакументамі, якія яго маюць (кожны з іх сустрэліваецца на палову колькасць дакументаў), плюс адзін. Хутчэй N лічыць усе дакументы, а n(tᵢ) — тыя, якія маюць тэрм.
Тры наўклоннасці адказваюць на пытанне, чаму гэты метод добра функцыонуе. Частота выкарыстоўвання тэрміна насыцяецца, таму дзесяць прамян BM25 не дае у дзесяць разоў вышэйшага балу, чым адна прамяна, а k₁ формуе туе крывую. Нормалізацыя дужыны не дазволяе дакументам быць пакараным за нізкі первісны лік, пры чым b калібруееся па сярэдней дужыне. А зворачная частота дакумента паслужыць прыягодай рэдкім тэрмінам: „BM25“ у корпусе тэкстаў з галоўнай машыннай навучэння мае высокую вагу, тады калі „the“ майжэ не мае яе.
Усе гэта робіць BM25 адлічным для запыткаў з точным падпаданнем, рэдкімі тэрмінамі і вялікай кантралі ключоўых слоў, якія ўскладнююць работу ўплотненых структура.
pgvector і ўплотненае аднаходжэнне
pgvector — гэта пашырэнне для PostgreSQL, якое зберагае эмбеддынгі і дазваляе выконваць апрыксіматычны пошук найбліжэйшага суседа за дапамою графаў HNSW або індэксаў IVFFlat. Падобнасць межаў вектара запытку і вектара дакумента вырачваецца за дапамою косайнуса:
cosine_sim(q, dᵢ) = (q · dᵢ) / (‖q‖ · ‖dᵢ‖)
Запыткі HNSW выконваюцца прыблізна за логарыметрычны час, пры чым пам’ець прыбліжна прымушае пропорцыю N да M, дзе M — гэта колькасць двунаправленых звязей, якія зберагаюцца для кожнага вузла. Гэта дазволяе атрымліваць рэзультаты за меньш чым мілісекунду нават для мільйонавекторных даных. Метод ўжоўкнутага пошуку адзінакава падходзіць да семантычнага падабенства, такога як парафразы, варыяцыі мовы і схожасць на рэвэлецыянтнам роўні. З вышэўказанай прычыны ён не створае індэксаў для точных страк.
Адзінаванне двух методаў за дапамою Reciprocal Rank Fusion
Існуюць два спіскі з рангаванням: ад BM25 і ад pgvector. Reciprocal Rank Fusion адзінавае іх, прызначаючы кожнаму дакументу бал на аднойчыну з яго пазіцыяй у кожным з спісакоў:
RRF(d) = Σᵢ 1 / (k + rankᵢ(d))
Стаянная вяліця k дорэчы 60. Яна смягчае адзінакі вельмі высокіх рангаў і падтрымліваецца ў багатых задачах. Сума включае як два методы аднаходжэння інфармацыі.
Чаму выбіраць RRF замест адкульківацыі, якая выучваецца? Не патрэбны пазначаныя даныя прыдатнасці. Яна працуе з рангамі, а не з баламі, таму ухіляецца ад несувярэннасці между значэннямі BM25, якія не маюць меж, і значэннямі косай, якія знаходзяцца между -1 і 1. Кармак і яго саавтары ў 2009 годзе паказалі, што гэта рашэнне дапамагае або перавышае эфектыўнасць важканутай лінейной адкульківацыі без налагоджэння. Простая сумаўка, такая як α · bm25_score + β · cosine_score, ёсць менш надзеяна, таму што чыстыя цыфры знаходзяцца на несумісных шкалах.
Доказы з тэставанняў
У крэйтары BEIR існуеяць сумешаны набор дадзей, які включае біямедычныя, новынныя і тэхнічныя корпусы, і які спалюе BM25 з методамі інтэнсіўнага аднаходжэння, чым часта працюе лепшая, чым кожны з падходаў окаласці. TREC-COVID ўсвідамлівае гэта: там BM25 парадзеў за інтэнсіўным модэлем, адтолькі біямедычныя запыткі, такія як "SARS-CoV-2 spike protein ACE2 binding", змяшчаюць высока спецыфічныя тэрміны, якія методы эмбедынга затуманююць. Гібрыдны падход застаўляе сілы обох методаў.
Рэалізацыя на Python
Настройка
Усё знаходзіцца ў аднай схеме Postgres. Спачатку установіце неабходныя залежнасці:
# requirements: psycopg2, pgvector, rank-bm25, openai, numpy
Потым наладзіце з’яўленне, тып вектара і бібліятэкі:
import psycopg2
from pgvector.psycopg2 import register_vector
from rank_bm25 import BM25Okapi
import openai
import numpy as np
from typing import List, Tuple# ── DB setup ──────────────────────────────────────────────────────────────
conn = psycopg2.connect("postgresql://user:pass@localhost/ragdb")
register_vector(conn)with conn.cursor() as cur:
cur.execute("CREATE EXTENSION IF NOT EXISTS vector;")
cur.execute("""
CREATE TABLE IF NOT EXISTS documents (
id SERIAL PRIMARY KEY,
content TEXT NOT NULL,
embedding vector(1536) -- text-embedding-3-small dim
);
""")
# HNSW index: m=16 (edges/node), ef_construction=64 (build-time beam width)
cur.execute("""
CREATE INDEX IF NOT EXISTS doc_hnsw_idx
ON documents USING hnsw (embedding vector_cosine_ops)
WITH (m = 16, ef_construction = 64);
""")
conn.commit()
Індэксаванне
Дапаможнік абсарбуе вызов API для вбудоввання:
def embed(texts: List[str]) -> List[List[float]]:
resp = openai.embeddings.create(
model="text-embedding-3-small",
input=texts
)
return [r.embedding for r in resp.data]
А функцыя індэксавання зберагае кожны дакумент разам з яго эмбедынгам:
def index_documents(docs: List[str]) -> None:
embeddings = embed(docs)
with conn.cursor() as cur:
for doc, emb in zip(docs, embeddings):
cur.execute(
"INSERT INTO documents (content, embedding) VALUES (%s, %s)",
(doc, emb)
)
conn.commit()
Гібрыдны выкарыстоўванне
Лексычны пошук ранжуе корпус за дапамою BM25Okapi:
def bm25_search(
corpus: List[str],
query: str,
top_k: int = 20
) -> List[Tuple[int, float]]:
"""Returns [(doc_idx, bm25_score), ...] sorted descending."""
tokenized = [doc.lower().split() for doc in corpus]
bm25 = BM25Okapi(tokenized, k1=1.5, b=0.75)
scores = bm25.get_scores(query.lower().split())
ranked = sorted(enumerate(scores), key=lambda x: x[1], reverse=True)
return ranked[:top_k]
За дапамою ўсё болей складных запыткаў абшукаў pgvector, а таксама наэтапа фюзыі, прыменяецца алгорытм RRF:
def dense_search(
query: str,
top_k: int = 20
) -> List[Tuple[int, float]]:
"""Returns [(doc_id, cosine_sim), ...] sorted descending."""
q_emb = embed([query])[0]
with conn.cursor() as cur:
cur.execute("""
SELECT id, 1 - (embedding <=> %s::vector) AS cosine_sim
FROM documents
ORDER BY embedding <=> %s::vector
LIMIT %s;
""", (q_emb, q_emb, top_k))
return [(row[0], row[1]) for row in cur.fetchall()]
def reciprocal_rank_fusion(
*ranked_lists: List[Tuple[int, float]],
k: int = 60
) -> List[Tuple[int, float]]:
"""
RRF(d) = Σᵢ 1 / (k + rankᵢ(d))
k=60 is the standard constant from Cormack et al. 2009.
"""
scores: dict[int, float] = {}
for ranked in ranked_lists:
for rank, (doc_id, _) in enumerate(ranked, start=1):
scores[doc_id] = scores.get(doc_id, 0.0) + 1.0 / (k + rank)
return sorted(scores.items(), key=lambda x: x[1], reverse=True)
def hybrid_retrieve(
corpus: List[str],
doc_ids: List[int], # DB IDs aligned with corpus
query: str,
top_k: int = 5
) -> List[dict]:
"""
Full hybrid pipeline:
1. BM25 sparse search
2. pgvector dense ANN search
3. RRF fusion
4. Return top-K merged results
"""
bm25_results = bm25_search(corpus, query, top_k=20)
# Map corpus index → DB id for BM25
bm25_db = [(doc_ids[idx], score) for idx, score in bm25_results] dense_results = dense_search(query, top_k=20) fused = reciprocal_rank_fusion(bm25_db, dense_results, k=60) # Fetch content for top-K
top_ids = [doc_id for doc_id, _ in fused[:top_k]]
with conn.cursor() as cur:
cur.execute(
"SELECT id, content FROM documents WHERE id = ANY(%s)",
(top_ids,)
)
rows = {row[0]: row[1] for row in cur.fetchall()} return [
{"id": doc_id, "rrf_score": score, "content": rows.get(doc_id, "")}
for doc_id, score in fused[:top_k]
]
Стварэнне адказу
У пасляпэльным этапе адзначаюцца найлепшыя рэзультаты і ствараецца кантэкст:
def rag_answer(query: str, corpus: List[str], doc_ids: List[int]) -> str:
results = hybrid_retrieve(corpus, doc_ids, query, top_k=5)
context = "\n\n---\n\n".join(r["content"] for r in results)
Рэгламентуючы запрос дапамагае модэлю застацца ў межах таго, што было атрымана:
prompt = f"""You are a precise technical assistant.
Use only the provided context to answer the question.
If the context doesn't contain the answer, say so.Context:
{context}Question: {query}
Answer:""" resp = openai.chat.completions.create(
model="gpt-4o",
messages=[{"role": "user", "content": prompt}],
temperature=0
)
return resp.choices[0].message.content
Параметры, якія варта налаштаваць
У BM25 значэнне k₁ за замовчаннем становіць 1,5; большая гэтая значэнне дае большую вагу павтараючымся тэрмінам, што падходзіць для довгіх запыткаў. Значэнне b у BM25 за замовчаннем становіць 0,75, і яго падышча паўсілляе штраф за дужыну. Для HNSW значэнне m за замовчаннем становіць 16, адколькі больша колькасць рэгулярныхяў значыць лепшыя рэзультаты знаходжэння, але за рахунак памяці; значэнне ef_construction за замовчаннем становіць 64 — большая гэтая значэнне павышае якасць індэкса, але спамячвае процэс яго стварэння. Значэнне RRF k у 60 можа быць зменшана, калі хочаце, каб рэзультат з найвышэйшай рангаваннем меў большы вплыв. За замовчаннем выкарыстоўваецца 20 кандыдатаў на адного агента знаходжэння, і большая колькасць кандыдатаў зазвычай павышае якасць фюзыі рэзультатаў.
У корпусах тэкстаў з большым колькасцю спецыялізаванага контэнту, такіх як медычны, правовы чы ад коду, значэнне b трэба зменшыць да 0,5, каб зменшыць штраф за дужыя тэхнічныя дакументы, а значэнне k₁ — падысці да 2,0, каб павтараючыяся тэхнічныя тэрміны атрымалі большую вагу.
Выбір правільнага алгорытму пошуку
Точныя ключавыя словы, коды продуктав і назвы API спрыяюць вікорыстоўванню BM25. Канцэптуальныя, перафразаваныя або багатыя на мовы запіты крашчэ падходзяць для ўсеаспектавага пошуку. Большасць рэальных запітоў ўскладненыя, таму гібрыдны падход з RRF являецца найкрашчым выборам, а спецыялізаваная тэрміналогія ў медыцыне, праве або програмаванні крашчэ працюе з BM25 або гібрыдным алгорытмам.
Вывык
Naive RAG стварае сільную базовую версію, але не дастабільна ў аспекце відтворэння інформацыі для запітаў, насыцэных ключовымі словамі, чыста спецыялізаваных запітаў. Корэкцыя ў архітэктураы ёсць простая: запрацаваць BM25 над тым самым корпусам дадзеных разам з пошукам па pgvector, з’яеднаць два спіскі з рангаванням за дапамогою RRF з параметрам k=60, а потым адправіць з’яеднаны топ-K да LLM. Рэзультатны механізм пошуку адмаўляецца як семантычным запітам, такім як «што такое машынна навчання», так і лексычным запітам, такім як «пакажыце мне, як працюе параметр k1 у BM25Okapi», без неабяжнасці трэнавання дадзенага модэлю і толькі з додатковым працэсам апрацоўкі дадзеных па BM25 трываласцю у мікросекунды.
pgvector ўключаны ў Postgres, BM25 можна атрымаць праз інсталяцыю пакета rank-bm25, а RRF складаецца з калькі ліній коду. Няма значных перакананняў пры дадаўанні гібрыднага пошуку да прыменамага сістэмы RAG.
Спаднія матэрыялы
- Семантычныя пошукі ў PostgreSQL з pgvector і .NET: практычная наладка — Зберагачыце эмбедынгі празоўсюды з рэляцыйнымі дадзеннямі, ствараце індэксы HNSW або IVFFlat, фільтруйце і сумавайце гібрыдныя рангі, а таксама вярніцесяся, калі pgvector будзе дастатковы для вашага прыемніка.
- GraphRAG проты Vector RAG: чаму вектарны пошук не функцыонуе у вялікіх масштабах і як гэта парадактуваць — Vector RAG сталкніваецца з проблемамі ў ізоляцыі частак, логіцы між дакументамі і масштабаванні. Пазнакайце, як GraphRAG стварае спільнатыя структуры і апускі, каб гэтыя проблемы рашыць, а таксама калі выбіраць адны з гэтых падходаў.