Галоўная / Артыкулы

Вектарны RAG супраць RAG па ключавых словах: калі што ўжываць і чаму выйграе гібрыд

Вектарны RAG супраць бязвектарнага: эмбедынгі супраць BM25, SQL і графавага пошуку, як працуе кожны канвеер, дзе кожны падводзіць і чаму гібрыд з пераранжаваннем перамагае.

Выдавец: REACTAPP.TOP6 хв чытання1281 слоў

Крыніцы: Vector RAG vs. Vectorless RAG — Which One Actually Knows Where It Left Its Keys?

RAG дае модэлю мовы справачную кнігу, яю ён можа выкарыстоўваць пры адпаведзенні. Гэта лепшая, чым запамятаваць усё ў вагах модэля, што ўскладнюе працэс, прыводзіць да застарэлых даных і спрыяе галюцынаціям. Цікавы вопыт — як функціонуе такое пошук. Домінуюць два падходы: вектарны пошук, які ранжуе элементы за сэмантычным супаданнем, і так званы безвектарны пошук, які выкарыстоўвае класычныя методы, такія як BM25, падбіранне ключоўых слоў, графы і SQL. Кожны з падходаў можа быць лепшы, залежна ад даных.

Вектарны пошук

Гэта тое, што большасць людзей уявляе, калі чуе «сучасны RAG». Кожны фрагмент тэксту ператвараецца на вектар высокай выразнасці (ембеддынг) і зберагаецца ў вектарной базе даных. Пры запіце запіт таксама ператвараецца на вектар, і вяртаюцься тые фрагменты, чыяя вектары знаходзяцца як можна бліжэй. Блізкасць у вектарнай прасторы адпавядае блізкасці у значэнні.

Працэс складаецца з пяці стадзій:

  1. Прыем і разбіўка. Разбійце дакументы на перакрываючыяся часткі, напрыклад 512 токенав, з прыблізна 10% перакрыццю. Прызначэнне метаданых часткам ўзельцамі ёсць необавязковым, але рэкомендуемым.
  2. Укладкі. Пройдзіце кожную частку праз мадэль укладкі, такую як text-embedding-3-large ад OpenAI, Cohere Embed чы BGE, каб отрымаць ўпакоўаны вектар з чысламі з плаваючай кампаўнай запятою.
  3. Індэксаванне. Зберагаеце вектары ў Pinecone, Weaviate, Qdrant, pgvector чы Chroma, індэксуючы іх за дапамогою HNSW чы IVF, каб пошук найбліжэйшых суседніх элементаў заставаўся шырокі.
  4. Пошук. Укладзіце запіт, адрабатайце пошук к-NN чы ANN і выберыце топ-k частакаў па косай схожасці.
  5. Стварэнне. Уключыце атрыбутаваныя часткі ў запрос і дазвольце LLM стварыць адпаведны адказ.

Мінімальная версія LangChain пачынаецца з гэтых імпортаў:

# Minimal Vector RAG with LangChain
from langchain.vectorstores import Chroma
from langchain.embeddings import OpenAIEmbeddings
from langchain.chains import RetrievalQA

і продовжаецца з эмбедынгамі, храненнем і ланцугам адзінавання пытанняў:

embeddings  = OpenAIEmbeddings(model="text-embedding-3-large")
vectorstore = Chroma.from_documents(docs, embeddings)
retriever   = vectorstore.as_retriever(search_kwargs={"k": 5})qa_chain = RetrievalQA.from_chain_type(
    llm=llm,
    retriever=retriever,
    return_source_documents=True
)
result = qa_chain.invoke("What is the refund policy?")

Сілой гэтага падходу ёсць сэмантычна разумеўнасць. Старонка з правіламі можа обяцваць „гарантыю вярнення грошаў“, калі корыстувальнік пытаецца: „Магчыма лягчэй вярнуць грошы?“ Нічога не збігаецца слова ў слова, пры тым правільны адпаведнік все равно выдаецца. Класычны пошукавы механізм гэта не здолае.

Слабасцю ёсць тое, што блізкасць не ўзначае точнасці. Уявіце сабе адпаведнік, які мае рэйтынг 0,94 па аднакоўнасці з запытам, пры тым як не знаходзіць точнай адпаведзі, таму што точны тэрмін, які хацеў корыстувальнік, ніколі не з’яўляўся ў тэксце. Кожны запыт стае прыкладам майжэ правільнага адпаведнення.

Пошук без вектараў

„Пошук без вектараў“ — гэта аб’еднальны тэрмін для BM25 (прабаблістычныя рангіранні ключоўых слоў, якія відпавядаюць за работу Elasticsearch і OpenSearch), запытанняў SQL над структураванымі дадзеннямі, пераскоку па графе знанняў і гібрыдных сімвалічных методаў. Гэтыя методы віклікаюць пошук у корпоратыўных сістэмах ўжо дзесяткі гадоў. Яны не ўражаюць сваёй красай, але працуюць.

Працэс выглядае так:

  1. Індэкс. Токенаізаваць дакументы і стварыць зворачаны індэкс, які супарабоюе кожны тэрмін з дакументамі, якія яго маюць, з выкарыстоўваннем шкалавання у стылі TF-IDF.
  2. Аналіз запіту. Токенаізаваць яго, а за пажаданнем расшырыць за дапамою сінонімав, стэмінгу чыраўкі перапісву на аднойчыні з LLM, каб падняць рэкал.
  3. Ранкаванне. BM25 шкалавае дакументы па тэрмінах запіту і вяртае точныя чыраўкі чыракоў высокага перакрыцця па парадку.
  4. За пажаданнем — пераскакванне па графе. Спаяць энтытэты, а потым пераскакваць па структураваным графе, каб збіраць супаўзелеглыя факты, што падходзіць для запытаў з калькамі.
  5. Генераванне. Як і ранейш: перадаць атрыбутаваныя фрагменты да LLM.

Прыклад BM25 з rank_bm25 пачынаецца з імпортаў:

# BM25-based Vectorless RAG with rank_bm25
from rank_bm25 import BM25Okapi
import nltk

Потым тэкставыянак корпус, стварае індэкс і выконвае запыткі да яго:

tokenized_corpus = [nltk.word_tokenize(doc.lower()) for doc in corpus]
bm25 = BM25Okapi(tokenized_corpus)query = "refund policy for subscription plans"
tokenized_q = nltk.word_tokenize(query.lower())
top_docs = bm25.get_top_n(tokenized_q, corpus, n=5)# Inject top_docs into LLM prompt context
context = "\n\n".join(top_docs)

Калі вектары фіксуюць значэнне, гэты падход фіксуе спецыфічнасць. Калі шукаць ID продукту, напрыклад SKU-4892-XL, мадэль на адмісцяванні не зможа яго знайсці, тады як BM25 зрабіць гэта за каліксі секунд. Тэхнічная дакументацыя, правовыя клauзулы, коды каштоўкаў і фінансавыя ідэнтыфікаторы — гэта яго сфера дзеяння. Уявіце дэтэкtyва, які шукае точную фразу „crimson ledger“: вектарная сістэма прадаст 47 дакументаў пра чырвоныя зошыты, алычавыя юніяны і рэцэпт джаму з полыні, тады як індэкс BM25 прадаст адны рэзультат — сторана 14, параграф 3. Для точных пошукаванняў ID, власных імен і тэхнічных кодаў BM25 ўсега часа перамагае косайну сэмплірнасць.

Паралельна

Па асновнай тэхніцы, вектарны пошук выкарыстоўвае ўпакоўкі дадзеных з адной стороны з алгорытмамі тыпу ANN, а з іншай — BM25, ключавыя словы, SQL чырае графы. Вектарны пошук добра справляецца з парафразамі і сінонімамі, але слаба ў працы з ідэнтыфікаторамі, кодамі і рэдкімі тэрмінамі. Пошук на адной стороне на ключавыя словы паўтарае толькі точныя чы сяродзе-точныя тэрміны, пры чым яго оцэнка ёсць дэтэрміністычная і вельмі точная для точных паўтарэнняў.

З тэхнічной точкі зору, вектарная схема ўскладненая: патрэбны мадэлі упакоўкі дадзеных плюс інфраструктура вектарнай базы дадзеных, і весь корпус дадзеных трэба упакаваць прычымо да пачатку працы. Класычная схема ёсць простаяя (Elasticsearch чы SQLite) і можа агульнаць існуючыя дакументы адразу. Тыповы час адпаведзення становіць ад 50 да 200 мс для вектарнага пошуку і ад 5 да 50 мс для класычнага. Косты таксама разлічныя: з адной стороны — плата за вычыслення на GPU і вектарную базу дадзеных, а з іншай — пошук, які падходзіць для CPU.

Для разных сцэнарыяў вектары падыходзяць для адпаведзення на запытанні, сэмантычнага пошуку і чату. Класычны спосаб выкарыстоўвання дакументаў падходзіць для юрыдычных, медычных, фінансавых і кодавых дакументаў. Рызык галюцынацый з вектарамі ёсць сярэдні, адколі сэмабільнасць не абавязкова значыць правільнасць, а з точным падборам — ніжы. Падтрымка калькі мов ў мультымовных эмбедынгах ёсць сільная, але класычны спосаб выкарыстоўвання дакументаў выклікае патрэбу на налагоджэнне па конкрэтным мовам.

Выкарыстоўванне обох

Большасць інструкцый прыхоўдзіць гэта: у прымэтных сістэмах яны зазвычай сумішваюцца. Стандартны падход — гібрыдны спосаб выкарыстоўвання дакументаў з паўтарным ранжыраваннем. Заўважыце BM25 паралельна з вектарным пошукам, з’едыніце два спіскі рэзультатаў за дапамогою методу Reciprocal Rank Fusion (RRF), перадаце топ-N рэзультатаў у крос-кодэр для паўтарнага ранжыравання, а пасля — уведзіце готавыя ранжаваныя фрагменты ў кантэкст LLM.

Гэта дае можлівасць шырокага семантычнага пошуку з точнасцю ключоўых слоў. LlamaIndex, LangChain і Haystack адразу падтрымліваюць гібрыдны спосаб выкарыстоўвання даных, а API Rerank і крос-кодэры Sentence-Transformers ад Cohere ёсць популярнымі выбарамі для этапы перэранкавання. Кожны метод, як і члены банды, мае сваю спецыялізацію: эмбеддынгі аналізуюць загальную структуру, BM25 выкарыстоўвае точныя коды, а прыстрой для перэранкавання прымае рашэнне пра тое, калі модэлю паказваць толькі пяць найкрашчых фрагментаў.

Рашэнне

У большасці случаў дапамагаюць тры пытанні.

  • Чы выклеквуюць корыстувальнікі запіты на разныя способы ў нейтральнай мове? Калі так, лепшая выкарыстоўваць вектары. Калі запіты структураваны, з точнымі ID і кодамі, лепшая апыляцыя класычнымі методамі.
  • Чы корпус даных неструктураваны (PDF-файлы, статыі) чы структураваны (табелі, запісі)? Прозаічны тэкст лепей падходзіць для вектароў. Табелі і запісі — для SQL і BM25.
  • Які у вас ліміты затрымкі і віткаў? Скромны бюджэт або строгі показнікі затрымкі спакойваюць да класычнага спосабу пошуку або лёгкага гібрыднага. Большы бюджэт дазваляе выкарыстоўваць повны гібрыдны падход з пераранжаваннем.
  • Для адкрытых запытанняў у неструктураваным тэксце, дзе важліва семантыка, такімі як боты падтрымкі, дапаможнікі для даследжэнняў і адпаведзі на запытанні ў дакументах з вялікіх корпусаў, крашчэ выкарыстоўваць вектары. Класычны спосаб пошуку падходзіць, калі важлівы точныя зусімткі (коды продуктав, номеры клазаў, фінансавыя ідэнтыфікаторы, коды абэракцый, серыяныя номеры) або калі віткі і затрымкі ёсць строгімі абмежэннямі. У працэйным рэжыме можна выкарыстоўваць оба падходы.

    Больш важлівым, чым выбір падходу, ёсць розумеў, чаму кожны з іх працюе, каб працэс падходзіў да вашых дадзеных і вашых корыстувачаў, а не проста да таго, што было выкарыстоўваў у пярэдніх інструкцыях.

    Спаднія матэрыялы

  • Гібрыдны ўзнаванне дакументаў для RAG: саюз ключоў, вектарных пошукоў і пошуку па графах — Як саюзваць BM25, вектарны пошук і пошук па графах у RAG: фюзыя рангавання з RRF, дзе дапамагае GraphRAG, а таксама архітэктура узнавання, фюзыі, расшырэння і перарангавання.