Галоўная / Артыкулы

Чаму RAG усё яшчэ дае памылковыя адказы: гібрыдны пошук, пераранжаванне і Recall@K

Чыстыя фрагменты не гарантуюць добрых адказаў. Дзе вектарны пошук памыляецца і як гэта выпраўляюць зліццё рэйтынгаў, крос-энкодэр, HyDE і вымярэнне Recall@K.

Выдавец: REACTAPP.TOP6 хв чытання1434 слоў

Крыніцы: The AI Series: The Hardest Part of RAG, Part 2 — Why Perfect Chunks Still Give You Bad Retrieval

Звычны выклік у праектах RAG: праца з аналізам завершана. Фрагменты тэксту ў парадку, табліцы выходзяць у фармаце Markdown, а кожны фрагмент мае номер сторанкі і назву раздзела. Аднак корыстнікі ў працэйнай асяроддзі яшчэ і даўжа атрымляюць некарэктныя адпаведзі на запытанні, якія сістэма мусіць рашаць без проблем. Проблема не ў фрагментах — проста механізм пошуку продовжае запрашаць некарэктныя фрагменты.

Хорашы аналіз дае хорашыя даны, але хорашыя даны не гарантуюць эфектывага пошуку. Гэта разныя проблемы, і другая з іх атрымлеўа значна меншае ўвагу, чым заслуговае.

Што на самай справе робіць пошук сэмантычнай схожасці

Багато команд спрытваюць similarity_search() як „чорную скрынку“, таму корыстна швыдка аналіза ўсероўні. Мадэль умяшчэння ператварае тэкст у спіс цяжэняў, тэкстуальны вектар, які ў сваю чаргу ўособлівае точку ў прасторы з колькасцю выразаў ад 384 да 3072 залежна ад мадэлі. Тэксты з падобным значэннем должны знаходзіцца поблізу адзін другога, а несупаўзнаныя тэксты — далека адзін ад другога.

Версія з толькі 4 выразамі дапамагае заліць цяжэнняя чытабельнымі:

"How do I reset my password?"     → [0.81, 0.12, -0.44, 0.09]
"Steps to change your password"   → [0.79, 0.15, -0.41, 0.11]
"How do I cancel my subscription?"→ [0.22, 0.68, 0.05, -0.39]

Два вектары параболююцца за дапамою косінусовай схожасці, якая вырахоўвае, насколькі яны спрамованы па аднаковым кірунку, ігнаруючы ўзрастаўку. Значэнне 1,0 означае аднаковы кірунак, 0 — незв’язанасць, а ад’ютныя значэнні — працоўныя кірункі.

from numpy import dot
from numpy.linalg import norm

def cosine_similarity(a, b):
    return dot(a, b) / (norm(a) * norm(b))

query = [0.80, 0.13, -0.42, 0.10]  # "reset my password"

print(cosine_similarity(query, [0.81, 0.12, -0.44, 0.09]))  # 0.998 - very close
print(cosine_similarity(query, [0.22, 0.68, 0.05, -0.39]))  # 0.310 - far apart

За фразай «AI разумее запытанне» стоіць толькі геаметрыя, а не розумеўнне; геаметрыя таксама пояснюе неудачы: ёй нельга зрозумець, што пазначэнне «не дазволена» змінюе значэнне «дазволена», а таксама што «Error 4092» — гэта буквальны строк, які павінен падтрымацца корыстнікам.

Чатыры спосабы, якімі парадксаваецца запрашэнне

Складванне параграфа ў адну точку прыводзіць да втраты інфармацыі. Калі сістэма выходзіць за межы дэмавай версіі, тыя ж чатыры проблемы продовжваюць з’являцца.

  1. Несувпадэнне лексыкі. Калі хтось шукае точны код адказу або ідэнтыфікатор продукту, алгорытм спрацоўвае яго як звычны токен, і фрагмент, які мае гэты строк, не потрапляе ў топ-10.
  • Абсанц негацыі. Палітыка, якая прыменяе абмяну пасля месца, і запытанне пра абмян пасля месца выкорыстоўваюць большасць таго ж слоўніка, таму яны можу стаць небяспечна блізкімі адна да другой, хоць іх значэнні суперсучасныя.
  • Ізоляцыя частак. Адказ распадаецца на две частакі: напрыклад, чысло ў адной, а апісанне яго ў паказвальнай частцы, і алгорытм вяртае толькі адну з іх.
  • Плутанне з прычынай свежасці. Вектарны індэкс не мае уявлення пра тое, што дакумент ўстарэў, таму старыя і новыя версіі адной палітыкі часта атрымуюць аднаковыя балы за рэлевантнасць.
  • Дэманстрацыя з 20 дакументаў не адкрывае нічога з гэтага. Гэтыя проблемы выяўляюцца тады, калі корпус містыць рэальную дуплікацыю, перакрыцце і неяснасці, што характэрна для кожной практычнай сістэмы.

    Працэс у кілька этапаў замест адной вызову

    Адзін вызов сховішчу вектараў — гэта не сістэма адзыскання даных. Стойкая такая сістэма складаецца з калькі этапаў:

    Кожны этап існуе таму, што паперадні сам по сабе не можа выканаць усе задачы. Гэта самая значныя розніца між дэманстрацыяй RAG і RAG у працэйнай сітцы: кожны этап усунець адпаведную слабас паперадніх этапаў, і жадны з іх не ўжо толькі дэкоратыўны элемент.

    Гібрыдны пошук з злучэнням рангаў

    Пошук за вектарамі паслаба справляецца з точнымі збігамі, а пошук за ключовымі словамі (BM25) — з концэптуальнымі збігамі. Уместа выбору аднаго з спосабаў, трэба выконваць оба і злучаць ўсе рэзультаты.

    Злучэння рангаў па прынцыпу взаімнасці — гэта простэйшы спосаб з’едыніць два спіскі з рангамі, калі ўсі ў яных балы не на адной шкале. Тыповая рэалізацыя выглядае так:

    from collections import defaultdict
    
    def reciprocal_rank_fusion(result_lists, k=60):
        scores = defaultdict(float)
        for result_list in result_lists:
            for rank, doc_id in enumerate(result_list):
                scores[doc_id] += 1 / (k + rank + 1)
        return sorted(scores, key=scores.get, reverse=True)
    
    vector_ids = [d.metadata["chunk_id"] for d in vector_store.similarity_search(query, k=20)]
    bm25_ids = [d.metadata["chunk_id"] for d in bm25_index.search(query, k=20)]
    
    final_ranking = reciprocal_rank_fusion([vector_ids, bm25_ids])
    

    Частая пачатковая памяць — гэта з’едынаванне двух спісаў рэзультатаў без ўзаўмнага злучэння іх. Спіс, які стоіць першым, тыха домінуе ў канечным кантэксце, што паспелае мэту выкарыстоўвання двух стратэгій.

    Пераранжаванне

    Найцяжэйшы этап аналізу — гэта выкарыстоўванне табліцаў, а ў працэсе пошуку — пераранжаванне. Мадэлі увярбавання кодуюць запіт і кожны дакумент незалежна, пасля чаго поручаюць рэзультаты. Апарат для пераранжавання, як правіла, являе сабою крос-кодэр, які чытае запіт і кандыдаты ўмовах адночасна і безпосерэдна выдае бал адносу значэння. Гэта займае больш часу, таму ён працюе толькі з 20-50 найкрашчых кандыдатаў пасля злучэння, а не з усім індэксам.

    from sentence_transformers import CrossEncoder
    
    reranker = CrossEncoder("BAAI/bge-reranker-base")
    
    def rerank(query, candidates, top_n=5):
        pairs = [(query, c["text"]) for c in candidates]
        scores = reranker.predict(pairs)
        for c, s in zip(candidates, scores):
            c["rerank_score"] = float(s)
        return sorted(candidates, key=lambda c: c["rerank_score"], reverse=True)[:top_n]
    

    У адзінай внутранней сістэме пошуку падтрымкі, дзе пасля спалучэння дадзены рэранкер, показнік Recall@5 падняўся з прыблізна 61% да 84%, пры чым модэль укладкі дадзеных і размер фрагмента засталі незменнымі. Штырэнне змяны гэтай елемента перавышыла сумарны эфект усіх іншых элементаў ланцоўка, што робіць яе стандартным першым варыянтом, калі адпаведзі RAG здаюцца блізкімі, але не абоўсумова правымі.

    Зменшэнне розніцы ў слоўніку

    Інодзе індэкс ў стане, а справжняя проблема — формулювання. Карыстальнікі пішу простаю мовай (“Чаму ён не дазволяе мне заўісіцца?”), тады як дакументацыя напісана формальна (“Можа выйсці брак автанацыі, калі токены сесіі выйдуць з часу”).

    Есць два спосабы рашэння гэтай проблемы. Пры перапісве запытку LLM перазмовляе нечыяры запытак, прыбліжаючы яго да формуліравання існуючага матэрыялу. HyDE (Hypothetical Document Embeddings) ідзе ўсё далей: LLM стварае короткі выдуманы адказ, і самэ гэты тэкст, а не сам запытак, практыкуецца і шукаецца, таму што правдападобны адказ у вектарнай прасторы знаходзіцца набліжэй да рэальных адказоў, чым сам запытак.

    def hyde_retrieve(query, llm, vector_store, k=5):
        hypothetical = llm.invoke(f"Write a short passage answering: {query}")
        return vector_store.similarity_search(hypothetical, k=k)
    

    Сістэма заявак на падкістку, якая выкарыстоўвае гэты падход, вяртае значны частака запытанняў, якія раней не давалі нічога корыстнага, проста таму, што корыстнікі і дасягчальная матэрыялы выкарыстоўваюць разныя варыянты мовы.

    Адразу мераваць рэзультаты пошуку

    Парадны спосаб — ацэніць эфектывнасць пошуку па тым, чы правільна звучыць канечная адпаведзь LLM. Гэта практычна нічога не паведамляе пра тое, у які момент выйшла проблема.

    Патрэбна мала колькасць пазначаных прыкладаў, нават 50–100 пар запытанняў і правільных частак, каб можна было змерыць Recall@K яшчэ до таго, як будзе выкарыстоўваны LLM. Recall@K запытае: з усіх частак, якія насправды маюць адпаведзь, скількі з іх опінуліся сярод першых K?

    def recall_at_k(retrieved_ids, relevant_ids, k):
        top_k = set(retrieved_ids[:k])
        return len(top_k & relevant_ids) / len(relevant_ids) if relevant_ids else 0.0
    

    Без гэтага кожныя змяны розмеру чакункоў, модэлю інкапсулявання чыстаць або рэранкеру ёсць толькі спадчыя прыпускі, якія маскуюцца пад палегчэнні.

    Апасцярожнасці і розумны набор апранактавання

    Падвышэнне значэння k рэдка калі параджуе слабкія рэзультаты пошуку, адколькі гэта пераважна дае LLM больш адвагансоў. Працаваць першы тыдзень над налаштаваннем розмеру чакункоў таксама ёсць неэфектыва, як і порад з прыростам, які дае рэранкер. Нарэшце, створыце набор для ацэнкі раней, чым пачнуцца прытвары, бо дыягнастыка проблем пасля таго марнуе цэлы цыкл працы.

    Разумны набор апранактавання для стварэння гэтага шару: Qdrant для пошуку вектараў, BM25 праз OpenSearch, спаўнены з RRF, самастойна размешчаны рэранкер BGE з Cohere Rerank як альтэратыва, і HyDE, прызначаны для трафіку канверсацыйных запыткаў.

    Звядзеўка, з якой насправды выходзіць якасць адпаведзей

    Дыялогі частаца сфокусаваюцца на тым, які LLM пісае найболей паводлівы ў канцы канцовы адказ, але асэнсавыя прычыны знаходзяцца ў прадзеі модэлі: чы былы ўзятыя правыя фрагменты ваовсе? Яскравы модэль, якім даецца некарэктны кантэкст, ўсё час дае яскравы, аднойчыны, але некарэктны адказ.

    Парсінг уводзіць даныя ў сістэму, тады як працэс выявлення вялікага фрагмента вялічыні даных вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні вялічыні в

  • Чаму RAG не знаходзіць старонку, якая мае адказ: хлеб, дрожжы і вектары — чаму пошук на адпоўнасці можа знаходзіць старонкі на правы тэматык, але працягвае не знаходзіць тую, якая мае адказ, як табліцы і ліміты top-k пагаршуюць сітуацыю, і што трэба перша перапрацаваць.