Галоўная / Артыкулы

Ацэнка пошуку ў RAG за межамі ANN recall на прыкладзе Turbopuffer

Хуткі вектарны індэкс усё роўна можа прапусціць адказ. Кампрамісы сховішча Turbopuffer, гібрыдны пошук BM25 разам з вектарамі і як эталонны набор вымярае рэальную поўнасць.

Выдавец: REACTAPP.TOP7 хв чытання1671 слоў

Крыніцы: Turbopuffer Made Me Rethink RAG: A Fast Index Does Not Mean Correct Retrieval

Команды, які запускаюць праекты RAG, зазвычай пачынаюць з аднаго пытання: яку базу дадзейнаў вектараў выбраць. Гэта логічнае пытанне, але яно не ўсё. Крашчая база дадзейнаў можа зменшыць вітраты, прышвыдзіць пошук і спрабаваць упростыць кераванне велікімі сістэмамі. Але яна не можа сказаць, чыякі ўжо корыстувальнік атрымаў неабходную інфармацыю.

Turbopuffer — гарны прыклад для аналізу з двух прычын. Яго мадэль зберагчэння і выдачы дадзейнаў ёсць нестандартной, і ён адзначае тыя крокі, якія большасць команд RAG праігноравае: правільную перацэнку процэсу выкарыстоўвання дадзейнаў.

Як Turbopuffer зберагчае і выдае дадзейны

Стойкая копія дадзейнаў знаходзіцца ў сістэме зберагчэння об’ектаў, пры чым памяць і NVMe выступаюць як кэш. Машыны для апрацоўкі запытанняў не маюць стану, таму адна машына можа обслужваць многа прастораў імён і не павінна вечна зберагчаць дадзейны адзінаго кліента.

Гэта падходзіць для большога корпуса дакументаў, які дзеліцца многамі корыстувачамі. Уявіце сабе B2B-продукт, у яком кожны кліент володзіць наборам дакументаў, але ў будзь-які момент актываўсь толькі калькі кліентаў. Зберагчыць полны індэкс кожнага кліента ў RAM было бы дорага. Неактыўныя даны можна зберагчыць дышэўна ў сховішчы об’ектаў, тады як актывае пространства імена пераходзяць у NVMe і памяць.

У такім дзялежнасці ёсць свае праблемы. Для прастранства імена з мільйонам дакументаў Turbopuffer выдае час адпаведзення на запіт п50 у розмярэ 14 мс, тады як час адпаведзення на першы запіт да прастранства імена з такім жа розмярам, але неактываага, станавіць 874 мс. Таму апісанне «заўжды быстра» ёсць некальканоснае. Лепшая сказаць, што даны зберагчыцца дышэўна, калі яны неактываўныя, а станавяцься быстрымі, калі стануць актываўнымі. Большасць большых сістэм RAG должныя прыйняць такі компрэс, хоць гэта не падходзіць, калі кожны запіт павінен быць быстрым нават для дакументаў, да якіх ніхто не прыкладваўся няўзабаве.

Продукт таксама сфокусаваны на адзінам этапе выкарыстоўвання дадзеных, зменшаючы вялічызнены корпус да невялікага набора кандыдатаў. Рэшта застаецца на роўні прыемніка: гібрыдны пошук, перыяркаванне і логіка, якая вялічыць, што дастынэць модэлю. Такое раздзеленне дапамагае застацца ў фокусе на адной правдзе. База дадзеных можа зрабіць выкарыстоўвання дадзеных можлівым, але прыемнік яшчэ вялічыць, чы рэзультаты выкарыстоўвання ёсць карыснымі.

Чаму базовы пракцэс не ўсёрахуновы

Найпростэйшы пракцэс RAG выглядае так:

User question → vector search → top 5 chunks → LLM answer

Добрае раштрынкаванне для дэмаварынка, але слабае для практычнага выкарыстоўвання. Рэальныя корыстнікі не задаюць толькі структураваныя, семантычныя запытанні. Яны падкладаюць коды каштоўкаў, спытваюць пра асаблівасці правілаў, выкарыстоўваюць абрывкі і назвы продуктав, патрабуюць старэйшую версію дакумента або хочуць адказ, які будзе аб’еднваць два дакументы.

Мае сэнс выкарыстоўваць оба відменнія спосабу пошуку:

  • Вектарны пошук разбірае значэнне тэксту. Ён можа сувязаць фразу "выплата часу адпачынку пасля нараджэння дзеці" з сторанай пад назвай "выплата часу адпачынку для бацькоў">.
  • BM25 разбірае буквальныя тэрміны, таму запыт, які содэржыць ERR_PAYMENT_042, SKU-78291 або AuthMiddleware, прыводзіць на правільную сторану.

Оба спосабы доступны ў Turbopuffer праз multi_query, а рэзультаты можна з’едыніць за дапамою методу Reciprocal Rank Fusion, вядомага як RRF. Прылад можа пасля чаго пераранжаваць 20–50 найкрашчых рэзультатаў і даўаць LLM толькі калькі сільных фрагментаў. Гібрыдны пошук не ўсега ёсць прыгожэйшы. Вектарны і ключавы пошук выконваюцца по-рознаму, таму толькі сэрый тэстаў прылада можа паказаць, чыі з іх спосабаў ёсць корыстны.

Тры пункты для ацэнкі

Высокі показнік vector-recall прыводзіць даўольна чыстакоў да пераканання, што RAG працуе. Але гэты показнік не мае такога значэння.

Патрэбна ацэнка трохоў разлічных характэрыстыкаў:

  1. Точнасць індэкса: чы вярнюе апрыксіматычны вектарны пошук тое, што даў бы точны вектарны пошук?
  2. Адпаведнасць рэзультатаў: чы пошук вярнюе тые доказы, якія можа адпаведаць на запытанне?
  • Якасць адказу: чы рэчымэнт правільна і безпечна ў выкарыстоўванні модэлем?
  • Turbopuffer добра падходзіць да першага пункту. Ён берае прыклады 1% з рэальнага трафіку запытак, паўпоручывае адпаведныя рэзультаты з абліковага пошуку вектараў і сочыць за ступенем ўзаемнага перакрыцця. Яго рэкамендаціі паказваюць, што 90–95% recall@10 ёсць разумным балансам для большай часткі завадак. Гэта паказвае, чы індэкс знаходзіць тое, што знайшоў бы абліковы пошук вектараў, але не паведамляе, чы абліковы пошук вектараў падходзіў для данага запытку.

    Разглядзімо сітуацыю, калі корыстувач запытае:

    What does ERR_PAYMENT_042 mean?
    

    Адказ знаходзіцца ў базе знаёмасцей, на старонцы з кодамі адказакоў, але код паказваецца толькі адназначна ў вялічызненай таблыце. Пошук за вектарамі можа вернуць тры загальныя кансалтаты па адплатах, таму што яны маюць блізкі значэнне да запытання, а точны пошук за вектарамі таксама вернуць тыя ж тры. Тады база дадзеных адзвярцваеся 100% рэкалем для ANN, хоча адказ ніколі не доходзіць да модэлю.

    Аднальны пошук BM25 для ERR_PAYMENT_042 могаў бы вырашыць гэты прыблыжэнні. Жадныя налаштаванні вектарнага індэкса не дапаможу, таму што вектарны індэкс ніколі не быў зламаны. Ён чыста выканаў сваю працу, проста яму была дадзена неправільная задача. Таму галоўная ідэя: рэкал для ANN — гэта не рэкал для RAG. Адным мераюць, насколькі індэкс падходзіць да матэматычнага пошуку, а другім — чы паўтарыўцы атрымалі правыя доказы.

    Стварыце маленькі «золаты» набор

    Перш чым змяніце размер чакаў, эмбеддынгі, параметры top-K чыста ранкеры, зберыце канпактны набор рэальных запытанняў і пазначыце, калькі чакаў павінны адпавядаць на кожна з іх. Сто запытанняў — гэтага достатнька, каб пачаць, і яны не павінны быць бездоганнымі. Акцыянуцеся з логамі пошуку, заявамі на падтрымку і проблемамі, пра якія паведамілі корыстнікі, а таксама дадзіце калькі запытанняў ад экспертаў у гэтым направленні. Кожнай заносці патрабуецца мінімум:

    {
      "query": "How much parental leave do employees get?",
      "relevant_chunk_ids": ["benefits/parental-leave#3"],
      "query_type": "semantic_paraphrase",
      "must_contain": ["16 weeks"],
      "must_abstain": false
    }
    

    У зборцы павінныя быць разныя тыпы запытанняў:

    • точныя ідэнтыфікаторы і абраныя літэры,
    • звычныя семантычныя запытання,
    • дзяўгія, заплутаныя запытання корыстніка,
    • запытання, якім трэба два дакументы,
    • запытання, на якія няма адпаведзення, і
    • запытання, чутлівыя да праваў на адгледзенне, калі адпаведзенне існуе, але корыстнік не павінен яго бачыць.

    Група запытанняў без адпаведзення мае важлівэ значэння. Сістэма RAG павінна магчымае сказаць, што яна не змогла знайсці нешта сярод доступных дакументаў, што лепш, чым самавпэўненае выдумванне.

    Правілле, якое варта прыйняць: ператвараць кожную рэальную неудачу RAG у тэстовы кейс пры яго вылечэнні. Калі этага не зрабіць, баг будзе вылечаны, прыклад забуты, і той самы дыфект з’явіцца зноў за шасць недзеў.

    Пачніце з простых паметрак тэраватара

    Суддзя на базе LLM не павінен быць першым. Простыя паметракі тэраватара выканаюць пачатковую працу:

    • Recall@K выявляе, чыя правільная частка з’явілася сярод першых K рэзультатаў.
    • Mean Reciprocal Rank (MRR) паказвае, на якім раннім этапе з’явілася першая правільная частка. Правільная частка на 1-м месцы не ўзроўневана з часткай на 5-м месцы, якая знаходзіцца пасля чатырох некорэктных частак.
    • Normalized Discounted Cumulative Gain (nDCG) становіцца корыстным, калі дзеяныя часткі можна ацэніць як „вельмі рэлевантныя“, а іншыя — як „дзяўолі рэлевантныя“. Рэкамендаціі гібрыднага пошуку Turbopuffer прапануюць стварыць набор тэставых запыткаў з ідэальнымі рэзультатамі і ацэніць nDCG.

    Адзін большы сярэжны показнік масківае занадта многа інфармацыі, таму рэзультаты трэба раздзеляць за тыпам запыткаў. Корыстны вынік можа выглядаць так: гібрыдны пошук падняў загальны рэкал, але майжэ весь прагрэс стаўся завдзяк кодам каштоўкаў і абранічным слоўам, а для звычных семантычных запыткаў дадано мало. Сярэжны показнік не можа гэтага сказаць.

    Пораўняйце настройкі, зменшаючы колькісць змян за раз

    Зберагачы эксперымент маленькім і паўтаральным, і запускайце той самы базовы набор дадзеных праз калькі настаўк:

    • Запуск А: пошук толькі на адной вектарной базе, базовы варыянт.
    • Запуск Б: пошук толькі на адной сістэме BM25, паказвае, дзе дапамагае точнае падбіранне слоў.
    • Запуск В: вектары паўнасцю разам з BM25, суманаваныя з RRF, перакананне, чы рэгібрыдны падход дапамагае.
    • Запуск Г: Запуск В плюс дадатковы прыстрой для ранжавання, паказвае, чы падышак якосці пераканальвае додатковую затрымку і вартасць.

    Зменяйце толькі адзін элемент за кожны запуск і фіксавайце следуючыя паказнікі: рэкаліі на 5 і 10, MRR (а таксама nDCG пасля атрыбутавання ярлыкаў), час адпаведзення пад час «холаднага» і «тэплага» старта, а таксама вартасць 1 000 запыткаў. Падтрымка тэставых прастораў імен і галузей прастора імен для працы прызначана для рэальных задач у Turbopuffer, калі ўсё можна тэставаць, не паўтараючы дзеянні ў рэальным прасторы імен.

    Таксама трэба сочыць за рэкаліі сэрвісу ANN у самам Turbopuffer як за перакананнем пра стан індэкса. Калі гэты паказнік падыходзіць, значыць індэкс не добра справляецца з точным пошукам. Калі індэкс у стане, а рэзультаты пошуку за дапамою «золатага» набора даных ўжо некаліткі, проблема лежыць у іншым: у эмбедынгах, разбіванні даных на часткі, гібрыдным пошуку, фільтрах аб пераранжавання. Гэта дужа корыстная дыягноза.

    Потым пераканайцеся ў правільнасці адпаведзення

    Калі правыя часткі інфармацыі падаюць у LLM, неабяжна пераглядзець фінальны адказ па пяць пытанняў. Чы ён правільны? Чы кожна важлівая тэза падтрымвана выкарыстоўанай інфармацыяй? Чы ён уключае всю ключоўую інфармацыю? Чы цітаты падтрымваюць тэзы, якія ў яго ўказаны? Чы ён не даваў адказу, калі такога не існавало?

    Простыя факты заслуговуюць на простыя перагляды: адказ, у якім неабяжна павінна быць згадана фраза „16 недзеў“, можна проста знайсці шукачам. Для складнейшых сітуацыяў, напрыклад, калі трэба выявіць, чы довгі адказ ёсць обоснованым і повным, неабяжна выкарыстоўваць суддзю-LLM. Такія інструменты, як Ragas, можу дапамагаць, але яны не можу заменіць хорашы набор для тэставання.

    Рызыкаваная сітуацыя выступае тады, калі выкарыстоўванне інфармацыі не выходзіць і LLM пры тым дае правдападобны адказ на адваротнае ад свайго навчання. Перагляд з початку да канца можа паказаць, што адказ выглядае нормальна, хоча працэс RAG не выйшаў. Гэта стае небяпечным, калі адказ ёсць спецыфічным для компаніі, неякраз змененым або чутлівым.

    Большая наука

    Turbopuffer падходзіць тады, калі неабяжна адзысканне вялікага обсягу дадзэнняў і многах прасторах імен, пры чым модэль коставання не робіць дадзеныя, якія не выкарыстоўваюцца, дорогімі. Аднак галоўны урок не стосуецца самага продукту. Ён стосуецца мэтрактыкі. Turbopuffer пераканальваецца, чыяе апрыксіматыўнае адзысканне падходзіць да аб’ёмнага адзыскання ў рэальным трафіце, што ўсё ж такі ўзімкае рашэнне. Сістэма RAG павінна пераняць гэты прыём на вышэйшы ўзлёт, запытваючыся, чы былі адзысканы правільныя доказы, чы модэль іх належна выкарыстоўвала і чы новыя змяны пагоршылі рэальны працэс работы корыстувальніка.

    Скорасць — гэта не точнасць, адколькі швыдкі адзысквач можа за калякі мілісэкунды вернуць некарэктны дакумент. Рашэннем яўнае стварэнне малага «золатага» набора, змяна адной зменнай за раз і ператварэнне кожнай неудачы на тэст на рэгрэсію. Самэ так RAG ператвараецца з чагосьць, што здаецца чарамі, у сістэму, яю можна паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць паспрабаваць