Галоўная / Артыкулы

ragcontextual-retrievalbm25prompt-cachingretrieval

Кантэкстны пошук для RAG: што хавае лічба 67%, колькі гэта каштуе і калі не спрацоўвае

Кантэкстны пошук для RAG: як уступныя прэфіксы ратуюць адарваныя фрагменты, чаму лічба 67% складаецца з трох змен, што эканоміць кэшаванне промптаў і калі метад падводзіць.

Выдавец: REACTAPP.TOP13 хв чытання2903 слоў

Крыніцы: Your RAG Chunk Doesn’t Know Whose Revenue Grew 3% — Contextual Retrieval

«Дохадзіце компаніі вырослі на 3% за перадні квартал». Вектарны база дадзэння можа зберагаць тыячы такіх рэчэй, і кожная з іх функцыянальна беспарадная, пакуль не стане ясна, пра якую саме компанію і які квартал йдзе мова.

Праблема не ў модэлі, які пішае заканчоўны адказ. Яна лежыць у фрагменце, які павінався ў індэкс без ідэнтыфікатора. Будзь-якая сістэма RAG, пабудаваная на дакументах, кантрактах, тэхнічной дакументацыі чы рэсурсным кодзе, ўразламная, адтуды што гэтыя корпусы павтараюць тыя ж мовныя шаблоны ў дзесятках месцаў і не даюць прыстрою для пошуку можлівасці розразліцаваць гэтыя павтарэнні.

Лекарство ў дробных ценах. Йго цена выклікаецца ў долерах за мільйон токенав, і для яго стварэння патрэбна адна сформульаваная рэчы, напісаная ў момент стварэння індэкса. У тэстах Anthropic такі прыметнік зменіў колькасць неправільна атрыбутаваных даных на 67%. Цяя цыфра у загалоўку скрывае певную структуру, а варыянт выкарыстоўвання, які быў выбраны для дэманстрацыі, згодна з тым прыцягнуў прыклад, які спростаўвае ёе. Таксама існуе чатыры настройкі, у якіх вітраты важка практычна обгрунтуваць.

Короткая сутнасць ідэі

Калі індэкс дзеліць дакументы на фрагменты з кальколькі сотняў токенав, дзеякія з гэтых фрагментаў втрачаюць свой прэдмет і часовы перыод. Фраза «Дохады вырослі на 3%» не называе ні компанію, ні квартал, і жаданая мадэль інкапсулявання не можа гэта вярнуць, таму што гэтая інфармацыя не ў тэксце.

Кантэкстна адаптаванне даступу рашыяе проблему адзін раз, пад час індэксавання. Модэлю мовы паказваецца весь дакумент разам з адным фрагментам, і ён пішчыць короткі праблематычны прымак з пяцідзесят да ста токенав, які паведамляе, што ўскладнівае фрагмент, каго ён стосуецца і калі.

У багатых апісаннях прыпускаецца другі крок, які ўсё-такі ёсць важлівым. Узбагачаны тэкст падаецца ў вектарны індэкс і ў індэкс BM25 — лексычны рангавальнік, які існаваў ранейш за эмбеддынгі і пашукае точныя словы, а не значэнні. Такім чынам адна мера практычна параджуе обе частыні структуры пошуку, за рахунак аднаковага косту індэксавання, а не дадатковага косту за кожны запіт.

У ацэнках Anthropic сам прымак эмбеддынга зменіў колькасць неудачных рэзультатаў на 35%. Полная структура, з BM25 і перэрангаваннем, зменіла яе на 67%. Кэшаванне запытав яе робіць дышэчным, таму што весь дакумент чытаецца толькі адзін раз, а не з нуля для кожнага фрагмента.

Гэты метод не ўніверсальны, і самэ гэта яго цікавае. Перш за ўсё — механізм і сама інструкцыя.

Прэфікс, які надае фрагменту ідэнтыфікатора

Інтуіцыя выйшае раней за механіку. Фрагмент, вырваны з документа, падобны сторонцы, вырванай з папкі, без заголовка, номера справы чы рэквізіта. Калі чытаць яго окрэма, то немагчыма з’ясавіць, якой компаніі зрослы дохад, і калі. Мадэль для эмбедынгу сталквічаецца з тым жа „пустым“ станом, толькі у яе няма спосабу яго пазначыць.

Механізм восстанавляе нехватную інфармацыю. Пад час індэксавання мадэль отрымае два вхідныя даны: цэлы выхідны документ і адзін з яго фрагментов, і у яе ёсць адна задача — напісаць короткі кантэкст, які розмістыць гэты фрагмент у цэлым.

Інструкцыя ад Anthropic умішчаецца ў калькі ліній:

<document>
{{WHOLE_DOCUMENT}}
</document>
Here is the chunk we want to situate within the whole document
<chunk>
{{CHUNK_CONTENT}}
</chunk>
Please give a short succinct context to situate this chunk within the
overall document for the purposes of improving search retrieval of the
chunk. Answer only with the succinct context and nothing else.

Якшто прыкласты да прыкладнага фрагмента, выход можа выглядаць так: «Ўжыны гэтага фрагмента взяты з дакумента SEC пра працу компаніі ACME Corp у другім квартале 2023 года; дохады ў пакананнем квартале склалі 314 мільйона долера». Пасля гэтага следуе асалідзены тэкст пра 3% адзростанне. Прыблізна сто токэнаў ператварае аддзельны фрагмент у запіс з ключам.

Пасля гэтага адзычнены тэкст запісваецца у два індэксы. Адны — індэкс умяшчэння (Contextual Embeddings), другі — індэкс ключоў (Contextual BM25). Калі назва компаніі ACME пісаецца цэлкам у кожным фрагмэнце, BM25 можа знаходзіць яе на будзь-яй сторонцы справаздачы, тады калі раней яе згадвалі толькі на обкладнцы.

Гэта таксама не была першай спробаванай ідэяй. Anthropic паведаміла пра ранейшыя эксперыменты з узагальненнямі дакументаў, прыкладзенымі да фрагментаў, якія далі „вельмі меры павышэння карыстнасці“, а таксама з HyDE і індэксаваннем на аднойчыні, якія таксама не былі чыннымі (Anthropic, сэрпень 2024 г.). Засталася толькі прыдатаковая частка.

Тое, што адзіляе узагальненне ад прыдатака, — гэта механічны аспект. Аднае узагальненне ўжываецца для всіх фрагментаў дакумента, таму яно не можа адразніць фрагмент А ад фрагмента Б у там самым годовым атласе, тады калі кожны прыдатак напісаны спецыяльна для свайго месца ў дакуменце.

Корпусы, складзеныя з дакументаў, кантрактов, тэхнічных інструкцый або баз кода, дзе адны лінгвістычны патэрн павтараецца ў багацько месцаў, — гэта самэ там, дзе сёньня трапляюцца проблемы з фрагментамі. Лячыльны прыдатак сам по сабе дае 35% змену колькасці памылак, і гэта толькі першы рэвэл.

Сцэранка ўнутрь аднаго чысла

Часта цыфра „67%“ наводзіцца як рэзультат выкарыстоўвання адной-ўсёй тэхнікі. У опублікованай табелі паказана іншая інфармацыя, і яе лепей спрыймаць як працэс, складаючыся з кількох этапаў, чым як адзін момент.

Рэзультаты вырахоўваны як 1 за вырахунак recall@20: гэта частка запытанняў, у якіх правільны фрагмент не патрапіў у топ-20. Anthropic называе гэты показнік кантэкстам падбірання даных і прадае яго для кодавых баз, художніх твораў, статэй у arXiv і науковых публікацый.

Чатыры конфігурацыі будуюцца адна на адной:

  • Базовая конфігурацыя, з простымі эмбедынгамі для сырых фрагментаў: 5,7% запытанняў не паспелі.
  • Толькі з кантэкстуальнымі эмбедынгамі: 3,7%, што ў 35% меней, і гэта сталася завдзячы самам прымеску.
  • З даданнем кантэкстуальнага BM25: 2,9%, што дае аб’ёмнае зменшэнне на 49%, пры чым дапамагае і індэкс ключоўых слоў.
  • З даданнем функціі пераранжавання: 1,9%, і самэ з гэтага показніка походзіць цыфра 67%, завдзячы фінальнаму этапу.

Рэранкер — гэта другі мадэль, якая адмініструе запіт і кандыдатскі фрагменты адночасна. Яна працюе спамедзей, чым першы падход, але ўсё точней. У даным прыкладзе яна скарыціла 150 кандыдатаў да двадцяці. Усе чатыры показнікі апісваюць найэфектывнейшую наладку упакоўкі даных у тэсце — Gemini Text 004 — і не являюцца сярэднім значэннем сярод усіх модэляў упакоўкі даных, якія працавалі Anthropic.

Разбіўка показнікаў змінюе рашэнне, а не толькі апісанне сітуацыі. Команда, якая вжо выкарыстоўвае гібрыдны пошук і рэранкінг у працэсе вырабоцтва, должна спакоючыся на тым, што сама кантэкстуалізацыя дапаможа падняць рэзультаты да апошніх трыдцяцяга пацэнтав, а не да шэсцідзесят сям, адколі за два іншыя рэжымы ужо плацяцца. Спрыйманне гэтага показніка як аднаго ефекту — гэта простая памылка, а значны частака скарочэння даходзіць ад стандартных компанентаў адшукаўкі, якія выкананяюць сваю звычную працу.

У паведамленні на Hacker News ёсць важлівая прытамка: ніхто не публікав інфармацыю пра тое, як працюе простая BM25, без жадной кантэкстуалізацыі, у тым жа тэсце. Без гэтага столбца немагчыма з’ясавіць, наскількі з росту да 49% зусім завяжана з кантэкстам у лексычным індэксе, а наскількі — з простым гібрыдным пошукам.

Пастка пад час цытавання цых цыфр

Кожны, хто цітуе гэтыя рэзультаты, таксама можа пацягнуцца ў пастку расчыткаў. У «кнізе прыемаў» Anthropic ёсць меньшы набор дадзеных — дзевяць кодавых базаў і 248 запытанняў, ацэненыя іншым показнікам: Pass@20 падыходзіць з 90% для базовага варыянта да 97% для выключнага рашэння. Разны корпус, разны показнік, таму сумешчанне гэтых цыфр з ранейшымі — гэта проста адхылэнне.

Гэтае зменшэнне не ўзлётнае. Яго стоімасць пад час індэксавання, але адны механізмы дапамагаюць утрымаць гэту стоімасць бліжэй да долара, чым да тыячы.

Чаму долар, а не тыяча

Разглянем простаўскі падход. Дакумент з 8 000 токенаў дзеліцца на дзесяць частак. Без жадных оптымаізацый кожны запыт перачытае весь дакумент, таму ідэнтычны тэкст обрабоўваецца дзесяць разоў, каб опісаць дзесяць разных параграфаў.

Самэ гэтае праблематычнае сцэнарые прычыніла, што гэя ідэя застаўалася нерэалізаванай гады. Людзі вважалі яе методам жорсткай сілы і ветавалі яе пад час планавання бюджэту, задоўга перш чым была вымерана яе паўза ў якасці.

Кэшаванне запытаванняў змініла расчытанні ў аднам месцы. Дакумент выдаўаецца аднойчы як фіксаваны прыфікс. Першы запыт купуе права на зберагчэнне ў кэшы за цэнай прыблізна 1,25 раза вышэй за базовую, тады як кожны наступны запыт да таго ж дакумента купуе права на чытанне з кэшу за цэнай прыблізна дзесятай часткі базовай цены.

Якшча прыміцца да стандартных размераў фрагментаў і дакументаў, кантэкстуалізацыя коштуе 1,02 долара за мільйон токенаў выхіднага тэксту. Гэтае значэнне паказваецца разам з параметрамі, тыя-то 800-токенавыя фрагменты і 8 000-токенавыя дакументы, для якіх цены рэдка бываюць відомыя. Гэта дазволяе пераскладзіць расчыткі на адповідныя местныя цыфры, замест таго каб слепа даверляць ім.

У прыкладзе з кнігай прыемаў, якая складаецца з 737 фрагментаў, майжэ 62% токенаў вхіднага тэксту было взята з кэшу. Аб’ём расчыткаў зменіўся з прыблізна 9,20 долараў на прыблізна 2,85 долараў. Лепшыя мадэлі не сталі прычыной эканоміі у два разы — прычыной было чытанне дакумента толькі адназначы.

Дэталі аранжавання, якія вяршаюць усё

Практычны рэштункі вялікаг значэння для таго, чы гэта ўсё стане рэальнасцю. Кэшаванне працуе на адпаведнасці прыфіксаў, таму ўсе часткі аднаго документа павінны быць обрабатаны адна за іншай, каб можна было знова вікорыстаць адну і тую ж кэш-энтрату. Паралелізм між документамі дазволены — адна працоўная елемент на документ — але сумешчанне частак з кількох документаў у аднай очакальнай лісты не дазволена. Тыповы просты пайплайн распадзяляе часткі між спяльным пулам задач, які часта звертаецца да кэша і таму плаціць па повным тарыфу.

У цім пункце таксама трэба паведаміць пра адзін паведамленне. Сума $1,02 адпавядае цэнам на мадэль 2024 года і не ёсць сталяй вялічынай. Наступная генерацыя той жа модэлі коштае у чатыро разы больш за вхідны даны, таму павторэнне гэтай сумы сёння без перысчытку цэнаў ёсць застарэлай інформацыяй.

Эканамічныя показнікі выглядаюць чыста прыгожа для дакументаў, якія подаюцца SEC, тое самае тыпу дакументаў, які вікорыстоўваецца як прыклад. Аднак калі хтось працаваў з самым гэтым тыпам дакументаў, ён побачыў працоўнае наследкі.

Апошні прыклад, які не пасаець сваім сабе тэстам

Хутчэй пачынаецца і частка, якую перакідаюць у большасці статыскаў.

У ілюстрацыі быў выкарыстоўваны фрагмент з дакумента SEC, але спіс перакананых домэнаў не ўключае такія дакументы. У яму пераказаны кодавыя базы, художнія творы, арXiv і научныя публікаціі, таму фінансавыя дакументы служыць толькі прыкладам наратыў, а не тэставаным корпусам.

Іншыя заполнілі гэты прызрак і аднайшлі працоўнае рашэнне. Інжынеры Snowflake (Tarakad, Yu, Samdani, Merrick, студзень 2025 г.) выкарыстоўвалі абоўша 23 000 асалідных дакументаў 10-K і 10-Q як корпус і ацэнілі свой працэс на адносна 500 ручна напісаных запыткаў.

Узбагачэнне кожнага фрагмента моцным, унікальным, напісаным модэлем падсумкам, які сама команда называла кантэкстуальным адзысквам, знізіла балы на 5,8 пунктов для аднаго модэля і на 0,4 для другога. Рэзультатам была пазорная нявыгода з значна вышэйскім расходам на вычысленні.

Калі дэшавыя метаданыя перамагаюць дорогія модэлі

Што ўзялося ўважлівей, так гэта тое, што спрацавалаў у тым жа эксперыменце. Адключэнне метаданых на рэвэле дакумента, а самэй — назвы компаніі, даты падачы і тыпу формы, падняло точнасць адказа з апошніх 50-60% да 72-75%, пры чым не было выкарыстоўвана жадная мовная модэль.

Гэты контраст падкрэпляе урок. Проблема была рэальная, адколі чанк сапраўды не знаў сваей компаніі. Аднак найдэшавейшы спосаб перамагаў найдорожэйшы, таму што назва компаніі застаецца незменнай пры всей падачы дакумента, а ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ўжо ў

Два іншыя рэзультаты зменшаюць ажыткі. Бенчмарк 2026 года, створаны на аднойчыні з T²-RAGBench і не асоціяваны з даследжэннем Snowflake, пераканалізав прымененне тэхналогій да фінансавых дакументаў з табліцамі. У ям было выявлена, што з выкарыстоўваннем інтэнсіўнага адшукування падышоў показнік recall@5 на 2,8 працэнтных пунктав, а з гібрыдным адшукуванням — на 2,2 (arXiv). Што даўсягнуты падышок ёсць рэальным і можа быць паўтараным, пры тым ён заўсёды застаецца далёкім ад 67%.

Той жа бенчмарк, які аб’ёмна пераканалізав 23 000 запыткаў у 7 318 дакументах, таксама паказвае нараджэнні, якое мусі занепакоіць тых, хто працуе з атласамі: большасць застаўшыхся адхылэнняў ёсць наследкам несувярэннасці структуры табліц. Тэкстовы прыфікс тут не можа дапамогчы, таму што ён толькі точна пазначае частку, якая застаецца непрачытаемай.

Другы пункт стосуецца вычысляльных рэсурсаў. У даследжэнні ConTEB (2025) метод у стылі Anthropic быў параболены з модэлем на аснове эмбеддынга, трэнаваным спецыяльна для гэтай мэты. Трэнаваны модэль у сярэжнай супернічэнні паказаў незначна вышыя рэзультаты у сярэжнай супернічэнні, а таксама обрабоцваў кожны документ прыблізна на сто разоў быстрэй (arXiv). Разлікі ў якасці ёсць незначныя: падход з прымэнай прыфіксаў выграў у дзеякых наборах дадзеных, такіх як корпус дакументаў страхавых компаній, але прасілкіў у іншых. Асалодай трэнаванага модэля ёст тое, што ён дазволяе зменшыць вычысляльныі расход.

Існуе таксама іншы падход. Тэхніка Late Chunking (Jina AI, сэрпэнь 2024) рашае тую ж проблему на ніжэйшым роўні: ёй выкорыстоўваецца эмбеддынгаў цэлага документа, а яго часткі дзеляцца толькі пасля працы трансфармера, без прымэны мовнага модэля. Яе структурныя слабасці заключаюцца у тым, што нічога не дадаецца да індэкса ключоўых слоў, чыяму палягае палова прынадоў, якія дае Contextual BM25.

Для большасця корпусаў падпрыемстваў гэтая асаматрыя, больш чым разлік у метрыках, верагодна, вялікія ўплыв на выбор. Гэта суджэнне, і наведаны крэйтэрый ConTEB не тэстуе яго безпаспечна, адколі BM25 не ўключаны ў складавальнія елементы, якія ён ацэнюе.

Калі прыклад, паказаны як ідэальны, апыходзіць да контрапрыкладу, падмоўным пытаннем стае тое, дзе гэты метод не ўсуне проблему, і як можна пераканацца ў якосці даных конкрэтнага корпуса за пяць хвілін.

Пяць хвілін тэставання прыцемі рошчынання

Пачніце з тэста, а не з рэалізаціі. Выберыце дзесяць адзінаковых фрагментаў з індэкса і прачытайце кожны з іх окрэма. Калі можна сказаць, пра шта кожны з іх і звядзе гэты фрагмент, значыць, ў іх ужо ёсць кантэкст, а дадаць прыметнікі толькі збільшыць колькісць токенав, але не дасты новых вястэй.

Для тэста не патрэбны коды, і ён займае пяць хвілін. Гэта таксама ўжо ўсё, што ёсць доказам, які стосуецца самэй рэальной данай массы, а не чыёй-небудзь іншай.

Чатыры задокументаваныя сітуацыі, калі гэтыя тэхнікі не дапамагаюць:

  • Корпус з колькасцю менш двухсот тысяч токэнаў. Саветы самай компаніі Anthropic для такага масштабу — падаць усю базу знанняў у запіт і зовсім не выкарыстоўваць функцыю пошуку. Кантэкстуалізацыя прызначаная для сітуацый, калі корпус не пасвячаецца ў вікно кантэксту.
  • Фрагменты, якія ужо ўсё ў сабе маюць. Пары кэпшотаў з часта задаваемымі запытамі, карточкі продуктав і ступені словніка самі вказваюць свой тэматык, таму прымэткі толькі яго павтараюць.
  • Корпус, які часта зміняецца. Кошты выклікаюцца толькі адной раз, калі дакументы стабільныя. Дакументы, якія пераглядзяюцца ўтык, платзяцца зноў кожны тыдзень.
  • Табліцы і фінансавыя звясткі. Калі проблема крыўдзіцца структурой табліцы, а не відсутнасцю назвы компаніі, фрагмент опісваецца точна, але застаецца непрачытным.

Фарматаванне пасваюць у трыя рэядкі. Маленькі, стабільны корпус падходзіць для дзейна кантэкста з кэшаваннем. Большы корпус з неяснымі фрагментамі падходзіць для кантэкстуальнага адзысквання. Короткія, самодостатнія ентры падходзяць для звычнага гібрыднага пошуку без дадзення даплытных платэжаў.

Парадак адыявання мае значэнне, і гэта тое, што часта прыводзіць да разчароўвання. Кантэкстуалізацыя падвайнае цэннасць гібрыднага пошуку, але не заменяе яго. Команда без BM25 і пераранжавання должна спачатку дадзець іх; пры ігнораванні гэтага парадку патрэбна пакупка трэцьяго рэвэру, калі першы яшчэ не ўжо ў наявнасці.

Раслічыце косцы ўжо да запуску, а не пасля яго. Формула ўжо опублікована, вялічыны фрагментаў і дакументаў вядомы, а ўсё, што застаецца невядомым, — гэта чы рэальна процэс доходзіць да кэша.

Што неабходна взяць з сабой на адзірванне дызайну

Вернімся да першыя запаведзі. Фраза «Дохады вырослі на 3%» ніколі не была некальканая. У яе не было суб’екта. Рашэннем не быў ні болей розумны мадэль, ні крашчая інтэграцыя, а толькі адны заголовак, які дадавалі раз, пад час індэксавання.

  • Як бы ні быў сільны мадэль для стварэння адказаў, фрагмент без кантэкста ўжо не паводзіцься. Прычына — індэксаванне, а не галюцынацыі.
  • Тры втручання разам даходзяць да 67% рэзультатаў, а не адна. Толькі прыфікс даходзіць да трохці болей трыдцяці пяці процэнтаў, а гібрыдны пошук з пераранжаваннем даўае рэштку.
  • Кэшаванне запытак зробіла гэты метод доступным, а не сільнейшым модэлем, і заўсёдышчае эконамія знікае без апрацоўкі кожнага дакумента окрэма.
  • Тып дакумента, які выкорыстоўваецца ў прыкладзе, мае задокументаваны прыклад працоўнай сіткі: у дакументах SEC дакументальная мета-інфармацыя па каштам даўала лепшыя рэзультаты, чым дорогі вызов модэля па кожны фрагмент.
  • Пяціхвілінныя пераконтрольванні рэальнага індэксу маюць большую цэнна, чым будзь-яя заголовочная статыя. Прочытайце дзесяць фрагментоў окрэма.

У практыцы гэта выражаецца ў трох кроках, выконваных у парадку: адбейце тэст з дзесяцьма фрагментамі, пераканайцеся, чы рэпрэзентатыўны набор дадзеных падходзіць пад адну з чатырох негатыўных сітуацый, і толькі пасля чаго вырахавайце вартасць індэксавання за выкорыстоўваннем публікаванага формулы. Толькі трэці крок вымагае бюджэту, а першыя два вярнуцься, чы варта яго запрашваць.

Есць адна проблема, якой нельга ўхіліцца. Anthropic опублікав разбір рэзультатаў у дадатку у вачыні статычнага PDF, а не як сыр’ёвы набор дадзеных, і незалежныя команды, якія прабавалі відтворыць гэтыя цыфры, адзначаюць гэта як проблему відтворнасці. Таксама мало ўпыткаў з ацэнкай на корпусах мов, не англійскіх. Даколі гэтыя прасоці не будуць усунуты, кожны паказаны тут показнік выходзіць з конкрэтнай наладкі, а не з закона фізікі, і сёньня больш за ўсё не хапае памераў працы на корпусах, не англійскіх.

Спадневана літэратура

← Усе артыкулыДаслаць брыф