30 пытанняў на інтэрв’ю пра RAG і вектарныя базы з кароткімі адказамі

Этыя трыццаць запытанняя часта паводзяцца пад час адзінакоўвання кандыдаў на пасады, якія стосуюцца генеравання з выкарыстоўваннем дадзеных і пошуку вектараў. Адпаведзі напісаныя так, як мог бы даць іх сільны кандыдат: краткая, з указанымі компромісамі і назвамі памероў.

Асновы

1. Што такое RAG за адну фразу?

Гэта патэрн, пры яком сістэма пад час адпаведзення на запыт прыносіць доказы з зовнішнага джэрага ведамаў і ставіць іх перад модэлем прычыму той нічога не напісае. Звычны парадок следуе: ад апрацоўкі запытання праз пошук, пераранжаванне і стварэнне кантэкста да генеравання і заканчоўнага крока верыфікацыі. Гэта дазволяе організацыі выкарыстоўваць прыватныя, актуальныя і цітаваныя матэрыялы без паўтарнага навучэння модэля. Аднак пошук не гарантуе правды, таму патрэбна перакананасць у правамоўнасці, цітаты, дазволы і якасць адпаведзі.

2. Калі RAG мае сэнс?

Ўжыце яго тады, калі адказы залежыць ад прыватных дакументаў, інфармацыі, якая часта зменяецца, большых калекцыяў, дапаможных доказаў, або правілаў доступу для кожнага карыстальніка і арэндніка. Яго зазвычай не трэба для стварэння падсумку тэксту, які ўжо падклеўў карыстальніка, для точных вылічэнняў, для змены стылю пісьма, або для жывых структураваных дадзеных, якія API аб база дадзеных можа адразу вернуць.

3. Як разлічаюцца RAG, фін-цюнінг і прымус да вікорыстання дзяўольгага кантэксту?

RAG супляўае знанні ў момент аналізу. Фін-цюнінг зменяе прынятыя модэлем прычыны поведзення. Прымус да вікорыстання дзяўольгага кантэксту дадае ў сам праграмны запіт больш тэксту-выканаю.

• Выберыце RAG для знанняў, якія зменяюцца, ёсць прыватнымі аб якія трэба цітаваць.
• Выберыце фін-цюнінг для змены поведзення, тону, фармата аб спецыялізаванага задачы.
• Выберыце прымус да вікорыстання дзяўольгага кантэксту, калі корпус падходзіць і задачэ выклікае паўтарную перапрацоўку всіх дадзеных.

Выберыце інструменты або API для рэальных транзакцыйных дадзей.

Яны добра сумішуюцца: настроены мадэль можа запрашваць дакументы правіл праз RAG і выкарыстоўваць вызов API, каб атрымаць актуальныя паказнікі рахункаў.

4. Чы рэктарная база дадзей — гэта тое ж сама, што сістэма RAG?

Ня, гэта адна з елементаў. Яна зберагае імбеддынгі, адпавядае на запытанні пра сэмантычную супарадніса, фільтруе за метададзеямі і адпавядае за падтрымку індэкса. Для функцыональной прымэтной сістэмы патрэбна ўсё большая колькасць дадзейнаў: парсінг дакументаў, ўдзеленне ў часткі, кантроль даступу, гібрыдны спосаб выкарыстоўвання дадзейнаў, пераранжаванне, складанне запытанняў, генераванне тэкста, цітаты, ацэнка, манітарынг і карыстоўвання функцыяй выдалення дадзейнаў. Калі сістэма RAG не працуе належна, прычыной часта ёсць недбалая падготовка корпуса дадзейнаў або ўжоць неадказнае ацэнкаванне, а не выбор базы дадзейнаў.

5. Якія ёсць розніцы між ўжыццём ўшчэльненых, лексычных і розрэджаных методаў выкарыстоўвання дадзейнаў?

Жыццёвае адзысканне парабелікуе інтэграменты і добра справляецца з парафразамі і панямі, але можа працяваць некорэктна з точнымі ідэнтыфікаторамі. Лексычна адзысканне, такое як BM25, оцэнюе тэрміны па ўтычнасці і рэдкасці і чырпае сілу для імен, кодаў продуктам, паведамленняў пра аберанні і жаргану. Рэдкае нейральнае адзысканне, такое як SPLADE, выучае пашырэнне тэрмінаў, захоўваючы адвёрсны індэкс. Сільная база для практычнага выкарыстоўвання зазвычай сумашчае лексычныя і жыццёвыя рэзультаты.

6. Чаму трэба застаўляць BM25 у стаке семантычнага пошуку?

Ён выступае чырпліва для точных слоў, рэдкіх тэрмінаў, акронімам, кодаў абераń, прававых цітатаў і ідэнтыфікатораў продуктам, якія інтэграменты можуць прадставляць некорэктна. Ён таксама ёсць дышэўным і прозрачным. Паколькі гэтыя два методы часта не функцыонуюць правільна для разных запыткаў, іх сумешчанне зазвычай павышае рэкал.

7. Бі-энкодэр проты крос-энкодэра?

Бі-энкодэр аддзейнае запіт і кожны дакумент окалічна, таму вектары дакументаў можна вылічыць загадзя і адшукаць сярод мільйонав запісаў. Крос-энкодэр чытае запіт і дакумент адночасна, што дазволяе болей тачна ацэніць ступень адносу, але вымагае окалічнага обработкавання кожнага кандыдата. Стандартны дызайн выкарыстоўвае бі-энкодэр для шырокага адшукавання і крос-энкодэр для падтрымкі тачнасці.

8. Косінус, скалярны добутак чы ўэвклідавае аддаленне?

Косінус паўставляе кульмінату між вектарамі, скалярны добутак узьважае аляйнаванне і велічыну, а уэвклідавае аддаленне мерыць аддаленне па прамай лініі. Калі эмбедынгі нормалізаваныя L2, косінус і скалярны добутак даюць аднаковыя рангі. Следавайце цілям адучэння модэлі эмбедынгаў і інструкцыям, якія ўказаныя ў карце модэлі, адтак як неадпаведныя метрыкі можа значна пагоршыць працэс адшукавання.

Адшукаванне і выкарыстоўванне вектараў

9. Што такое апрыксіматыўнае адшукаванне найбліжэйшых суседаў?

ANN вышукае вектары, які, як верагаецца, знаходзяцца найбліжэй да запіту, не парабяляючыся з кожным зберажаным вектарам. Гэта зменшае час адпаведзьбы і вітраты пры вялікіх масштабах, але можа прымусіць працягнуць дзеякія справжнія «суседзі», таму трэба пераканацца ў рывні відтворэння рэзультатаў па супрацоўцы з точным пошукам. Асновны компроміс — між шыроцай і швайнасцю адпаведзьбы і можлівай яго втратай.

10. Як пораўнваюцца методы Flat, HNSW, IVF і квантызацыя?

• Flat: парабяляецца з усім і дае точныя рэзультаты, але ў большых масштабах ёсць дужа вітратным.
• HNSW: вікорыстоўвае граф для шукання з высокім рывнем відтворэння рэзультатаў і нізкім часам адпаведзьбы, але для гэтага трэба дадатковая памяць.
• IVF: групавае вектары ў часткі на адпаведных центрытах і шукае толькі калькі з іх; падвышэнне значэння nprobe павышае рывень відтворэння рэзультатаў, але збільшае час адпаведзьбы.
• Продуктовая або скалярная квантызацыя: стыскае вектары, каб заўсёды была достатня памяць, але гэта паўлічвае падыходзячасць рэзультатаў.

Выберыце за счыткам розмеру корпуса, фільтраў, памяці, шаблона апдэйта, канкуранцыі і рэгулярнасці, якія вам патрэбны.

11. Што такое гібрыдны пошук і чаму яго вікорыстоўваць?

Ён спалюе ўжо ўзбуджаныя рэзультаты з лексычнымі або розрозненымі. Семантычныя падабенства прыходзяць з боку эмбедынгу, а точныя тэрміны — з боку ключоўых слоў, а спісы з’едынаюцца за дапамогою з’еднання взаімных рангаў, зважаных балав або нормалізаваных балав. Корыста ў большай меры добіваецца для корпоратыўных дадзеных, якія сумішуюць простыя понятцыі з номерамі справ, кодамі правіл, ідэнтыфікаторамі частак і паведамленнямі пра адыях.

12. Што такое з’еднання взаімных рангаў?

RRF спаўнае рангаваныя спісы, выкарыстоўваючы пазіцыі, а не чыстыя балы. Кожны дакумент для кожнага спісу атрымле значэнне 1, дзеленыя на (k плюс яго ранг), і гэтыя значэнні сумуецца. Паколькі показнікі ўжоўкнутага і лексычнага аналізу належаць да разных шкал, ўжоўванне іх безпосерэдна ёсць ненадзеяным. RRF ухіляецца ад калібравання і надае прыорытэт дакументам, якія маюць высокі ранг у калькуляціях калькулятораў пошуку.

13. Чаму практыкуваць перарангаванне?

Калькуляторы пошуку першага ўрадзяўства оптымізуюцься пад канцэпціяю швальнасці і вярнага аднаходжэння, таму ўхібныя спісы, якія яны ствараюць, маюць слабкія паспадобанні. Перарангавальнік прыменяе болей точную мадэль да мерыянтнага калекцыі дакументаў і паднімае найлепшыя паспадобанні на верх, што павышае тачнасць у кантэксце і захоўвае генератора ад нерэлевантнага тэксту. Налагодзіце колькісць кандыдатаў у залежнасці ад показніка Recall@k, часу выканання перарангавальніка, косту і эфектывасці для ключоўых тыпаў запытанняў.

14. Чаму практыкуецца максімальная маргінальная рэлевантнасць?

Пры выборы фрагментаў алгорытм MMR супершчытае значэнне рэлевантнасці з занадто вялікай колькасцю дублікатных фрагментаў: прыблізна, гэта ўзвешаная лямбда-коэффіцыентам рэлевантнасць за вырачэнне мінус дапаможнае значэння, якое вырачываецца як лямбда паўтарэння з тым, што вялікі час яўляецца частынай вялікага фрагмента. Без гэтага алгорытм можа вернуць кальколькі фрагментаў, якія ў вялікай меры супадаюць, з аднаго роздзела. Гэта павышае кантроль над рэзультатамі, калі яны ёсць паўтаральнымі, але занадта вялікая разнаўтнасць прыводзіць да таго, што ў рэзультатах будзе маło рэлевантных фрагментаў.

15. Чаму фільтры метаданых можу паградзіць якасць ANN?

Калі спачатку выконуваецца пошук за дапамою ANN, а фільтрацыя прыменяецца пасля, багато лепшых кандыдатаў можа быць адхіленах, таму што яны належаць не таму аб’екту, продукту, дыяпазону дат або версіі дакумента, і тады выходзіць менш рэзультатаў, чым было запатрэбавана. Способы рашэння гэтай проблемы включаюць інтэграваны або пазычна фільтруваны пошук, індэксы метададзей, падвыбір кандыдатаў, партыцыяванне па аб’ектах, ітэратыўны пошук і точны пошук для дужа селектыўных фільтраў. Фільтры автарызацыі павінны прыменяцца як надзеяныя абмежэнні для атрымання рэзультатаў, а не як інструкцыі, якія трэба выконаць.

Падготовка дадзэнняў

16. Як вы выбіраеце стратэгію чанкавання?

Рашыце на адпрымку, керуючыся структурой дакумента і спосабамі запыткаў ад людзей. Маленькія фрагменты дадзеяўна адпавядаюць, але вытрачаюць кантэкст, тады як большыя фрагменты зберагаюць кантэкст, але слабяць значэнні дакумента, падышоўцуюць косты і маскуюць доказы. У меню ёсць варыянты фрагментавання: на аднаковыя токены, рэкурсыўна, з урахоўваннем структуры, сэмантычна, па рэчэнню і па прынцыпу «бацька-дзеця». Пораўняйце іх па тыпах дакументаў за канкрэтнымі паказнікамі: ступенем вярнага аднаходжэння інфармацыі, тым, чы не роздваіваюць межы ідэі, наявнасцю дуплікацый, розмерам кантэксту і якасцю фінальных адказаў.

17. Што такое аднаходжэння інфармацыі па прынцыпе «бацька-дзеця»?

Маленькія фрагменты-«дзеці» індэксуюцца для дадзеяўнага адпаведання, але модэль отрымае большыя фрагменты-«бацькі» раздзелы. Калі адзін параграф правіл адпавядае, сістэма вяртае асоўнанный раздзел з яго вызначэннямі, асункціямі і умовамі. эта методыка санаважвае тачнасць і полноту, за ўмовы, што розгледжваны раздзел не перапоўнюе вікно кантэксту.

18. Чаму ёсць кантэкстуальна адзысканне і пазднее чанкаванне?

Кантэкстуальна адзысканне абгараджва кожны чанк спецыфічным для дакумента кантэкстам, такім як загалоўкі, шляхі раздэлаў аб короткія адказы, прытым як толькі ён будзе уключаны. Пазднэ чанкаванне спачатку кодуе дэльцы дакумента большага працэга, а пасля аб’еднвае прэдставленні токэнаў у эмбедынгі чанкаў, такім чынам чанкі з мяркавага аб’екта захоўваюць інфармацыю з шырэйшага тэксту. Оба падходы дапамагаюць з неодназначнымі чанкамі, але паўышаюць складнасць працэса апрацоўкі, таму іх трэба перапрацаваць у співваротнасці з простымі базовымі варыянтамі.

19. Чым складаецца надзеяны практычны пракцэс апрацоўкі?

1. Складзіце дакументы і задаце інфармацыю пра ўласніка, класыфікацыю, правыя адносы і тэрмін зберагачэння.
2. Аналізуйце тэкст, загалоўкі, табліцы, сторункі і ўзоркі макета.
3. Удаліце шумы, якія стварыў OCR, а таксама павтараючыся стандартныя фрагменты.
4. Складзіце чанкі, якія врачаюць структуру дакумента.
5. Даўжыце метаданы, інфармацыю пра паходжэнне і зв’язкі між чанкамі.
6. Ствараць ўпакоўаныя эмбеддынгі і розрэдзеныя прэдставленні.
7. Выкананне аперэйша upsert з дэтэрміністычнымі ідэнтыфікаторамі.
8. Перакананне ў правільнасці колькасці, чэксумаў, правілах доступу, процэсах выдалення і канарах для перагляду дадзеных.
9. Стварэнне версій парсера, інструмента для разбівання на часткі, модэлю эмбеддынга і процэса стварэння індэкса.

Ён таксама павінен кераваць апдэйтамі, перапрацоўкай, вярненнем да пачатковага стану і паверыльным выдаленням дадзеных.

20. Як следуе кераваць PDF-файламі з жорсткай структурой і табліцамі?

Парсаваць PDF-файлы, створаныя цэфаровым спосабам, за дапамою інструмента, які ведае лейаут, каб загалоўкі, столбцы, парадак чытання, підтэксты, табліцы і номеры сторон застаўаліся сувязанымі. Для сканаваных копій неабходны OCR-тэхналогіі з показнікамі доверлівасці, а інодзе — рамкі або зображэнні сторон. Зберагаць загалоўкі кожной табліцы, елементы вырахунку, ідэнтыфікаторы, коордынаты сторон і клетак. Для чысловых запытанняў неабходна перагляд структуры табліцы і дэтэрміністычны вырахунак рэзультата. Удосконаленне парсера часта дае большыя рэзультаты, чым замена модэлю эмбеддынга.

Развітыя шаблоны

21. Чаму існуе перапісваў запітаў, адзыскванне за дапамою калькі запітаў і HyDE?

Перапісваў запітаў памагае ператварыць нечысты або размовны запіт у такі, які лёгка адзыскваць пад час пошуку. Адзыскванне за дапамою калькі запітаў стварае калькі варыянтов запітаў і з’едынае рэзультаты, каб падняць рывень адзысквання інформацыі. HyDE пішае гіпатэтычны адпаведзь і вбудоввае яго, каб запалаваць прыему між запітам і доказамі. Усе тры методы прыносяць затрымкі, додатковыя вітраты, дуплікацыю і створэнне неправдападобных заўважэнняў, таму первісны запіт зазвычай трэба заліць у процэс.

22. Якія разлікі ў Self-RAG, CRAG, RAPTOR і GraphRAG?

• Self-RAG: модэль сама адляе, чы хацець адзыскваць інформацыю, і аналізуе тое, што адзыскала.
• CRAG: оцінюе якасць адзысквання інформацыі і спрыяе выправленням, такімі як перапісваў запітаў або змена джэрэлаў інформацыі.
• RAPTOR: групавае фрагменты інформацыі ў іерархію апуснакоў, каб адзыскванне магла вестыся на разных роўнях дэталізаціі.

GraphRAG: выкарыстоўваець энтытэты і ўзаінтэрэсаванасці між імі для стварэння графа, прызначанага для запытанняў, якія ахватваюць калькі дакументаў або весь корпус.

Іх следзе прыменяць толькі тады, калі ацэнка паказвае конкрэтныя проблемы. GraphRAG ёсць доцэльным, калі запытання, якія ахватваюць узаінтэрэсаванасці між элементамі або весь корпус, не можна надзеясніць надзеямоўна за дапамою гібрыднага спосабу пошуку і раскладкі запытання.

23. Што такое агентны RAG?

Мадэль выбірае з набору кантролюемых інструментоў для пошуку і аналізу: пошук у дакументах, чытанне конкрэтнага файла, SQL, API або граф знанняў. Для прыменення ў практыцы патрэбны інструменты з адпаведным тыпам дадзеных і правамі на выкарыстоўванне, ліміты на колькасць запытанняі і токенав, правіла зупнення і адхоўкі, автарызацыя на кожнай межы інструмента, повныя логі выканання, тэсты, якія можна пераграць, і парадзенне чалавека для рашэння значных дзеянняў. Ацэнка должна оцэніць як фінальную адпаведзь, так і парадок выбору інструментаў.

Ацэнка і дыягназ

24. Калькুলяцца які показнікі першыя?

Candidate Recall@k: частка запыткаў, для якіх неабходныя доказы ўключаныя ў отрыманы набор, вычысляецца як колькасць рэлевантных элементаў у топ-k дзеўяноста калі чыстае на ўсе рэлевантныя элементы. Калі доказы відсутныя, ні рэранкер, ні генератор не можаць іх восстановіць. Пасля таго ацэніваецца ранкінг за дапамою MRR або nDCG, а таксама точнасць, правільнасць, адданасць, якасць цітатаў, затрымкі і вартасці.

25. MRR проты nDCG?

Серэдняя взаімная ранговая вялічына дорэвнае 1 да рангу першага рэлевантнага рэзультата, таму яна падходзіць для сітуацый, калі дастатнек аднаго хорашага абзацу. nDCG оцэнюе весь ранкінг і падтрымляе градуаванне рэлевантнасці, што падходзіць для сітуацый, калі калькুляцца кілька абзацоў з розным ступенем корыстнасці. Выкорыстоўваеце MRR для карыстнасці першага рэзультата, а nDCG — калі важна парада між калькুляцца рэзультатамі.

26. Як ацэніваеце якасць адпаведзі?

Адзінакова ацэнка выкарыстання і стварэння даных. Для выкарыстання даных сачыце за показнікамі Recall@k, Precision@k, MRR або nDCG, а таксама за правільнасцю і свежасцю версій. Для стварэння даных сачыце за правільнасцю, адпаведнасцю да наяўных доказаў, полнотай, наявнасцю цітатаў, належным адхіленнем ад запіту і супакоўкай з правіламі. Таксама важлівыя ўскладненні на всіх этапах, косцы, адзінаковасць корыстувачаў і рэзультаты на высокарызыковых сегментах.

27. Што такое тэставанне у кантэксце Oracle?

Адмовіцеся ад выкарыстання даных і дайце сістэме стварэння даных вядомыя, правільныя доказы. Калі сістэма даўна адпаведна адпавядае на такія доказы, але не можа цэлком выконаць задачу, падазроўваюце проблемы з выкарыстаннем даных, фільтрацыяй, перыяркаваннем або стварэннем кантэксту. Калі сістэма все ж не можа адпавядаць, падазроўваюце проблемы з запітам, логікай, стварэннем даных аб іх перакананнем. Гэта адны з найшырэйшых спосабоў адзелення проблем з выкарыстаннем даных ад проблем сістэмы стварэння даных.

28. Як дыягнаставаць высокую адпаведнасць з нізкай правільнасцю?

«Адэкватна» адзінка означае, што адказ паспраўдзіваеся з даўжаным кантэкстам, а «некорэктная» — што кантэкст быў непূরны, несувязны, застарэлы або недастатковы. Пораўняйце, па спісу: доказы з золата проты выбраных кандыдатаў, кандыдаты проты перэрангаваных рэзультатаў, перэрангаваныя рэзультаты проты фінальнага кантэксту, фінальная генерацыя проты рэзультатаў, атрыманых праз працэю з oracle-кантэкстам, і, нарэшце, версіі ісходнага тэксту, фільтры і суперасабліваныя дакументы. Частыя прычыны — нізкая стопа вярнага адналёгання, паслабленая рангавання, застарэлыя доказы, відсутнасць асабліваў, агрэсіўнае стысненне кантэксту або некарэктны адказ-параднік.

Безпечная праца на вялікіх масштабах

29. Як забезпечыць безпеку сістэмы RAG з калькуляцыяй для кальколяў?

Атрыбуты ідэнтыфікацыі аб’ектаў і корыстнікаў трэба аднакоўваць з надзеянымі методамі автанацыі, а не з запытамі. Корыстныя меры включаюць фільтры ACL, якія застосоўваесяць базай зберагача дадзэнняў, індэксы або партыцыі, прызначаныя для аб’ектаў, кэшы, якія ведаюць пра правіла ACL, ролі служб з мінімальнымі правамі, шыфраванне і логі аўдыту, тэсты ізоляцыі між аб’ектамі, адказ на падазры на втрымкі запытаў, спісы дозволенага кантэнту з пераканальнай перапыткай, а таксама повная перапрацоўка процэсу выдалення дадзэнняў. Трэба ставіцца да зямлёвыяўленага кантэнту як да ненадзеянага, адтолькі ў дакументах можу быць зловучыя інструкцыі.

30. Як бы вы спраектавалі платформу большага масштабу?

Спачатку неабходна чыткаа візначыць колькасць дакументаў, частоту запытаў, колькісць аб’ектаў, частоту апдэйтаў, тэрміны выдалення дадзэнняў, час адказу, патрэбы ў цітатах, а таксама цілі ў сферы безпекі і якосці. Пасля чаго праект трэба разбіць на асэнблі:

• Прыём дадзэнняў: канектары, парсаванне, разбіўка на часткі, адзычэнне дадатковай інфармацыі, уключэнне дадзэнняў у іншыя структуры, стварэнне індэксаў, супрацоўка несувярэнных дадзэнняў і ўдаленне.
• Запіт: аутантыкацыя, маршрутызацыя, гібрыдны выкарыстоўванне дадзейнаў, фільтрацыя за ACL, злучэнне, пераранжаванне, складанне кантэксту, генераванне, перакананне і адхоўканне.
• Ацэнка: пазначаныя наборы дадзейнаў, эксперыменты паўнасупрацоўна, тэсты рэгрэсіі, перагляд чалавекамі і кантрольныя пункты выдання.
• Спостэрагальнасць: следы кожнага запіту, што было выкарыстоўвана, якія версіі модэля і індэкса яго обслужылі, а таксама показнікі затрымкі, выкарыстоўвання токенаў, вітрат, свежасці, якосці і безпекі.
• Контроль: прыемка корыстувачаў, налашчэнні, квоты, выданні, выбір модэля і правілы.

Для стойкасці неабяжна наявнасць дэтэрміністычных ID, індэксаў з версіямі пад аліямі, міграцый, якія працуюць з двума індэксамі адночасна, прыстроев для захоплення ад крахоў, обмежаных навантажэнняў, кэшавання, выпускаў з тэставаннем на малайкія групы, можлівасці абраткі і чыста выражаных SLO. GraphRAG або агентныя методы выкарыстоўвання даных следуець чакаць, пакуль пазначаны базовы крах не стане праблемай для ўжыцця.