Артыкулы для тых, хто
выводзіць стэк у прод
Матэрыялы пра React, Node.js, TypeScript і AI. Перакладзены тэкст паказваецца, калі ён ёсць. Калі не — вы бачыце англійскі тэкст і пазнаку пра гэта.
Тэг: chunking
Якасць RAG на этапе індэксацыі: тыпы фрагментаў, ачыстка і пошукавыя меткі
Якасць RAG закладваецца пры індэксацыі: тэкставыя, таблічныя і выявачныя фрагменты, ачыстка ад шуму парсера і пошукавыя меткі ад LLM, якія амаль удвая скарацілі няўдалыя пошукі.
12 хв чытанняТры спосабы, якімі ламаецца RAG у прадакшне: разарваны кантэкст, дрэйф і памылковае выкарыстанне
Тры збоі RAG у прадакшне: разарваны праз разбіўку кантэкст, дрэйф па меры росту базы ведаў і памылковае выкарыстанне нават пры добрым пошуку — з выпраўленнямі на кожным узроўні.
11 хв чытанняMultiDocFusion: разбіўка доўгіх PDF з улікам іерархіі для RAG
MultiDocFusion захоўвае кантэкст раздзела ў кожным фрагменце доўгага PDF: распазнаванне макета, OCR, LLM для дрэва загалоўкаў і групоўка DFS — пошук у RAG лепшы на 8–15%.
7 хв чытанняРазмах частак і перакрыцце ў RAG: шырынь крока, ліміты токенаў і сягі
Як разбіліць дзёльную кнігу на часткі для RAG: выберыце размер і ступень перакрыцця, з’ясавайце, што такое stride, стараўсяцеся не перасіць ліміт токенав прадставлення, зберагаюце метаданы і бачыце ступень перакрыцця праз рэальны разбіў.
8 хв чытанняСтратэгіі разбіўкі для прадакшн-RAG: фіксаваны памер, семантычная і parent-child
Практычны агляд разбіўкі ў RAG: ад фіксаванага памеру і рэкурсіўнага падзелу да parent-child, прапазіцый, late chunking, RAPTOR, табліц, кода і бенчмаркаў.
22 хв чытанняРазбіўка parent-child і іерархічная індэксацыя для лепшага пошуку ў RAG
Чаму малыя фрагменты выйграюць супадзенне, але губляюць адказ, і як разбіўка parent-child, пашырэнне з дэдуплікацыяй і іерархічная індэксацыя вяртаюць кантэкст у пошук RAG.
10 хв чытанняЧаму RAG ламаецца на рэальных дакументах: разбіўка, гібрыдны пошук, пераранжаванне і ацэнкі
Чаму RAG ламаецца на рэальных дакументах і якія патэрны гэта выпраўляюць: двухфазны дызайн, выбар разбіўкі, гібрыдны пошук, пераранжаванне і асобная ацэнка пошуку.
7 хв чытанняRAG на LangChain з нуля: загрузчыкі, фрагменты, эмбедынгі і ацэнка
Пакрокава будуем сістэму пытанняў і адказаў па дакументах: загрузка файлаў, разбіўка, эмбедынгі, фазы індэксацыі і пошуку і як ацэньваць пошук і адказы.
8 хв чытанняРазбіўка: недаацэненае рашэнне RAG за памылковымі адказамі
Чаму дрэнная разбіўка дакументаў абмяжоўвае якасць пошуку, як дапамагаюць разбіўка з улікам структуры і parent-child і як вымераць, ці працуюць вашы фрагменты.
7 хв чытання
Пра гэтыя артыкулы
Ацэнка за 24 гадзіны
Патрэбны такі стэк у аператарскім слоі? Дашліце брыф — ацэнка за 24 гадзіны.