Артыкулы для тых, хто
выводзіць стэк у прод
Матэрыялы пра React, Node.js, TypeScript і AI. Перакладзены тэкст паказваецца, калі ён ёсць. Калі не — вы бачыце англійскі тэкст і пазнаку пра гэта.
Тэг: Chunking
Якасць RAG у часе стварэння індэкса: тыпы фрагментаў, ўсуненне непатрэбных даных і атрыбуты для пошуку
Якасць RAG у час адзінктування: стварэнне фрагментаў тексту, табелей і зяўроў, адчысцэнне шуму падчас парсавання, а таксама дадаць атрыбуты для пошуку, напісаныя LLM, якія прыблізна паўсілі колькість неудачных пошукоў.
12 хв чытанняТры прычыны невялікай эфектыўнасці систем RAG у практычным выкарыстоўванні: фрагментаваны контэкст, змены ў структуре даных і неправільнае ўжыццё.
Тры ўзгляды, калі система RAG для вырабоцтва не функцыонуе: фрагментаваны контэкст унаследаваныя з процесу разбівання на часткі, зміны ў якасці з ростам базы знанняў, а таксама неправильнае выкарыстоўванне нават праз эфективнае аднаходжэнне інфармацыі, з можлівасцю выправлення на рэвэльнай ступені.
11 хв чытанняMultiDocFusion: Структураванне фрагментаў з урахоўваннем іерархіі для працы з дужа дзялёнымі PDF-файламі.
MultiDocFusion зберагае контекст раздзела ў кожным фрагменте дзейна PDF: выявленне макета, OCR, групаванне за допамогою дрэва заголовкаў і алгорытмаў DFS, што дае на 8-15% кращыя рэзультаты пошуку RAG.
7 хв чытанняРазмах частак і перакрыцце ў RAG: шырынь крока, ліміты токенаў і сягі
Як разбіліць дзёльную кнігу на часткі для RAG: выберыце размер і ступень перакрыцця, з’ясавайце, што такое stride, стараўсяцеся не перасіць ліміт токенав прадставлення, зберагаюце метаданы і бачыце ступень перакрыцця праз рэальны разбіў.
8 хв чытанняСтратегіі чанкінгу для практычнага викорыстання RAG: фіксованыя розмеры, семантычны падход та структура «батькі-дзеці».
Практычныя відомасці працы з RAG-чанкінгам: від розділення на фіксованыя часткі та рекурсіўнага роздзелення да структуры «батькі-дзеці», пропозыцый, пазнелегкага чанкінгу, методу RAPTOR, табелей, коду та оцэнкі эфективнасці.
22 хв чытанняРозбівання на фрагменты для бацько-дзецоў і іерархічна індексацыя для павышэння эфективнасці пошуку ў RAG.
Чаму маленькі фрагменты выграюць у матчы, але праграюць у пошуку адказу, і як методы розбівання на фрагменты для бацько-дзецоў, усунення дуплікацый і іерархічна індексацыя вярнуюць контэкст у процесе пошуку ў RAG.
10 хв чытанняЧаму RAG не функцыонуе з рэальнымі дакументамі: разбівання, гібрыдны пошук, переранкіраванне і ацэнка.
Чаму RAG не функціонуе з рэальнымі дакументамі і якія методы гэта выправляюць: дваэтапны дизайн, способы чанкавання, гібрыдны пошук, переранжаванне та оцэнка процеса пошуку сама по сабе.
7 хв чытанняRAG з LangChain з нуля: завантажычыкі, часткі, імбеддынг, ацэнка.
Параграфамі створыце систему запитоў і адпаведзей для дакументаў: завантажэнне файлоў, разбіванне на часткі, імбеддынг, этапы індексавання та пошуку, а таксама спосабы оцэнкі результатаў пошуку і адпаведзей.
8 хв чытанняРазбій на часткі: адказаныя за неправільныя адпаведзі на RAG, якія залишаюцца нез’ўважанымі.
Чаму разбій дакументаў на часткі паслабляе якосьць ўзяцтва інформаціі, як структура-оріѐентованы і батьківсько-дзецячы падходы дапамагають, і як пераканацца, чы робяць ваши часткі эфективнае.
7 хв чытання
Пра гэтыя артыкулы
Ацэнка за 24 гадзіны
Патрэбны такі стэк у аператарскім слоі? Дашліце брыф — ацэнка за 24 гадзіны.