Статті для тих, хто
виводить стек у прод
Матеріали про React, Node.js, TypeScript і AI. Перекладений текст показується, якщо він є. Якщо ні — ви бачите англійський текст і примітку про це.
Тег: Chunking
Якість RAG у часі індексації: типи фрагментів, очищення та мітки для пошуку
Якість RAG у час індексації: створення фрагментів тексту, таблиць та зображень, усунення шуму від парсера та додавання міток для пошуку, написаних LLM, що приблизно вдвічі зменшило кількість невдалих пошуків.
12 хв читанняТри причини невдач у продакшн-системах RAG: фрагментований контекст, зміни у даних та неправильне використання.
Три причини невдачі систем RAG у продакшені: фрагментований контекст через розділення на частини, зміна змісту з ростом бази знань та неправильне використання незважаючи на ефективне пошук, із способами виправлення на рівні шарів.
11 хв читанняMultiDocFusion: ієрархічне розділення на фрагменти для технології RAG у довгих PDF-документах.
MultiDocFusion зберігає контекст розділу в кожному фрагменті довгого PDF: виявлення макету, OCR, групування за допомогою дерева заголовків та алгоритмів DFS, що забезпечує на 8–15% краще отримання інформації за принципом RAG.
7 хв читанняРозмір частин та перекриття в RAG: крок, обмеження на токени та з’єднання
Як розділити довгу книгу на частини для RAG: вибір розміру та ступеня перекриття, розуміння параметра stride, дотримання ліміту токенів для ембеддингу, зберігання метаданих та перевірка ступеня перекриття під час реального розділення.
8 хв читанняСтратегії чанкінгу для практичного використання в RAG: фіксований розмір, семантичний підхід та структура батьків-дітей.
Практичний огляд процесу чанкінгу в RAG — від розділення фіксованого розміру та рекурсивного розділення до структури батьків-дітей, пропозицій, пізнього чанкінгу, методу RAPTOR, таблиць, коду та оцінки ефективності.
22 хв читанняРозділення на фрагменти батьківського та дочірнього типу та ієрархічне індексування для покращення пошуку в RAG.
Чому невеликі фрагменти виграють у пошуку, але програють у отриманні відповіді, та як розділення на фрагменти батьківського та дочірнього типу, усунення дублікатів та ієрархічне індексування відновлюють контекст у процесі пошуку в RAG.
10 хв читанняЧому RAG не функціонує з реальними документами: розділення на частини, гібридний пошук, переранжування та методи оцінки.
Чому RAG не функціонує з реальними документами та способи його виправлення: двофазний підхід, вибір способів розділення на частини, гібридний пошук, переранжування та оцінка процесу пошуку окремо.
7 хв читанняRAG з LangChain з нуля: завантажувачі, частини даних, ембеддинги, оцінка.
Створіть систему Q&A для документів крок за кроком: завантаження файлів, розділення на частини, ембеддинги, етапи індексування та пошуку, а також способи оцінки результатів пошуку та відповідей.
8 хв читанняЧасткове розділення: проігнороване рішення RAG, що призводить до неправильних відповідей.
Чому розділення документів негативно впливає на якість пошуку, як допомагають розуміння структури та часткове розділення на елементи типу «батько-дитина», та як перевірити ефективність цих елементів.
7 хв читання
Про ці статті
Оцінка за 24 години
Потрібен такий стек в операторському шарі? Надішліть бриф — оцінка за 24 години.