Статьи для тех, кто
выводит стек в прод
Материалы о React, Node.js, TypeScript и AI. Переведённый текст показывается, если он есть. Если нет — вы видите английский текст и пометку об этом.
Тег: Chunking
Качество RAG во время индексации: типы фрагментов, очистка данных и метки для поиска
Качество RAG во время индексации: создание фрагментов текста, таблиц и изображений, устранение шума от парсера и добавление меток поиска, написанных с помощью LLM, что примерно вдвое сократило количество неудачных поисков.
12 мин чтенияТри причины сбоев в производственных системах RAG: фрагментированный контекст, дрейф и неправильное использование.
Три причины неудач работы систем RAG в производственных условиях: фрагментированный контекст из-за разбиения на чанки, ухудшение качества по мере расширения базы знаний и неправильное использование системы несмотря на эффективный поиск информации, а также способы устранения этих проблем на уровне слоев.
11 мин чтенияMultiDocFusion: метод иерархической сегментации для работы RAG с длинными PDF-документами.
MultiDocFusion сохраняет контекст разделов в каждом фрагменте длинного PDF: обнаружение макета, OCR, использование дерева заголовков и группировка с помощью LLM и DFS, что обеспечивает на 8–15% лучшую работу поиска RAG.
7 мин чтенияРазмер блоков и перекрытие в RAG: шаг, лимиты токенов и границы
Как разбить длинную книгу на части для RAG: выбор размера и степени перекрытия, понимание параметра stride, соблюдение лимита токенов для эмбеддингов, хранение метаданных и проверка степени перекрытия при реальном разделении.
8 мин чтенияСтратегии разбиения данных для практического использования в RAG: фиксированный размер, семантическое разбиение и структура «родитель-дочерний».
Практический обзор процесса разбиения данных в RAG: от фиксированного размера и рекурсивного разделения до структуры «родитель-дочерний», предложений, позднего разбиения, метода RAPTOR, таблиц, кода и тестирования производительности.
22 мин чтенияРазбиение на фрагменты родитель-дочерний и иерархическое индексирование для улучшения поиска в RAG
Почему небольшие фрагменты побеждают в поиске, но теряют ответ, и как методы разбиения на фрагменты родитель-дочерний, удаление дубликатов и иерархическое индексирование восстанавливают контекст при поиске в RAG.
10 мин чтенияПочему RAG терпит неудачу с реальными документами: разбиение на чанки, гибридный поиск, переранжирование и методы оценки.
Почему RAG терпит неудачу с реальными документами и способы это исправить: двухэтапная архитектура, выбор способов разбиения на части, гибридный поиск, переранжирование и оценка процесса поиска в отдельности.
7 мин чтенияRAG с LangChain с нуля: загрузчики, части документов, эмбеддинги, оценка
Постройте систему вопросов и ответов для документов пошагово: загрузка файлов, разбиение на части, эмбеддинги, этапы индексации и поиска, а также способы оценки качества найденных ответов.
8 мин чтенияРазбиение на чанки: упускаемый фактор RAG, приводящий к неверным ответам.
Почему разделение документов негативно влияет на качество поиска, как помогают учет структуры и разбиение на чанки типа «родитель-дочерний», и как оценить эффективность ваших чанков.
7 мин чтения
О этих статьях
Оценка за 24 часа
Нужен такой же стек в операторском слое? Пришлите бриф — оценка за 24 часа.