Головна / Статті

Часткове розділення: проігнороване рішення RAG, що призводить до неправильних відповідей.

Чому розділення документів негативно впливає на якість пошуку, як допомагають розуміння структури та часткове розділення на елементи типу «батько-дитина», та як перевірити ефективність цих елементів.

Видавець: REACTAPP.TOP7 хв читання1686 слів

Джерела: Chunking: The RAG Decision Everyone Skips, and Shouldn’t

Коли чат-бот типу RAG впевнено дає неправильну відповідь, зазвичай починають звинувачувати сам модель. Люди використовують більш потужну модель LLM, переробляють запит або пробують іншу модель ембеддингу. Однак часто жоден з цих кроків не торкається справжньої причини, яка полягає на ранніх етапах обробки — саме тоді, коли документ розділяється на частини. Цей етап називається чанкінгом. Він суттєво впливає на якість пошуку інформації, але його легко ігнорувати, оскільки він передує тим частинам, які люди зазвичай налаштовують.

Конкретний приклад усе пояснює. Клієнт запитує у бота підтримки, чи можна повернути гроші за пошкоджений товар. Бот відповідає, що повернення приймаються протягом 30 днів. Це здається нормальним, але у правилах також зазначено, що це правило не поширюється на товари, позначені як «остаточна продаж». Бот просто не бачив цього пункту. Вина не в моделі — речення просто опинилося в іншому чанку, ніж той, який було витягнуто.

У наступному розглядається, що таке чанкінг, чому наївна версія зазнає невдач саме таким чином та як із цим борються продакшн-системи. У матеріалі використовуються документація постачальників та документація фреймворків, причому де це можливо уникається здогадування.

Що таке чанкінг

Система ШІ, яка шукає інформацію в ваших документах, спочатку мусить розділити їх на менші одиниці. Два практичні фактори спонукають до цього.

Перший — це точність пошуку. Якщо зберігати весь документ як одну одиницю, а пошук за фразою „політика повернення грошей“ поверне весь файл, більша частина якого буде нерелевантною. Потрібен саме той уривок, який відповідає на запитання. У документації Azure AI Search від Microsoft прямо зазначається: навіть коли документ вписується у межі вхідних даних моделі, його розділення на менші частини часто дає кращі результати, оскільки один вектор не може належним чином представити багато різних підтем.

Другою проблемою є суворий ліміт обсягу вхідних даних для моделей ембеддингу. Розділення на частини запобігає тому, що контент, який перевищує цей ліміт, буде тихо вирізаний.

Потім процес виконується наступним чином: документ розділяється на частини. Кожна частина перетворюється на вектор, ембеддинг, і ці вектори зберігаються у базі даних векторів. Питання користувача також ембеддюється, і система отримує ті частини, які мають найвищий рейтинг за допомогою обраного методу пошуку: чистої схожості векторів, гібридного пошуку, який поєднує вектори з ключовими словами, або додаткового кроку переранжування.

Саме на цьому останньому етапі вибір способу розділення на частини може завдати проблем. Система може отримати лише те, що їй було надано. Якщо докази для відповіді розташовані у двох частинах, а отримана лише одна, модель відповідає на основі часткового контексту та не має можливості дізнатися, що відсутня частина існує десь ще.

Чому наївний підхід не спрацьовує

Найпростіший метод — це розділення на фрагменти фіксованого розміру. Текст ділиться кожні N токенів або символів, незалежно від того, що він містить. Він популярний тому, що є простим та передбачуваним, і вимагає дуже мало додаткової обробки.

Навіть Azure, чия документація називає розділення на фрагменти фіксованого розміру хорошою вихідною точкою, чітко зазначає, що правильний розмір та ступінь перекриття залежать від форми контенту та типу запитів, які надсилають користувачі, а також те, що дуже структуровані дані можуть потребувати іншого підходу до обробки, ніж текст у вигляді прози. Ключовий момент полягає у тому, що менший розмір фрагментів не завжди означає кращий результат. Занадто дрібне розділення може відокремити факти, які потрібно читати разом, що саме і сталось у випадку з політикою повернення грошей.

Повторіть той приклад. Припустимо, речення про 30 днів потрапляє в один блок, а виняток щодо кінцевої продажу — у наступний. Запит про повернення грошей сильно відповідає першому блоку завдяки слову „refund“. Блок із винятком ніколи не береться до уваги. Модель правильно аналізує отриману інформацію, але вона була неповною.

Ось у чому полягає основна проблема розділення на блоки: якість отриманої інформації обмежується якістю блоків, незалежно від того, наскільки потужна модель ембеддингів чи ЛЛМ, яка її використовує. Команди витрачають тижні на налаштування ембеддингів та переурочування, тоді як справжнє обмеження знаходиться на попередньому етапі — у способі розділення джерел інформації.

Що роблять продакшн-системи

Постійно зустрічаються два підходи.

Розділення на блоки з урахуванням структури

Цей підхід припиняє розглядати документ як недиференційований рядок. Замість того, щоб розрізати текст кожні N токенів, спочатку відбувається розділення за природними межами — заголовками, розділами та абзацами, а обмеження за розміром застосовується лише тоді, коли розділ стає занадто довгим. Azure AI Search пропонує цей підхід у вигляді функції Document Layout, де модель інтелекту документів визначає його структуру та формує послідовні розділи для подальшого розбиття на частини.

Як базовий показник перед додаванням можливості розпізнавання структури, поточні рекомендації Microsoft передбачають початок з приблизно 512 токенів із близько 25 відсотками перекриття, підкреслюючи при цьому, що найкращі налаштування залежать від контенту та сценарію використання.

Розбиття на частини типу „батько-дитина“

Цей підхід, також відомий як ієрархічний або пошук від дрібного до великого, розв’язує ту саму проблему з іншого боку. Замість того, щоб отримати один плоский фрагмент та сподіватися, що він містить усе необхідне, система знаходить невеликий, точний дочірній фрагмент для точного зіставлення, а потім розширює результат, включаючи більшу батьківську частину для повного контексту.

Кілька популярних інструментів реалізують його:

  • LlamaIndex створює ієрархію вузлів від грубої до деталізованої за допомогою HierarchicalNodeParser. Для векторного пошуку індексуються лише невеликі листові фрагменти, а їхні більші батьківські фрагменти зберігаються у окремому сховищі документів. Потім AutoMergingRetriever повертає батьківський фрагмент, як тільки достатня кількість його дочірніх фрагментів була отримана разом.
  • ParentDocumentRetriever від LangChain працює за тим самим принципом. Він вбудовує невеликі частини-дочки для цілеспрямованого пошуку, а під час запиту знаходить батьківський документ, з якого походить кожен результат, та повертає цей більший текст, прагнучи поєднати точне отримання інформації з достатньою довжиною тексту для збереження контексту.
  • Amazon Bedrock Knowledge Bases описує цю схему власними словами: спочатку отримуються частини-дочки, а потім вони замінюються на їхні більш широкі аналоги-батьки, оскільки невеликі ембеддинги забезпечують більшу точність, тоді як моделі все ще потрібен повний контекст.
  • Цей підхід ефективний тому, що малі та великі фрагменти мають різні переваги. Малі фрагменти забезпечують чіткі, сфокусовані ембеддинги та сприяють пошуку з високою точністю. Великі фрагменти дають моделі достатньо навколишнього тексту, щоб уникнути відповідей на основі обмеженого уривка. Розділення на батьківські та дочірні фрагменти дозволяє кожному розміру використовувати свої сильні сторони, замість того щоб змушувати один розмір виконувати як функції пошуку, так і генерації.

    Проте цей підхід не є універсальним. Для корпусів, складених з вже самодостатніх одиниць, таких як записи у FAQ чи списки продуктів, або для суто табличних даних, керованих схемою, крок розширення батьківських фрагментів зазвичай призводить до додаткових витрат без відповідної користі.

    Немає єдиного оптимального налаштування

    Жодний розмір чи стратегія фрагментації не є ідеальним у всіх випадках. Вибір залежить від того, як організовані ваші документи, які запитання ставлять користувачі, від налаштувань пошуку та переранжування, а також від способу оцінки всієї системи.

    Семантичне чанкінг, яке групує текст за значенням, а не за структурою чи розміром, часто вважається більш просунутою методикою. AWS описує його як стратегію, яка підтримується, поруч із чанкінгом фіксованого розміру та ієрархічним чанкінгом, проте він потребує додаткових параметрів та передбачає певні компроміси, тому варто протестувати його на власних документах та запитах, а не припускати, що він завжди є кращим варіантом. Більш складна стратегія буде корисною лише тоді, коли вона допоможе вирішити конкретну проблему, яка у вас існує.

    Перевірка ефективності чанкінгу

    Вибір стратегії — це не одноразове рішення. Це те, що потрібно постійно вимірювати та переглядати. Після запуску системи варто стежити за трьома показниками.

    • Рівень відтворення інформації. Візьміть будь-яке запитання: чи містить набір отриманих чанків необхідні докази для правильної відповіді? Якщо ні, жодні подальші дії не допоможуть отримати правильну відповідь.
  • Точність контексту. Серед отриманих фрагментів, наскільки велика їхня справжня релевантність? Низька точність зазвичай означає, що фрагменти занадто великі або мають занадто розпливчасті межі, через що до них включається несумісний текст.
  • Якість відповіді від початку до кінця. Чи використав модель належним чином правильний фрагмент? Це дозволяє виявити проблеми під час генерації, а не під час пошуку, і розрізнення цього показника від двох інших допомагає зрозуміти, чи погана відповідь походить від розділення на фрагменти, пошуку чи генерації.
  • Відстеження цих трьох аспектів окремо, замість простого запитання про те, чи здається кінцева відповідь правильною, перетворює процес розділення на фрагменти з припущень на щось, над чим можна працювати шляхом ітерацій.

    Простий спосіб для початку

    Дешевий перший експеримент допомагає. Зберіть двадцять чи тридцять реальних запитань разом із уривками тексту, які мають на них відповідати. Пропустіть цей набір через дві чи три конфігурації розділення на частини, такі як фіксований розмір з перекриттям, розділення з урахуванням структури та розширення типу «батьківський-дочірній». Для кожної з них підрахуйте, як часто необхідні докази з’являються у отриманому наборі. Конфігурація, яка найкраще підходить для ваших власних документів, має більшу цінність, ніж будь-яка загальна рекомендація.

    Що слід пам’ятати

    Розділення на частини — це не крок попередньої обробки, який можна налаштувати один раз та забути про нього. Це перше рішення системи щодо пошуку інформації, і все, що відбувається далі — від використання ембеддингів до переранжування та генерації тексту — залежить від помилок, допущених на цьому етапі.

    Сильна модель ембеддингів не може виправити документ, який погано розділено на частини. Якщо відповіді від системи RAG здаються випадковими, неповними чи явно неправильними, перевірте частини тексту перед тим, як працювати з моделлю.

    Джерела

    Вищенаведені деталі походять з публічної документації Microsoft Azure AI Search, включаючи інструкції щодо розділення документів на частини та щодо функції Document Layout, з репозиторію Azure-Samples щодо проектування та оцінки рішень типу RAG, з сторінок LlamaIndex про автоматичне об’єднання засобів пошуку та парсерів вузлів, з довідника LangChain щодо ParentDocumentRetriever та зі сторінки Amazon Bedrock про те, як відбувається розділення контенту на частини для баз знань. Налаштування змінюються між версіями, тому перевіряйте їх у актуальній документації.