Отримання інформації з технічного вікі: BM25, щільні вікна без ризику для токенів та RRF.
Отримання інформації з оцінкою на першому місці для технічного вікі: цілі точних доказів, базовий підхід BM25, помилка обрізання у MiniLM, вікна токенів та результати фузії взаємного рангування.
Джерела: Building RAG from the Corpus Up, Not the Model Down
Одна ідея керує всім на етапі пошуку в цьому проекті RAG, орієнтованому на оцінку, який працює з великою інженерною вікі:
Те, що знаходить відповідність, та те, що повертається, не обов’язково мають бути одним і тим самим.
Розділення на частини вже дало можливість створити невеликі, обмежені записи пошуку, при цьому кожна оригінальна батьківська частина залишилася недоторканою. Це піднімає практичні запитання: чи має пошук ґрунтуватися на ключових словах чи на ембеддингах? Чи має знайдена дочірня частина безпосередньо надходити до мовної моделі? Скільки результатів слід повертати? І як можна порівняти ці варіанти, не спираючись на кілька запитів, які випадково здаються переконливими?
Вікі є приватною, тому приклади тут синтетичні, а деталі корпусу обмежені. Вибори щодо реалізації та отримані результати є реальними. Мітки релевантності все ще залишаються експериментальними та не слід сприймати їх як остаточну інформацію для практичного використання.
Спочатку йде контракт доказів
Не кожен запис пошуку вважається авторитетним доказом. Звичайний фрагмент заголовка може виступати як одиниця зіставлення, так і одиницею, яка повертається. Рекурсивна дочірня структура, фрагмент JSON чи вікно коду — це щось інше. Вони існують для того, щоб пошук міг знайти більшу структуру, і не повинні замінювати її.
Тож кожен запис пошуку відповідає певній меті отримання даних:
ordinary chunk -> exact chunk
recursive child -> exact parent chunk
JSON locator -> exact source document
code locator -> exact source document
Це відповідність обчислюється перед остаточним ранжуванням. Коли два перекриваючіся дочірні елементи одного батька обидва відповідають критеріям, вони об’єднуються в одну ціль, тож два результати ніколи не використовуються для фрагментів, які посилаються на одні й ті самі докази.
Процес гідратації відбувається після ранжування. Механізм пошуку бере ідентифікатор цілі та завантажує оригінальний блок батьківського елемента або вихідний документ, зберігаючи його вміст, шлях походження, діапазон рядків та хеш. Малий дочірній елемент залишається як частина ланцюга зіставлень, але не пропонується як повний контекст відповіді. Коротко: пошук через оптимізовані локатори, ранжування унікальних цілей, повернення авторитетних доказів.
Початок з лексичної основи
Інтенсивний пошук часто вважається стандартом для технологій типу RAG, проте технічні вікі сповнені термінами, з якими лексичний пошук справляється без проблем — такими як назви API, ключі конфігурації, шляхи, коди помилок, команди оболонки, абревіатури та назви сервісів.
BM25 використовується насамперед тому, що він швидкий, зрозумілий у роботі та важко перевершити щодо точних ідентифікаторів. Токенайзер зберігає такі терміни, як api/v2, config.yaml та error-code, цілими, не видаляючи саме ті символи, які роблять їх унікальними. Кожен запис індексується разом із певним навколишнім контекстом:
document title
heading path
exact record content
Назва та шлях заголовка мають значення, оскільки короткий фрагмент сам по собі може бути неоднозначним. Така фраза, як „Перезапустіть працівника“, набуває більшого змісту, коли індекс також враховує розділ „Операції > Усунення несправностей > Відновлення“. Цей контекст використовується лише для пошуку відповідностей та ніколи не включається до офіційного контенту джерела.
BM25 надав міцну, зрозумілу основу та виявив певну властивість набору даних для оцінки. Запитання, сформульовані на основі джерельних документів, часто використовують їхню власну лексику, що сприяє лексичному пошуку. Тож перемога BM25 у цьому наборі даних не може вважатися гарантією успіху при обробці майбутніх запитів користувачів.
Інтенсивний пошук та „тихий“ баг обрізання
Для щільної бази даних використовувався sentence-transformers/all-MiniLM-L6-v2, який генерує нормалізовані ембеддинги розміром 384 виміри, тому косинусова схожість зводиться до дотичного добутку. У першій версії кожен запис пошуку ембедджувався як окремий рядок. Метод чанкінгу вже передбачав обмеження кількості слів, що здавалося безпечним.
Це не було так. Обмеження за чанками рахувалися приблизною кількістю слів, тоді як MiniLM приймає максимум 256 токенів моделі. У шляхах, маркуванні, JSON та ідентифікаторах немає стабільного співвідношення слів до токенів, тому запис, що вписується у ліміт чанкінгу, все одно може переповнити модель. Sentence Transformers обрізав такі записи без попередження. Текст ближче до кінця довгого запису ніколи не потрапляв до кодеру. Джерело існувало та чанк був індексований, проте запит міг залишитися без відповіді, оскільки відповідне речення було обрізано ще до кодування.
Урок: ліміт на частини тексту не є лімітом на вбудовування даних, якщо обидва показники не вимірюються за допомогою токенайзера обраної моделі.
Вікна, безпечні для токенів
Виправлений щільний індекс безпосередньо викликає токенайзер моделі. Для кожної запису частина бюджету на токени, обмежена певною кількістю, використовується для назви документа та шляху до заголовка, а решта призначена для змісту. Довгий зміст перетворюється на перекриваючіся вікна токенів із надлишком у 32 токени. Після формування кінцевого тексту його знову токенізують, щоб переконатися, що він поміщається у межі 256 токенів.
search record
-> contextual prefix
-> tokenizer-aware content windows
-> normalized embedding per window
-> collapse matching windows to one retrieval target
Під час повного експерименту було створено приблизно вдвічі більше щільних вікон, ніж записів пошуку вихідних даних. Це є очікуваним. Вікна розширюють обсяг збігу, але не додають нових доказів для отримання результату, оскільки кілька вікон все одно посилаються на той самий батьківський фрагмент чи вихідний документ.
Тут легко сплутати три поняття:
- Вихідний елемент: оригінальний документ або точний батьківський фрагмент.
- Елемент пошуку: дочірній елемент, який враховує структуру, або звичайний фрагмент.
- Елемент вбудовування: вікно тексту пошуку, розмір якого підлаштований під токенайзер.
Лише перший елемент вважається доказом. Елементи пошуку та вбудовування лише вказують на нього.
Оцінка за межами фрази „це виглядає добре“
Було створено двадцять запитань, сформованих на основі вихідного тексту, щоб охопити процедурні, концептуальні, схеми з великою кількістю ідентифікаторів та міжсекційні закономірності. Кожне з них містить один або кілька відповідних ID цілей пошуку. Позначки навмисно встановлені як потребуючі перевірки. Запитання, сформовані на основі вихідного тексту, добре працюють у цьому процесі, але існують два їхніх недоліки. Формулювання, що наслідують стиль вихідного тексту, сприяють використанню алгоритму BM25, а перші позначки можуть проігнорувати інші уривки, які також можуть належним чином відповісти на запитання. Тому ці оцінки є порівняльними даними для цього набору даних, а не стандартом для практичного використання.
Критерієм оцінки було п’ять отриманих уривків із трьома показниками:
- MRR@5 показує, на якій ранній стадії з’являється перша відповідна ціль.
- Recall@5 показує, яка частина відомих відповідних даних потрапляє до перших п’яти результатів.
Перше порівняння дало такі результати:
- Contextual BM25: MRR@5 0.4875, Recall@5 0.5583, nDCG@5 0.4533.
- Windowed MiniLM: MRR@5 0.1392, Recall@5 0.2500, nDCG@5 0.1593.
- Гібридний метод із фузією за принципом взаємного рангування: MRR@5 0.5308, Recall@5 0.7583, nDCG@5 0.5480.
У цьому наборі даних BM25 значно перевершив метод щільного пошуку. Однак це не робить ембеддинги марними. Обидва методи пошуку давали невдачі по-різному, що створило можливості для їх фузії.
Гібридний пошук без гібридного індексу
Індекси BM25 та щільного пошуку залишаються окремими, а їхні ранговані результати об’єднуються за допомогою фузії за принципом взаємного рангування. Для певної мети d зведений бал — це сума, взята за всі методи пошуку, з значення 1 поділеного на (k плюс ранг цього методу для d), причому у цьому експерименті k дорівнює 60.
Кожен пошуковик надає свої 10 найкращих унікальних об’єктів, а механізм фузії об’єднує їхні рейтинги, після чого повертаються п’ять найкращих результатів. Оцінки лексичного та щільного аналізу ніколи не потребують взаємної калібрування, оскільки механізм фузії враховує позиції в рейтингу, а не сами значення оцінок.
Показник Recall@5 підвищився з 0,5583 при використанні лише BM25 до 0,7583, також покращилися показники первинного пошуку та nDCG. На цій дослідницькій вибірці взаємодоповнюючі результати щільного пошуку допомогли, навіть попри те, що сам по собі щільний пошук був слабким.
Реалізація передбачає використання координуючого пошуковика, а не третього фізичного індексу:
query
-> BM25 top 10 targets
-> dense top 10 targets
-> target-level RRF
-> top 5 targets
-> exact parent/source hydration
Він також фіксує ранг кожного пошуковика та відповідний локатор. Завдяки цьому кожен результат можна пояснити — вказується, чи знайшов його BM25, метод щільного пошуку чи обидва, а також який піддокумент чи вікно ембеддингу призвели до авторитетної мети.
Різноманітність, яка завдала шкоди
Хібридний формат виводу іноді містив кілька уривків з одного документа, що виглядало зайвим. Було спробовано використати селектор максимальної кількості уривків на документ. Вивід став більш різноманітним, але якість пошуку погіршилась. У процедурній чи глибоко структурованій документації можуть знадобитися усі розділи однієї сторінки. Різноманітність документів впливала лише на візуальні уподобання, а не як сигнал релевантності. Цей селектор залишається доступним для подальших експериментів, але за замовчуванням вимкнений.
Важливо пам’ятати: повторювані документи не є повторюваними доказами. Об’єднання дочірніх елементів, які вказують на одну й ту саму мету, є правильним. Видалення окремих релевантних частин лише через те, що вони знаходяться у одному документі, — це окреме рішення, яке потребує доказів, специфічних для конкретного завдання.
Гарантії кінцевого шляху
- BM25 та щільні індекси охоплюють однакові записи контекстного пошуку.
- Щільні записи обробляються з урахуванням реального ліміту токенів моделі.
- Збіги дочірніх елементів та окон об’єднуються у єдині цілі пошуку.
- Процес фузії поєднує десять кандидатів від кожного з пошукових інструментів без корекції оцінок.
- Повертаються п’ять точних батьківських фрагментів або вихідних документів.
- Оригінальний контент та хеші залишаються авторитетними даними.
- Рейтинги кожного пошукового інструменту та ланцюжок збігів залишаються доступними для перевірки.
- Різноманітність документів враховується лише тоді, коли докази свідчать про її користь.
Retriever є навмисно простим інструментом. Він координує наявні індекси, процеси фузії та гідратації, не приховуючи поведінку за абстракціями фреймворку та не додаючи нових сховищ даних.
Що ще бракує
Зараз система може прийняти запит та повернути п’ять відсортованих уривків з точними доказами, вказавши джерело кожного з них, а також порівняти варіанти пошуку за допомогою відтворюваних метрик. Проте це все ще не повноцінна система RAG. Наступний етап має вирішити, як об’єднувати уривки в контекст моделі, які посилання є необхідними, як поводитися з суперечливими чи недостатніми доказами та коли системі слід утриматися від відповіді. Метрики пошуку також потребують зв’язку з рівнем достовірності відповідей та правильністю посилань, щоб генеровані відповіді чітко розрізняли те, що зазначено у вікі, та те, що модель просто знає.