30 вопросов к интервью по теме RAG и векторных баз данных с краткими ответами.

Эти тридцать вопросов часто возникают во время собеседований с кандидатами на должности, связанные с генерацией с использованием внешних данных и векторным поиском. Ответы даны в том виде, в котором мог бы их дать сильный кандидат: кратко, с указанием компромиссов и названием показателей оценки.

Основы

1. Что такое RAG одним предложением?

Это подход, при котором система в момент задания вопроса запрашивает доказательства из внешнего источника знаний и предоставляет их модели до того, как та начнёт что-либо генерировать. Обычный процесс включает обработку запроса, поиск информации, переориентацию рейтингов, формирование контекста, генерацию ответа и заключительную проверку. Это позволяет организации использовать приватные, актуальные и цитируемые материалы без необходимости переобучения модели. Однако поиск информации не гарантирует её достоверности, поэтому всё равно необходимо проверять основания для ответа, цитаты, разрешения и качество ответа.

2. Когда имеет смысл использовать RAG?

Используйте этот метод, когда ответы зависят от конфиденциальных документов, часто меняющейся информации, больших коллекций, отслеживаемых доказательств или правил доступа для отдельных пользователей и арендаторов. Обычно он не нужен для краткого изложения текста, который пользователь уже вставил, для точных расчетов, для изменения стиля написания или для структурированных данных в реальном времени, которые могут быть напрямую возвращены API или базой данных.

3. В чем разница между RAG, тонкой настройкой и подсказками с длинным контекстом?

RAG предоставляет знания в момент вывода результата. Тонкая настройка изменяет поведение модели, выученное в процессе обучения. Подсказки с длинным контекстом включают в сам запрос больше исходного текста.

• Выбирайте RAG для информации, которая меняется, является конфиденциальной или должна цитироваться.
• Выбирайте тонкую настройку для изменения поведения, тона, формата или выполнения специализированных задач.
• Выбирайте подсказки с длинным контекстом, когда корпус данных подходит и задача требует сравнения всех его элементов.

Выберите инструменты или API для получения актуальных транзакционных данных.

Они хорошо сочетаются: отрегулированная модель может загружать документы политик через RAG и получать актуальные показатели счетов с помощью запроса к API.

4. Является ли векторная база данных тем же, что и система RAG?

Нет, это отдельный составной элемент. Она хранит эмбеддинги, отвечает на запросы о сходстве, фильтрует по метаданным и занимается обслуживанием индекса. Для работы в производстве требуется гораздо больше компонентов: парсинг документов, их разбиение на части, контроль доступа, гибкий поиск, переранжирование результатов, формирование промптов, генерация текста, цитирование, оценка качества, мониторинг и обработка удаления данных. Когда система RAG не справляется со своей задачей, причиной чаще всего бывает некачественная подготовка корпуса данных или отсутствие оценки, а не выбор базы данных.

5. В чем разница между плотным, лексикальным и разреженным поиском?

Плотный поиск сравнивает эмбеддинги и хорошо справляется с парафразами и концепциями, но может упускать точные идентификаторы. Лексический поиск, такой как BM25, оценивает термины по частоте и редкости, что делает его эффективным для имён, кодов продуктов, сообщений об ошибках и жаргонизмов. Редкий нейронный поиск, такой как SPLADE, обучается расширению терминов при сохранении обратного индекса. Надёжная базовая модель для производства обычно сочетает результаты лексического и плотного поиска.

6. Зачем сохранять BM25 в стеке семантического поиска?

Он отлично справляется с точными словами, редкими терминами, аббревиатурами, кодами ошибок, юридическими цитатами и идентификаторами продуктов, которые могут плохо представляться с помощью эмбеддингов. Кроме того, он дешёв и прозрачен. Поскольку эти два метода склонны давать ошибки при обработке разных запросов, их сочетание обычно повышает точность восстановления информации.

7. Би-энкодер против кросс-энкодера?

Би-кодер встраивает запрос и каждый документ отдельно, что позволяет заранее вычислить векторы документов и искать среди миллионов записей. Кросс-кодер считывает запрос и документ вместе, что обеспечивает более точную оценку релевантности, но требует отдельной обработки для каждого кандидата. Стандартная схема использует би-кодер для получения широкого охвата результатов и кросс-кодер для улучшения точности ранжирования.

8. Косинус, скалярное произведение или евклидова расстояние?

Косинус сравнивает угол между векторами, скалярное произведение учитывает совпадение направлений и величину, а евклидово расстояние измеряет расстояние по прямой. При L2-нормализации векторов косинус и скалярное произведение дают одинаковое ранжирование. Следуйте целям обучения модели встраивания и информации из её описания, поскольку несоответствующая метрика может существенно ухудшить процесс поиска.

Векторный поиск и извлечение информации

9. Что такое приближенный поиск ближайших соседей?

ANN находит векторы, наиболее близкие к запросу, не сравнивая их со всеми сохранёнными векторами. Это снижает задержку и затраты при больших объёмах данных, но может привести к упущению некоторых настоящих соседних векторов, поэтому необходимо оценивать показатель воспроизводимости по сравнению с точным поиском. Основной компромисс заключается в балансе между скоростью и затратами с одной стороны и возможной потерей воспроизводимости — с другой.

10. Как сравниваются методы flat, HNSW, IVF и квантизация?

• Flat: сравнивает все векторы и обеспечивает точный результат, но требует больших затрат при больших объёмах данных.
• HNSW: использует навигируемую графовую структуру для достижения высокой воспроизводимости и низкой задержки, но при этом требует дополнительной памяти.
• IVF: группирует векторы в подмножества по центроидам и ищет только некоторые из них; увеличение значения nprobe улучшает воспроизводимость, но увеличивает задержку.
• Продуктовая или скалярная квантизация: сжимает векторы для экономии памяти и места хранения, но это сопряжено с снижением точности.

Выбирайте в зависимости от размера корпуса, фильтров, объема памяти, режима обновления, уровня одновременной обработки и необходимой точности результатов.

11. Что такое гибридный поиск и зачем им пользоваться?

Он сочетает плотные результаты с лексическими или разреженными. Семантические совпадения получаются на основе вложений, а точные термины — на основе ключевых слов; списки объединяются с помощью слияния взаимных рангов, взвешенных оценок или нормализованных оценок. Этот подход наиболее эффективен для корпоративных данных, в которых смешиваются обычные языковые понятия с номерами дел, кодами политик, идентификаторами деталей и сообщениями об ошибках.

12. Что такое слияние взаимных рангов?

RRF объединяет ранжированные списки, используя позиции, а не сырые оценки. Каждый документ получает для каждого списка значение 1, деленное на (k плюс его ранг), после чего эти значения суммируются. Поскольку плотные и лексикальные оценки имеют разные масштабы, их прямое сложение ненадежно. RRF избегает необходимости калибровки и стимулирует документы, занимающие высокие позиции в нескольких поисковых алгоритмах.

13. Зачем проводить повторное ранжирование?

Алгоритмы первого уровня оптимизированы под скорость и полноту восстановления, поэтому их списки кандидатов содержат слабые совпадения. Повторный ранжировщик применяет более точную модель к ограниченному набору документов и выдвигает наиболее подходящие варианты на верхнюю позицию, что повышает точность контекста и позволяет избежать использования нерелевантного текста. Необходимо настроить количество кандидатов с учетом показателя Recall@k, времени работы повторного ранжировщика, затрат и производительности для ключевых типов запросов.

14. Что делает метод максимальной маржинальной релевантности?

При выборе фрагментов алгоритм MMR идет на компромисс между релевантностью и избыточностью: приблизительно это сумма взвешенной по параметру лямбда релевантности за вычетом дополнения к значению лямбда, умноженному на степень сходства с уже выбранным фрагментом. Без этого механизма система может вернуть несколько почти идентичных фрагментов из одного раздела. Это улучшает охват в случае повторяющихся результатов, но чрезмерное разнообразие приводит к включению менее релевантных фрагментов.

15. Почему фильтры метаданных могут снизить качество ANN?

Если сначала выполняется поиск с использованием ANN, а фильтрация применяется позже, многие из лучших кандидатов могут быть отклонены из-за того, что они относятся к неверному арендатору, продукту, диапазону дат или версии документа, в результате чего получается меньше результатов, чем требуется. Способы решения проблемы включают интегрированный или предварительно отфильтрованный поиск, индексы метаданных, увеличение количества кандидатов, разделение на группы по арендаторам, итеративный поиск и точный поиск для очень строгих фильтров. Фильтры авторизации должны применяться как надежные ограничения поиска, а не оставаться простыми инструкциями.

Подготовка данных

16. Как выбрать стратегию разбиения на части?

Решение принимается путем экспериментов с учетом структуры документа и способов его поиска. Маленькие фрагменты обеспечивают точное совпадение, но теряют контекст, в то время как большие фрагменты сохраняют контекст, но ослабляют эмбеддинги, увеличивают затраты и маскируют важные детали. В меню представлены методы разбиения на фрагменты: с фиксированным количеством токенов, рекурсивный, с учетом структуры, семантический, на основе предложений и родительско-дочерний. Сравните их для разных типов документов с точки зрения восстановления информации, того, не разрезают ли границы идеи пополам, наличия дубликатов, размера контекста и качества итоговых ответов.

17. Что такое поиск родительско-дочерними фрагментами?

Маленькие дочерние фрагменты индексируются для точного совпадения, но модель получает более крупный родительский фрагмент. Если совпадает один абзац документа, система возвращает сопутствующий фрагмент вместе с его определениями, исключениями и условиями. Это обеспечивает баланс между точностью и полнотой, при условии ограничения объема расширения, чтобы оно не переполняло окно контекста.

18. Что такое контекстуальный поиск и позднее разбиение на фрагменты?

Контекстуальный поиск обогащает каждый фрагмент контекстом, специфичным для документа, таким как заголовок, путь к разделу или краткое описание, перед его включением в модель. Позднее разбиение на фрагменты сначала кодирует более длинные участки документа, а затем объединяет представления токенов в эмбеддинги фрагментов, благодаря чему локальные фрагменты сохраняют информацию из более обширного текста. Оба метода помогают справляться с неоднозначными фрагментами, но увеличивают сложность обработки, поэтому их следует проверять на простых базовых вариантах.

19. Что включает в себя надежная система обработки данных?

1. Сбор документов с указанием владельца, классификации, прав доступа и сроков хранения.
2. Распарсинг текста, заголовков, таблиц, страниц и их макета.
3. Удаление шума, возникающего при OCR, и повторяющихся стандартных элементов.
4. Разделение документа на фрагменты с учетом его структуры.
5. Добавление метаданных, информации о происхождении и связей между элементами.
6. Генерация плотных эмбеддингов и разреженных представлений.
7. Вставка или замена записей с использованием детерминированных идентификаторов.
8. Проверка количества записей, чексумов, прав доступа, операций удаления и канарейок для восстановления данных.
9. Версионирование парсера, инструмента разбиения на части, модели эмбеддингов и процесса генерации индекса.

Он также должен обрабатывать обновления, повторную обработку, откат изменений и проверенное удаление.

20. Как следует обрабатывать сложные PDF-файлы и таблицы?

Парсить цифровые PDF-файлы с учетом их структуры с помощью инструмента, понимающего макет, чтобы заголовки, столбцы, порядок чтения, подписи, таблицы и номера страниц оставались связанными. Для сканов необходим OCR с показателями достоверности, а иногда — рамки областей или изображения страниц. Сохраняйте заголовки каждой таблицы, единицы измерения, идентификаторы, координаты страниц и ячеек. При решении числовых задач извлекайте структуру таблицы и вычисляйте результат детерминированно. Улучшение парсера часто приносит больший эффект, чем замена модели эмбеддингов.

Продвинутые паттерны

21. Что такое переписывание запросов, поиск с несколькими запросами и HyDE?

Переписывание преобразует расплывчатый или разговорный вопрос в вопрос, подходящий для поиска. Метод поиска с несколькими запросами генерирует несколько вариантов и объединяет результаты для повышения точности нахождения информации. HyDE формирует гипотетический ответ и встраивает его для преодоления разрыва между вопросом и доказательствами. Все три метода увеличивают задержку, затраты, риск дублирования и количество создаваемых предположений, поэтому первоначальный запрос обычно должен оставаться в процессе обработки.

22. В чем разница между Self-RAG, CRAG, RAPTOR и GraphRAG?

• Self-RAG: модель сама решает, следует ли выполнять поиск, и анализирует полученные результаты.
• CRAG: оценивает качество полученных данных и инициирует корректировки, такие как переписывание запроса или смена источников.
• RAPTOR: группирует фрагменты информации в иерархию кратких обзоров, что позволяет осуществлять поиск на разных уровнях детализации.

GraphRAG: извлекает сущности и их связи в виде графа; предназначен для вопросов, которые требуют обработки информации из нескольких документов или всего корпуса.

Использовать их следует только тогда, когда оценка показывает конкретные проблемы стандартных методов. GraphRAG целесообразен в случаях, когда вопросы, связанные с отношениями между элементами или всем корпусом, нельзя надежно решить с помощью гибридного поиска и разбиения запроса.

23. Что такое агентный RAG?

Модель выбирает из набора контролируемых инструментов для поиска информации и рассуждений: поиск в документах, чтение конкретного файла, SQL, API или граф знаний. Для промышленного использования требуются инструменты с определенным типом данных и разрешениями, лимиты на количество операций поиска и токенов, ограничения по количеству шагов, правила остановки и отклонения запросов, авторизация на каждом этапе использования инструментов, полные логи действий, возможность повторения тестов и утверждение человеком важных действий. Оценка должна включать оценку окончательного ответа и последовательности выбора инструментов.

Оценка и диагностика

24. Какой показатель используется в первую очередь?

Candidate Recall@k: доля запросов, для которых необходимые доказательства присутствуют в полученном наборе, рассчитываемая как количество соответствующих элементов в топ-k деленное на общее количество соответствующих элементов. Если доказательства отсутствуют, ни ранжер, ни генератор не могут их восстановить. После этого оценивают ранжирование с помощью MRR или nDCG, а затем — точность, корректность, достоверность, качество цитат, задержку и стоимость в контексте.

25. MRR против nDCG?

Среднее обратное ранговое среднее равно 1 для ранга первого соответствующего результата, поэтому оно подходит для случаев, когда достаточно одного хорошего отрывка. nDCG оценивает всё ранжирование и позволяет учитывать степень релевантности, что уместно в ситуациях, когда несколько отрывков имеют разную полезность. Используйте MRR для оценки производительности при первом запросе, а nDCG — когда важен порядок результатов.

26. Как оценивается качество ответа?

Оценивайте процессы поиска и генерации отдельно. При поиске отслеживайте показатели Recall@k, Precision@k, MRR или nDCG, а также проверяйте корректность и свежесть версий. При генерации отслеживайте корректность, соответствие предоставленным данным, полноту ответа, наличие цитат, правильность отказа в ответе и соблюдение правил. Также учитывайте общее время обработки, затраты, степень приемлемости для пользователя и результаты на критически важных участках.

27. Что такое тестирование в контексте оракула?

Пропустите этап поиска и предоставьте генератору заранее известные корректные данные. Если он дает хорошие ответы на основе этих данных, но терпит неудачу на всем этапе обработки, проверьте процессы поиска, фильтрации, переранжирования или формирования контекста. Если неудача сохраняется, рассмотрите проблемы с формулировкой запроса, логикой рассуждений, процессом генерации или проверкой ответа. Это один из самых быстрых способов отличить ошибки поиска от ошибок генератора.

28. Как диагностировать высокую степень соответствия данным при низкой корректности ответа?

«Верно» означает, что ответ соответствует предоставленному контексту, а «неверно» — что контекст был неполным, нерелевантным, устаревшим или недостаточным. Сравнивайте в следующем порядке: доказательства вида «золотой стандарт» по сравнению с полученными кандидатами, кандидатов по сравнению с перерангированными результатами, перерангированные результаты по сравнению с окончательным контекстом, окончательный результат по сравнению с результатом работы с оракул-контекстом, а также исходные версии, фильтры и противоречивые документы. Типичными причинами являются низкая точность воспроизведения информации, плохая ранжировка, устаревшие доказательства, отсутствие исключений, чрезмерная компрессия контекста или некорректный эталонный ответ.

Безопасная работа в масштабе

29. Как обеспечить безопасность многоклиентской системы RAG?

Определяйте идентичность арендаторов и пользователей на основе надежных методов аутентификации, а не на основе вводимых данных. Полезными мерами контроля являются фильтры ACL, применяемые хранилищем данных, индексы или разделение по арендаторам, кэши, учитывающие правила ACL, роли служб с минимальными привилегиями, шифрование и журналы аудита, тесты изоляции между арендаторами, обнаружение внедрения вводимых данных, списки разрешенных источников с проверкой происхождения, а также полностью проверяемое удаление данных. Считайте полученный контент ненадежным, поскольку документы могут содержать вредоносные инструкции.

30. Как бы вы спроектировали платформу крупномасштабного использования?

Начните с определения объема документов, частоты запросов, количества арендаторов, частоты обновлений, сроков обслуживания при удалении, задержек, потребностей в цитировании, целей в области безопасности и качества. Затем разделите проектирование на этапы:

• Прием данных: подключения, парсинг, разбиение на части, обогащение данных, встраивание информации, индексация, согласование данных и их удаление.
• Запрос: аутентификация, маршрутизация, гибкий поиск, фильтрация с помощью ACL, слияние данных, переранжирование, сбор контекста, генерация, проверка и отклонение запросов.
• Оценка: меткированные наборы данных, эксперименты в офлайн-режиме, тесты на регрессию, проверка человеком и механизмы выпуска решений.
• Наблюдаемость: информация о каждом запросе, полученные данные, версии моделей и индексов, использованные для обработки запроса, а также показатели задержек, использования токенов, затрат, свежести, качества и безопасности.
• Контроль: процесс привлечения пользователей, настройки, квоты, выпуски обновлений, выбор моделей и правила работы системы.

Для повышения устойчивости необходимо использовать детерминистичные идентификаторы, версионированные индексы, работающие параллельно с алиасами, механизмы миграции, предохранители от сбоев, ограниченные нагрузки, кэширование, тестовые выпуски с использованием канарейковых версий, возможность отката и четко определенные показатели качества. Использование GraphRAG или агентных механизмов поиска следует откладывать до тех пор, пока измеренные показатели сбоев не станут этим оправданием.