Главная / Статьи

Проектирование портативной семантической системы поиска с поддержкой нескольких тенантов на Kubernetes и Qdrant

Как платформа семантического поиска использует Kubernetes для обеспечения портативности и маршрутизации с учетом тенантов, чтобы её база векторных данных оставалась заменяемой, а рабочие нагрузки — изолированными.

Издатель: REACTAPP.TOP6 мин чтения1272 слов

Источники: Stop Searching by Coincidence: Portability and the Storage Decoupling Layer

Как только система создана, схема её архитектуры кажется очевидным решением. Шлюз, связанный с моделью встраивания, хранилище векторов, брокер и реляционная база данных — вот единственное разумное расположение компонентов: запросы поступают сюда, обработка данных происходит через очередь, а модель находится отдельно от приложения.

Настоящие системы редко выглядят такими упорядоченными. Они формируются под влиянием различных ограничений: одно решение создаёт давление в других областях, а попытка его устранения добавляет ещё одно требование. В итоге всё кажется спланированным. Более важный вопрос заключается в том, почему каждая граница находится именно там, где находится.

Рассматриваемая платформа

Описанная здесь система представляет собой инфраструктуру с множественными арендаторами для семантического поиска и извлечения информации, которая значительно выходит за рамки простого плагина поиска для WordPress. Она должна принимать документы, преобразовывать их в форматы, пригодные для поиска, хранить их, выполнять поиски с низкой задержкой и оставаться достаточно гибкой, чтобы ни одна конкретная векторная база данных или модель машинного обучения не становилась постоянной зависимостью.

Основные компоненты:

  • Kubernetes в качестве основы инфраструктуры.
  • API-шлюз на языке Go для координации запросов.
  • Snowflake Arctic в качестве основной модели генерации векторных представлений.
  • Qdrant в качестве основной векторной базы данных.
  • MySQL для хранения настроек арендаторов и учетных данных.
  • NATS для асинхронной обработки входящих данных.

Выбор Kubernetes в качестве основы

Выбор слоя оркестрации до разработки большинства компонентов приложения кажется обратным по отношению к обычной практике, при которой сначала создаётся продукт, а развертывание решается позже. Однако в данном случае переносимость инфраструктуры была требованием к продукту, поэтому развертывание не могло оставаться второстепенным вопросом. Необходимо было сохранить возможность использования двух режимов работы.

Один из них — облачная среда с управляемой плоскостью управления. Другой — более дешёвая среда, в которой команда сама управляет кластером, когда затраты превышают удобство. Эти среды не идентичны, и Kubernetes не устраняет различий между поставщиками. Хранилище, сетевое оборудование, балансировщики нагрузки, поставка GPU и настройка узлов остаются специфичными для каждого поставщика. Однако Kubernetes обеспечивает единые операционные рамки, действующие над всем этим.

Под этими границами нагрузки отображаются четко. Серверы моделей представляют собой поды, а шлюз — это развертывание. Qdrant — это инфраструктура с состоянием и постоянными томами, в то время как NATS — еще один сетевой сервис. Конфигурация задается декларативно, а обнаружение сервисов работает одинаково независимо от того, происходят ли узлы из крупных облаков или из самоуправляемых кластеров.

Это важно, поскольку кривые затрат меняются с ростом нагрузки. Управляемый сервис — отличный выбор, когда простота важнее цены. Расчеты меняются, когда трафик становится предсказуемым, когда нагрузки требуют отдельных узлов или когда дорогостоящее оборудование для инференса становится основной статьей расходов. Переход на более дешевую инфраструктуру не должен требовать одновременной переработки приложения. Таким образом, Kubernetes служит скорее слоем портабельности для архитектуры, чем инструментом развертывания.

Инфраструктура машинного обучения также отличается чрезмерной неоднородностью, что стало второй причиной. Сервисы API, модели для генерации эмбеддингов и векторные базы данных масштабируются по-своему, имеют разные требования к памяти, времена запуска и причины сбоев. Безсостоянийные сервисы могут распространиться за секунды, сервер с моделью сначала может потребовать загрузки крупного файла, а векторная база данных нуждается в стабильных локальных дисках и тщательном размещении. Основной слой должен вмещать все три компонента, не рассматривая их как одинаковые.

Это также объясняет предпочтение к простым манифестам Kubernetes, инструментам Kustomize и FluxCD. В принципе Helm не исключается. Однако, когда системой управляет и платит за нее один человек, более целесообразно сохранять видимость модели развертывания. Просмотр StatefulSet должен показывать, что выполняется, как монтируется хранилище, как загружается узел и откуда берется конфигурация.

Обеспечение заменяемости векторной базы данных

Системы семантического поиска обычно организуются вокруг хранилища векторов. Это естественно: оно находится на критическом пути обработки запросов, хранит дорогостоящие вычисленные данные и через свою стратегию индексации влияет на задержку, точность восстановления результатов, использование памяти и операционные затраты. Когда накапливается достаточное количество данных, игнорирование этого хранилища наносит ущерб. Поэтому остальная часть платформы не должна структурно зависеть от какой-либо одной базы данных.

Qdrant сегодня является основным движком, но он выполняет роль цели маршрутизации, а не идентификатора всей платформы. Причины его выбора уже рассматривались в других материалах, поэтому здесь акцент сделан на структуре.

Было бы неверно называть слой декуплирования универсальным API базы данных. Он включает в себя механизм размещения данных с учетом информации арендатора, адаптеры, специфичные для конкретного бэкенда, и шлюз, защищающий клиентов от воздействия обоих элементов. Особенности каждого бэкенда скрыты за небольшим адаптером хранения, и при каждом запросе шлюз определяет настроенный арендатором бэкенд, затем перенаправляет операцию в соответствующий адаптер. Векторные базы данных не имеют идентичной семантики, и ничто не пытается это скрыть. Смысл заключается в том, чтобы размещение данных и формирование запросов оставались вне общедоступного API и более широкого потока запросов. Не предполагается наличия определенных структур коллекций или индексов: арендатор указывает тип бэкенда и узел индексации, а шлюз разрешает эти вопросы по прибытии запроса.

Текущий шлюз производства по-прежнему обрабатывает запросы как к Qdrant, так и к RediSearch через этот слой. Обратная совместимость с Redis — это лишь часть картины. Нет ни одной векторной базы данных, которая гарантированно подошла бы для любой нагрузки по поиску, поскольку экосистема развивается слишком быстро. Базы данных постоянно добавляют редкие векторы, новые методы квантизации, индексы на диске, поддержку поздней интеракции, ускорение с помощью GPU и альтернативные способы распределенного поиска. То, что сейчас считается оптимальным, может стать узким местом раньше, чем ожидается.

Почему осуществлять маршрутизацию на уровне приложения

Существует ещё более глубокий аргумент, связанный с распределёнными системами. Горизонтальное масштабирование не является бесконечным, как это предполагается в маркетинговых материалах об облаках. Фраза «масштабируется горизонтально» скрывает проблему затрат на координацию. По мере расширения набора данных запросы затрагивают всё больше разделов, репликация потребляет больше пропускной способности, процесс перебалансировки становится дороже, объём задач для координации увеличивается, а задержки начинают соответствовать показателям самого медленного участника. В зависимости от нагрузки дополнительная емкость в одном логическом кластере в конечном итоге приносит всё меньшую пользу.

Модель многоклиентского использования меняет ситуацию, поскольку клиенты сами по себе представляют собой естественные разделители ресурсов. Нет никакой необходимости, чтобы каждый независимый веб-сайт использовал один огромный векторный кластер. Некоторые клиенты могут работать в рамках одной инфраструктуры Qdrant, другие — в другой, а особо нагруженный клиент может получить отдельный узел базы данных, если его нагрузка этого требует.

Представьте себе развертывание, в котором работают тысячи небольших сайтов, почти все из которых комфортно функционируют на общем кластере. Затем появляется один клиент, чей объем данных превышает суммарный объем данных сотен существующих арендаторов, при этом нагрузка от запросов постоянно растет, что меняет первоначальный план по распределению ресурсов. Масштабирование общего кластера для всех не должно быть единственным решением. Благодаря механизмам маршрутизации такой арендатор переносится на отдельное оборудование, API клиента остается нетронутым, а другие арендаторы не сталкиваются с последствиями.

Отдельные развертывания также создают границу отказа. Масштабирование — это не единственная причина для разделения нагрузки. Иногда речь идет о том, чтобы предотвратить ситуацию, когда один проблемный арендатор или перегруженный кластер становятся причиной проблем для всех.

Шардинг касается способов распределения данных внутри одной системы баз данных. Маршрутизация на уровне приложения ставит вопрос о том, действительно ли все необходимые данные должны находиться в одной и той же системе. Работа с высокой нагрузкой от нескольких арендаторов выигрывает от наличия обоих подходов. Именно поэтому узел индексации и бэкенд находятся в конфигурации арендатора, а не жестко прописаны в логике приложения. Позже добавление ещё одного движка векторов в основном остается задачей локального адаптера и не превращается в миграцию на уровне всей платформы.

Следующее предположение, которое следует поставить под сомнение

Разделение хранилища решило проблему одной будущей миграции, но выявило следующее скрытое предположение. Запрос на гибридный поиск не начинается с базы данных — он начинается с модели машинного обучения, причем модели меняются ещё быстрее, чем движки хранилища. Как только база данных векторов будет признана некомпетентной для определения структуры платформы, модель эмбеддингов тоже не должна иметь права это делать.