Проєктування портативного багатокористувацького семантичного пошуку на Kubernetes та Qdrant
Як платформа семантичного пошуку використовує Kubernetes для забезпечення портативності та маршрутизації з урахуванням користувачів, щоб зробити її базу даних векторів замінною та ізолювати робочі навантаження.
Джерела: Stop Searching by Coincidence: Portability and the Storage Decoupling Layer
Як тільки система створена, її архітектурна схема здається очевидною відповіддю. Шлюз, пов’язаний із моделлю ембеддингу, база даних векторів, брокер та реляційна база даних виглядають як єдине розумне рішення: запити надходять сюди, обробка даних відбувається через чергу, а модель знаходиться окремо від додатку.
Реальні системи рідко виглядають настільки охайними. Вони формуються під впливом різних обмежень – одне рішення створює тиск в іншій частині, а його виправлення додає ще одну вимогу. У результаті кінцева структура здається спланованою. Більш корисним запитанням є те, чому кожна межа знаходиться саме там, де вона є.
Розглядувана платформа
Описана тут система — це інфраструктура з підтримкою кількох користувачів для семантичного пошуку та отримання інформації, яка значно виходить за межі звичайного плагіна пошуку для WordPress. Вона має здатність отримувати документи, перетворювати їх на формати, придатні для пошуку, зберігати їх, виконувати пошуки з низькою затримкою та залишатися достатньо гнучкою, щоб жодна конкретна база даних векторів чи модель машинного навчання не ставала постійною залежністю.
Компоненти системи:
- Kubernetes як основа інфраструктури.
- API-шлюз на Go для координації запитів.
- Snowflake Arctic як основна модель ембеддингу.
- Qdrant як основна база даних векторів.
- MySQL для зберігання налаштувань користувачів та облікових даних.
- NATS для асинхронного отримання даних.
Вибір Kubernetes перед усім іншим
Вибір шару оркестрації раніше, ніж більшість компонентів додатку, здається неправильним, адже зазвичай спочатку створюється продукт, а вже потім вирішується питання розгортання. Тут же портативність інфраструктури була вимогою до продукту, тому розгортання не могло залишатися на останньому місці. Потрібно було зберегти два режими роботи.
Один з них — це публічна хмара з керованою платформою керування. Інший — це дешевше середовище, де команда сама керує кластером, коли витрати перевищують зручність. Вони не є ідентичними, і Kubernetes не усуває відмінностей між постачальниками. Зберігання, мережування, балансувальники навантаження, постачання GPU та налаштування вузлів залишаються специфічними для кожного постачальника. Проте Kubernetes забезпечує єдині операційні стандарти, які діють над усіма цими елементами.
Під цими межами навантаження відображаються чітко. Сервери моделей є подами, а шлюз – це розгортання. Qdrant – це інфраструктура зі станом та постійними об’ємами даних, тоді як NATS є ще однією мережевою послугою. Конфігурація є декларативною, а виявлення сервісів працює однаково, незалежно від того, чи походять вузли з великої хмари чи з самокерованого кластера.
Це має значення, оскільки криві витрат змінюються зі зростанням. Керована послуга є гарним вибором, коли простота важливіша за ціну. Математика змінюється, коли трафік стає прогнозованим, коли навантаження вимагає окремих вузлів чи коли дороге обладнання для обробки даних стає основною причиною високих витрат. Перехід на дешевшу інфраструктуру не повинен вимагати одночасної переробки додатку. Таким чином Kubernetes виконує меншу функцію інструменту розгортання та більшу – як шар портативності для архітектури.
Інфраструктура машинного навчання також має надзвичайно нерівномірну структуру, що стало ще однією причиною. Сервіс API, модель для генерації ембеддингів та векторна база даних розширюються по-різному, мають різні вимоги до пам’яті, часи запуску та причини збоїв. Безстанові сервіси можуть розгорнутися протягом кількох секунд, сервер моделі спочатку може потребувати завантаження великого об’єму даних, а векторний сховище вимагає стабільних локальних дисків та ретельного розміщення. Основний шар має підтримувати всі три компоненти, не ставлячись до них як до однакових.
Це також пояснює популярність простих маніфестів Kubernetes, інструментів Kustomize та FluxCD. Принципово Helm не виключається. Однак, коли одна людина керує системою та оплачує її, доцільніше зберігати модель розгортання видимою. Перевірка StatefulSet має показувати, що саме працює, як підключається зберігання, як завантажується вузол та звідки береться конфігурація.
Забезпечення замінності векторної бази даних
Системи семантичного пошуку зазвичай організовуються навколо сховища векторів. Це природно: воно знаходиться на ключовому шляху обробки запитів, містить дорогі обчислені дані та впливає на час відгуку, рівень відтворення інформації, використання пам’яті та експлуатаційні витрати завдяки своїй стратегії індексації. Коли накопичується достатня кількість даних, їх відсутність завдає шкоди. Тому решта платформи не повинна структурно залежати від однієї конкретної бази даних.
Qdrant є основним двигуном сьогодні, але він виконує функцію цільової точки маршрутизації, а не є основою всієї платформи. Причини його вибору вже розглядалися в інших матеріалах, тому тут увага зосереджується на структурі.
Було б неправильно називати шар роз’єднання універсальним API баз даних. Він складається з механізму розміщення даних з урахуванням користувачів, адаптерів, специфічних для кожного бекенду, та шлюзу, який захищає клієнтів від впливу цих елементів. Особливості кожного бекенду приховані за допомогою невеликого адаптера зберігання, і для кожного запиту шлюз визначає налаштований користувачем бекенд, а потім передає операцію цьому адаптеру. Векторні бази даних не мають ідентичної семантики, і ніщо не прикидається інакшим. Мета полягає у тому, щоб утримати процеси розміщення даних та формування запитів поза межами публічного API та загального потоку запитів. Не припускається наявність певної структури колекцій чи індексів: налаштування користувача визначають тип бекенду та вузол індексації, а шлюз розв’язує ці питання під час отримання запиту.
Нинішній шлюз виробництва все ще містить шляхи до Qdrant та RediSearch під цим шаром. Зворотна сумісність із Redis — це лише частина проблеми. Жодна окрема база даних векторів не гарантує підходу для кожного завдання пошуку, оскільки екосистема розвивається занадто швидко. Бази даних постійно додають розріджені вектори, нові методи квантування, індекси на диску, підтримку пізньої взаємодії, прискорення за допомогою GPU та альтернативні дизайни розподіленого пошуку. Те, що зараз є оптимальним, може стати вузьким місцем раніше, ніж очікується.
Чому маршрутизувати на рівні додатку
Існує ще один глибший аргумент, пов’язаний із розподіленими системами. Горизонтальне масштабування не є необмеженим, як це стверджується в маркетингових матеріалах хмарних сервісів. Фраза „масштабується горизонтально“ приховує витрати на координацію. Коли набір даних розширюється, запити охоплюють більше частин, реплікація споживає більше пропускної здатності, процес відновлення балансу стає дорожчим, масштаб координації зростає, а затримка у виконанні починає залежати від найповільнішого учасника. Залежно від обсягу роботи додаткова потужність у одному логічному кластері зрештою приносить все меншу користь.
Модель багатокористувацькості змінює ситуацію, оскільки користувачі є природною формою поділу даних. Не обов’язково, щоб кожен незалежний веб-сайт використовував один величезний векторний кластер. Деякі користувачі можуть працювати на одній інсталяції Qdrant, інші — на другій, а особливо вантажні проекти можуть отримати окремий вузол бази даних, якщо це необхідно через рівень навантаження.
Уявіть собі середовище розгортання, яке підтримує тисячі невеликих сайтів, майже всі з яких комфортно функціонують у спільному кластері. Раптово з’являється клієнт, чий каталог перевищує обсяги сотень існуючих користувачів разом узятих, при цьому обсяг запитів залишається стабільним, що змушує переглянути план ємності. Масштабування спільного кластера для всіх не повинно бути єдиним рішенням. Завдяки маршрутизації цей користувач переміщується на окреме обладнання, API клієнта залишається недоторканим, а інші користувачі уникають наслідків.
Окремі середовища розгортання також створюють межу для виникнення проблем. Масштабування — це не єдиний мотив для розділення навантажень. Іноді йдеться про те, щоб запобігти тому, щоб один проблемний користувач чи перевантажений кластер стали проблемою для всіх.
Шардування стосується способів розподілу даних у межах однієї системи баз даних. Маршрутизація на рівні додатку ставить питання про те, чи справді всі необхідні дані мають знаходитися в одній системі. Робота з великою кількістю користувачів виграє від наявності обох підходів. Саме тому вузол індексації та бекенд знаходяться в конфігурації користувача, а не є частиною жорстко закодованої логіки додатку. Додавання ще одного двомірного двигуна пізніше здебільшого залишається завданням локального адаптера та не перетворюється на міграцію на всій платформі.
Наступна припущення, яку потрібно поставити під сумнів
Розділення зберігання даних дозволило вирішити одну майбутню проблему міграції та виявило наступне приховане припущення. Запит на гібридний пошук не починається з бази даних — він починається з моделі машинного навчання, а моделі змінюються ще швидше, ніж двигуни зберігання. Як тільки двомірна база даних вважається нездатною визначати структуру платформи, модель вбудовування також не може цього робити.