Strona główna / Artykuły

Projektowanie przenośnego systemu wyszukiwania semantycznego dla wielu użytkowników na Kubernetes i Qdrant

Jak platforma wyszukiwania semantycznego wykorzystuje Kubernetes do zapewnienia przenośności oraz routingu uwzględniającego użytkowników, aby jej baza danych wektorowych była wymienna, a obciążenia robocze izolowane.

Wydawca: REACTAPP.TOP6 min czytania1272 słów

Źródła: Stop Searching by Coincidence: Portability and the Storage Decoupling Layer

Gdy system zostanie już stworzony, diagram jego architektury wydaje się oczywistą odpowiedzią. Brama połączona z modelem embeddingowym, magazyn wektorów, broker oraz baza danych relacyjna wyglądają na jedyne rozsądne rozwiązanie: zapytania trafiają tutaj, przetwarzanie danych odbywa się przez kolejkę, a model funkcjonuje oddzielnie od aplikacji.

Prawdziwe systemy rzadko wyglądają tak uporządkowanie. Zbierają wokół siebie różne ograniczenia – jedna decyzja wywiera presję w innych miejscach, a rozwiązanie tego problemu dodaje kolejne wymagania. Ostateczny obraz wygląda wtedy jak coś zaplanowanego. Bardziej użyteczne pytanie brzmi: dlaczego każda granica znajduje się właśnie tam, gdzie jest.

Omawiana platforma

Opisany tutaj system to infrastruktura typu multi-tenant do wyszukiwania semantycznego i odzyskiwania informacji, która znacznie wykracza poza zwykły plugin wyszukiwania w WordPressie. Musi on przetwarzać dokumenty, przekształcać je w formy nadające się do wyszukiwania, przechowywać je, realizować szybkie, hybrydowe wyszukiwania oraz zachować wystarczającą elastyczność, aby żadna konkretna baza danych wektorowych ani model ML nie stała się trwałą zależnością.

Kluczowe elementy:

  • Kubernetes jako podstawa infrastruktury.
  • Brama API w języku Go koordynująca żądania.
  • Snowflake Arctic jako główny model embeddingów.
  • Qdrant jako główna baza danych wektorowych.
  • MySQL przechowujący konfigurację użytkowników i danych uwierzytelniających.
  • NATS służący do asynchronicznego przetwarzania danych.

Wybór Kubernetesa jako pierwszego kroku

Wybór warstwy orkiestracji przed większością komponentów aplikacji wydaje się niesensowny, ponieważ zwykłym porządkiem jest najpierw stworzenie aplikacji, a decyzja o jej wdrożeniu później. W tym przypadku przenośność infrastruktury była wymogiem produktowym, więc wdrożenie nie mogło być czymś dodanym później. Musiały pozostać otwarte dwa tryby działania.

Jednym z nich jest chmura publiczna z zarządzaną płaszczyzną sterowania. Drugim jest tańsze środowisko, w którym zespół sam uruchamia klastr, gdy koszty przewyższają wygodę. Nie są one identyczne, a Kubernetes nie eliminuje różnic pomiędzy dostawcami. Przechowywanie danych, sieciowanie, balansery obciążeń, dostawa GPU oraz konfiguracja węzłów pozostają specyficzne dla danego dostawcy. To, co zapewnia, to spójna granica operacyjna znajdująca się nad nimi.

Poniżej tej granicy obciążenia pracują sprawnie. Serwery modeli to pods, a brama to deployment. Qdrant to infrastruktura z pamięcią trwałą i wolumenami trwałymi, natomiast NATS to kolejna usługa sieciowa. Konfiguracja ma charakter deklaratywny, a mechanizm wykrywania usług działa tak samo, niezależnie od tego, czy węzły pochodzą z dużej chmury, czy z samodzielnie zarządzanego klastra.

To ma znaczenie, ponieważ krzywe kosztów zmieniają się wraz z rozwojem. Usługa zarządzana jest dobrym wyborem, gdy prostota przeważa nad ceną. Sytuacja matematyczna zmienia się, gdy ruch staje się przewidywalny, gdy obciążenia wymagają dedykowanych węzłów lub gdy drogie sprzęty do przetwarzania dominują w rachunku. Przejście na tańszą infrastrukturę nie powinno wymagać natychmiastowej przebudowy aplikacji. Dlatego Kubernetes pełni raczej rolę warstwy zwiększającej przenośność architektury niż narzędzia do jej wdrażania.

Infrastruktura ML jest również niezwykle nierównomierna, co stanowi drugi powód. Usługa API, model embeddingowy oraz baza danych wektorowych skalują się na swój własny sposób, mając różne wymagania co do pamięci, czasu uruchamiania oraz przyczyn awarii. Usługi bez stanu mogą rozprzestrzenić się w ciągu sekund, serwer modelu może najpierw potrzebować załadowania dużego pliku, natomiast baza wektorowa wymaga stabilnych dysków lokalnych oraz starannego umieszczenia. Warstwa podstawowa powinna hostować wszystkie trzy elementy, nie traktując ich jednak jako identycznych.

To również tłumaczy preferencję dla prostych manifestów Kubernetes, narzędzi Kustomize i FluxCD. Helm nie jest z zasady wykluczony. Gdy jednak jedna osoba zarządza systemem i za niego płaci, ważniejsze jest utrzymanie widoczności modelu implementacji. Sprawdzenie StatefulSet powinno pokazać, co jest uruchomione, jak montowane są zasoby przechowywania, jak uruchamia się węzeł oraz skąd pochodzi konfiguracja.

Utrzymanie możliwości zastąpienia bazy danych wektorowych

Systemy wyszukiwania semantycznego zazwyczaj są zorganizowane wokół magazynu wektorów. To naturalne – znajduje się on na kluczowej ścieżce zapytań, przechowuje kosztowne dane pochodne i poprzez swoją strategię indeksowania wpływa na opóźnienia, dokładność wyników, zużycie pamięci oraz koszty działania. Gdy zgromadzi się wystarczająca ilość danych, pominięcie tego elementu przynosi negatywne skutki. Dlatego reszta platformy nie powinna być strukturalnie uzależniona od jednej konkretnej bazy danych.

Qdrant jest obecnie głównym silnikiem, ale pełni rolę celu routingu, a nie tożsamości całej platformy. Powody wyboru tego rozwiązania zostały omówione gdzie indziej, więc tutaj skupiamy się wyłącznie na strukturze.

Błędem byłoby nazywanie warstwy rozdzielenia uniwersalną API bazy danych. Składa się ona z mechanizmu umieszczania danych uwzględniającego konkretnego użytkownika, adapterów specyficznych dla poszczególnych backendów oraz bramy, która chroni klientów przed wpływem tych elementów. Specyfika każdego backendu jest ukryta za małym adapterem do przechowywania danych, a przy każdej prośbie brama wybiera skonfigurowany backend danego użytkownika, a następnie kieruje operację do odpowiedniego adaptera. Bazy danych wektorowych nie mają identycznej semantyki, i nic nie udaje czegoś przeciwnego. Celem jest oddzielenie mechanizmów umieszczania danych i budowania zapytań od publicznej API oraz ogólnego przepływu żądań. Nie zakłada się żadnej specyficznej struktury kolekcji ani indeksu: konfiguracja użytkownika określa typ backendu oraz węzeł indeksowania, a brama rozstrzyga oba te aspekty po otrzymaniu żądania.

Obecny bramkarz produkcyjny nadal obsługuje zarówno ścieżki Qdrant, jak i RediSearch za tą warstwą. Zgodność wsteczna z Redis to tylko część obrazu. Nie ma gwarancji, że jakaś pojedyncza baza wektorowa będzie odpowiednia do każdego obciążenia związanego z wyszukiwaniem, ponieważ ekosystem rozwija się zbyt szybko. Bazy danych ciągle dodają rzadkie wektory, nowe metody kwantyzacji, indeksy oparte na dysku, obsługę interakcji w późniejszym etapie, przyspieszenie za pomocą GPU oraz alternatywne rozwiązania do wyszukiwania rozproszonego. To, co jest obecnie optymalne, może szybciej niż się spodziewamy stać się wąskim gardłem.

Dlaczego kierować ruch na poziomie aplikacji

Istnieje również głębszy argument dotyczący systemów rozproszonych. Skalowanie poziome nie jest nieskończone, jak sugeruje marketing chmurowy. Wyrażenie „skaluje się poziomo” przemilcza koszty koordynacji. W miarę rozprzestrzeniania się zbioru danych zapytania dotykają coraz większej liczby partycji, replikacja zużywa więcej przepustowości, ponowna równowaga staje się droższa, pole koordynacji się poszerza, a opóźnienia zaczynają odpowiadać tempu najwolniejszego uczestnika. W zależności od obciążenia, dodatkowa przepustowość w jednym logicznym klastrze ostatecznie przynosi coraz mniejsze korzyści.

Model wielu najemców zmienia tę sytuację, ponieważ najemcy stanowią naturalną podziałkę. Nie ma konieczności, by każda niezależna strona internetowa dzieliła jeden ogromny klastrum wektorowy. Niektórzy najemcy mogą funkcjonować w ramach jednej implementacji Qdrant, inni w drugiej, a szczególnie obciążony może otrzymać dedykowany węzeł bazy danych, jeśli jego obciążenie na to pozwala.

Wyobraź sobie środowisko hostujące tysiące małych stron, z których prawie wszystkie funkcjonują bez problemów na wspólnym klastrze. Nagle pojawia się klient, którego zasoby przewyższają łączne zasoby setek istniejących użytkowników, przy czym stały ruch zapytań zmienia plan wydajności. Skalowanie wspólnego klastra dla wszystkich nie powinno być jedyną odpowiedzią. Dzięki routingu taki użytkownik przenosi się na oddzielną infrastrukturę, API klienta pozostaje nietknięte, a pozostali użytkownicy unikają negatywnych konsekwencji.

Oddzielne środowiska hostingu stanowią również granicę awarii. Skalowanie nie jest jedynym powodem dzielenia obciążeń. Czasami chodzi o zapobiegnięcie temu, by jeden problematyczny użytkownik lub przeciążony klastrowy stał się problemem dla wszystkich.

Sharding dotyczy sposobu rozproszenia danych w obrębie jednego systemu bazy danych. Routing na poziomie aplikacji pyta, czy wszystkie potrzebne dane muszą znajdować się w tym samym systemie. Obciążenie pracy oparte na silnym modelu multi-tenant korzysta z obu tych rozwiązań. Dlatego węzeł indeksowania i backend znajdują się w konfiguracji tenanta, zamiast być wbudowane bezpośrednio w logikę aplikacji. Dodanie później kolejnego silnika wektorowego pozostaje głównie zadaniem lokalnego adaptera i nie przeradza się w migrację na całej platformie.

Kolejne założenie do zakwestionowania

Rozdzielenie przechowywania załatwiło jedną przyszłą migrację, ale ujawniło kolejne ukryte założenie. Prośba o wyszukiwanie hybrydowe nie zaczyna się od bazy danych – zaczyna się od modelu sztucznej inteligencji, a modele zmieniają się jeszcze szybciej niż silniki przechowywania. Gdy baza danych wektorowych zostanie uznana za nieskuteczną w definiowaniu platformy, nie można też pozwolić, by model embeddingów to robił.

Literatura pokrewna