Startseite / Artikel

Entwurf einer portablen, multi-tenant-fähigen semantischen Suche auf Kubernetes und Qdrant

Wie eine semantische Suchplattform Kubernetes zur Portabilität und tenant-sensitiven Routierung nutzt, um ihre Vektordatenbank austauschbar und ihre Arbeitslasten isoliert zu halten.

Verlag: REACTAPP.TOP6 Min. Lesezeit1272 Wörter

Quellen: Stop Searching by Coincidence: Portability and the Storage Decoupling Layer

Sobald ein System erstellt ist, scheint das Architekturdiagramm die offensichtliche Lösung zu sein. Ein Gateway, das mit einem Embedding-Modell verbunden ist, ein Vektorlager, ein Broker sowie eine relationale Datenbank erscheinen als die einzige sinnvolle Anordnung: Anfragen gelangen hierhin, die Dateneingabe erfolgt über eine Warteschlange, und das Modell befindet sich getrennt von der Anwendung.

Reale Systeme sehen selten so ordentlich aus. Sie entstehen durch verschiedene Einschränkungen – eine Entscheidung erzeugt Druck an anderer Stelle, und die Lösung fügt wiederum eine weitere Anforderung hinzu. Das Endergebnis wirkt dann geplant. Die wichtigere Frage ist, warum jede Grenze genau dort liegt.

Die betreffende Plattform

Das hier beschriebene System ist eine Multi-Tenant-Infrastruktur für semantische Suche und -abrufung, die weit über ein einfaches WordPress-Suchplugin hinausgeht. Es muss Dokumente aufnehmen, sie in auffindbare Repräsentationen umwandeln, diese speichern, hybride Suchvorgänge mit geringer Latenz durchführen und gleichzeitig flexibel genug bleiben, sodass keine bestimmte Vektordatenbank oder ML-Modell zu einer dauerhaften Abhängigkeit wird.

Die Bausteine:

  • Kubernetes als Infrastrukturbasis.
  • Eine Go-API-Gateway, die Anfragen koordiniert.
  • Snowflake Arctic als Haupt-Embedding-Modell.
  • Qdrant als Haupt-Vektordatenbank.
  • MySQL zur Speicherung der Konfigurationen für verschiedene Nutzer und Anmeldedaten.
  • NATS für den asynchronen Dateneingang.

Kubernetes als erste Wahl

Die Auswahl der Orchestrierungsschicht vor den meisten Anwendungsbestandteilen erscheint umgekehrt, da die übliche Reihenfolge darin besteht, zunächst zu entwickeln und die Bereitstellung später zu entscheiden. Hier war die Portabilität der Infrastruktur eine Produktanforderung, weshalb die Bereitstellung nicht als nachträglicher Gedanke behandelt werden konnte. Zwei Betriebsmodi mussten weiterhin offen bleiben.

Einer davon ist eine öffentliche Cloud mit einem verwalteten Steuerungsplan. Der andere ist eine günstigere Umgebung, in der das Team den Cluster selbst betreibt, sobald die Kosten die Bequemlichkeit überwiegen. Beide sind nicht identisch, und Kubernetes beseitigt die Unterschiede zwischen den Anbietern nicht. Speicher, Netzwerk, Lastverteilungssysteme, GPU-Zufuhr sowie die Bereitstellung von Knoten bleiben anbieterbezogen. Was Kubernetes jedoch bietet, ist eine konstante betriebliche Grenze, die über all dem liegt.

Unter dieser Grenze lassen sich die Arbeitslasten eindeutig zuordnen. Modellserver sind Pods und das Gateway ist eine Deployment-Einheit. Qdrant ist eine stateful-Infrastruktur mit persistenten Volumen, während NATS ein weiterer Netzwerkdienst ist. Die Konfiguration erfolgt deklarativ, und die Service-Entdeckung funktioniert unabhängig davon, ob die Knoten aus einem großen Cloud-Anbieter oder aus einem selbst verwalteten Cluster stammen.

Das ist wichtig, denn die Kostenkurven ändern sich mit dem Wachstum. Ein verwalteter Dienst ist eine gute Wahl, wenn Einfachheit wichtiger ist als der Preis. Die Rechnung ändert sich, sobald der Verkehr vorhersehbar wird, sobald die Arbeitslasten den Einsatz dedizierter Knoten rechtfertigen oder sobald teures Inferenz-Hardware die Kosten dominiert. Ein späterer Wechsel zu günstigerer Infrastruktur sollte nicht erfordern, dass die Anwendung gleichzeitig neu entworfen wird. Kubernetes dient daher weniger als Deployment-Tool und eher als Portabilitätslayer für die Architektur.

Die ML-Infrastruktur ist außerdem ungewöhnlich ungleichmäßig, was einen weiteren Grund liefert. Ein API-Service, ein Embedding-Modell und eine Vektordatenbank skalieren jeweils auf ihre eigene Weise, mit unterschiedlichen Speichernutzungen, Startzeiten und Ausfallursachen. Zustandslose Dienste können innerhalb von Sekunden verteilt werden, ein Modellserver muss möglicherweise zunächst ein großes Artefakt laden, und ein Vektorlagersystem benötigt stabile lokale Festplatten sowie sorgfältige Platzierung. Die Basislage sollte alle drei Komponenten beherbergen, ohne sie als gleich zu betrachten.

Dies erklärt auch die Präferenz für einfache Kubernetes-Manifeste, Kustomize und FluxCD. Helm ist grundsätzlich nicht ausgeschlossen. Wenn jedoch eine Person das System betreibt und dafür bezahlt, ist es sinnvoller, das Deployment-Modell sichtbar zu halten. Die Überprüfung eines StatefulSet sollte zeigen, was läuft, wie der Speicher montiert wird, wie ein Knoten gestartet wird und wo die Konfiguration stammt.

Die Vektordatenbank ersetzbar halten

Semantische Suchsysteme neigen dazu, sich um den Vektorlagertyp zu organisieren. Das ist natürlich: Er befindet sich auf dem entscheidenden Abfragenpfad, enthält teure, berechnete Daten und bestimmt durch seine Indexierungsstrategie die Latenz, die Trefferquote, den Speicherverbrauch sowie die Betriebskosten. Wenn genügend Daten angesammelt sind, schadet es, ihn außer Acht zu lassen. Deshalb sollte der Rest der Plattform strukturell nicht von einer einzigen Datenbank abhängen.

Qdrant ist heute der primäre Antrieb, fungiert jedoch als Routing-Ziel und nicht als Identität der Plattform. Die Gründe für seine Wahl wurden bereits anderswo erläutert, daher konzentriert sich der Fokus hier auf die Struktur.

Es wäre falsch, die Trennungs Schicht als universelle Datenbank-API zu bezeichnen. Sie besteht aus tenant-spezifischer Platzierung, adaptern, die auf den jeweiligen Backend-Systemen basieren, sowie einem Gateway, das die Clients vor diesen Aspekten schützt. Die Besonderheiten jedes Backends befinden sich hinter einem kleinen Speicheradapter, und für jede Anfrage liest das Gateway den konfigurierten Backend des Tenants und leitet die Aktion anschließend an diesen Adapter weiter. Vektor-Datenbanken weisen keine identischen Semantiken auf, und nichts tut so, als wäre das anders. Der Zweck besteht darin, Platzierung und Abfragen aus der öffentlichen API sowie dem allgemeinen Anfragenfluss herauszuhalten. Es wird keine bestimmte Sammlungs- oder Indexstruktur vorausgesetzt: Die Konfiguration des Tenants gibt den Typ des Backends sowie den Indexierungs-Node an, und das Gateway löst beides bei Eintreffen der Anfrage auf.

Das aktuelle Produktgateway enthält weiterhin sowohl Qdrant- als auch RediSearch-Pfade unter dieser Schicht. Die Rückwärtskompatibilität mit Redis ist nur ein Teil des Ganzen. Es gibt keine einzelne Vektordatenbank, die zuverlässig für jede Abfragedurchführung geeignet ist, denn das Ökosystem entwickelt sich viel zu schnell. Datenbanken fügen ständig spärliche Vektoren, neue Quantisierungsverfahren, auf der Festplatte basierende Indizes, Unterstützung für späte Interaktionen, GPU-Akceleration sowie alternative verteilte Suchkonzepte hinzu. Was derzeit optimal erscheint, kann schneller zu einem Engpass werden, als erwartet.

Warum auf Anwendungsebene routen

Es gibt auch ein tiefergehendes Argument aus Sicht verteilter Systeme. Die horizontale Skalierung ist nicht unbegrenzt, wie es der Cloud-Marketing-Bereich nahelegt. Der Ausdruck „horizontale Skalierung“ übersieht die Koordinationskosten. Wenn sich ein Datensatz ausdehnt, betreffen die Abfragen mehr Partitionen, die Replikation verbraucht mehr Bandbreite, das Neubalancieren wird teurer, die Koordinationsanforderungen nehmen zu und die Verzögerungen am Ende folgen dem langsamsten Teilnehmer. Je nach Arbeitslast bringt zusätzliche Kapazität in einem logischen Cluster letztendlich nur noch geringere Vorteile.

Die Mehrfachnutzung ändert das Bild, da die Nutzer selbst eine natürliche Teilung darstellen. Es ist nicht notwendig, dass jede unabhängige Website einen riesigen Vektor-Cluster teilt. Einige Nutzer können auf einer Qdrant-Instanz laufen, andere auf einer zweiten, und besonders belastete können bei ausreichender Last einen dedizierten Datenbankknoten erhalten.

Stellen Sie sich eine Umgebung vor, die Tausende kleiner Websites hostet, von denen fast alle auf einem gemeinsamen Cluster problemlos laufen. Plötzlich taucht ein Kunde auf, dessen Datenmenge die von Hunderten bestehender Nutzer zusammen übertrifft, und dessen konstanter Abfragenverkehr das Kapazitätsplanungssystem verändert. Es sollte nicht die einzige Lösung sein, den gemeinsamen Cluster für alle zu skalieren. Durch Routing wird dieser Kunde auf separate Hardware verlegt, die API des Kunden bleibt unberührt, und andere Nutzer müssen nicht die Folgen tragen.

Getrennte Umgebungen schaffen außerdem eine Grenze bei Ausfällen. Die Skalierung ist nicht der einzige Grund, Workloads aufzuteilen. Manchmal geht es darum, zu verhindern, dass ein problematischer Kunde oder ein überlasteter Cluster zu einem Problem für alle wird.

Sharding befasst sich damit, wie Daten innerhalb eines Datenbanksystems verteilt werden. Das Routing auf Anwendungsseite fragt, ob überhaupt alle benötigten Daten im selben System sein müssen. Eine stark multi-tenantige Arbeitslast profitiert von beidem. Deshalb befinden sich der Indexierungsnode und der Backend in der Tenant-Konfiguration statt in der Anwendungslogik festgeschrieben zu sein. Das Hinzufügen eines weiteren Vektor-Engines bleibt dann meist eine Aufgabe des lokalen Adapters und wird nicht zu einer plattformweiten Migration.

Die nächste Annahme in Frage stellen

Durch die Trennung der Speicherung wurde eine zukünftige Migration behandelt und eine weitere versteckte Annahme aufgedeckt. Eine hybride Suchanfrage beginnt nicht bei der Datenbank, sondern bei einem maschinelles-Lernen-Modell – und Modelle ändern sich sogar noch schneller als Speichermotoren. Sobald die Vektor-Datenbank als unfähig angesehen wird, die Plattform zu definieren, darf auch das Embedding-Modell dies nicht tun.