Accueil / Articles

Conception d’une recherche sémantique multi-utilisateurs portable sur Kubernetes et Qdrant

Comment une plateforme de recherche sémantique utilise Kubernetes pour assurer la portabilité et un routage adapté aux différents utilisateurs, afin que sa base de données vectorielle puisse être remplacée et que ses charges de travail restent isolées.

Éditeur : REACTAPP.TOP6 min de lecture1272 mots

Sources: Stop Searching by Coincidence: Portability and the Storage Decoupling Layer

Lorsqu’un système est construit, son diagramme d’architecture semble être la réponse évidente. Un gateway relié à un modèle d’embedding, un stockage de vecteurs, un broker et une base de données relationnelle paraissent constituer le seul arrangement raisonnable : les requêtes y sont envoyées, l’ingestion se fait via une file d’attente, et le modèle est séparé de l’application.

Les systèmes réels sont rarement aussi ordonnés. Ils se développent en fonction de contraintes diverses, où une décision crée des pressions ailleurs et où la correction d’un problème ajoute une nouvelle exigence. Le résultat final donne alors l’impression d’avoir été planifié. La question plus utile est de savoir pourquoi chaque limite se trouve à l’endroit où elle se trouve.

La plateforme en question

Le système décrit ici est une infrastructure multi-locataires destinée à la recherche sémantique et à la récupération d’informations, qui dépasse de loin le cadre d’un simple plugin de recherche pour WordPress. Il doit permettre d’ingérer des documents, de les convertir en représentations exploitables, de les stocker, de réaliser des recherches hybrides à faible latence, et de rester suffisamment flexible pour que aucune base de données vectorielle ou modèle d’apprentissage automatique ne devienne une dépendance permanente.

Les éléments constitutifs :

  • Kubernetes en tant que base d’infrastructure.
  • Un gateway API en Go pour coordonner les requêtes.
  • Snowflake Arctic en tant que principal modèle d’incorporation.
  • Qdrant en tant que principale base de données vectorielle.
  • MySQL pour conserver la configuration des locataires et des identifiants.
  • NATS pour gérer le flux d’ingestion asynchrone.

Choisir Kubernetes avant tout le reste

Choisir la couche d’orchestration en amont de la plupart des composants de l’application semble aller à l’encontre de la logique habituelle, car l’ordre normal consiste d’abord à développer puis à décider du déploiement ultérieurement. Ici, la portabilité de l’infrastructure était une exigence du produit, donc le déploiement ne pouvait pas être une considération secondaire. Deux modes de fonctionnement devaient être maintenus.

Le premier est un cloud public disposant d’un plan de contrôle géré. Le second est un environnement moins coûteux où l’équipe gère elle-même le cluster lorsque les coûts l’emportent sur la facilité d’utilisation. Ceux-ci ne sont pas identiques, et Kubernetes ne supprime pas les différences entre les fournisseurs. Le stockage, les réseaux, les équilibreurs de charge, l’approvisionnement en GPU et la mise à disposition des nœuds restent spécifiques à chaque fournisseur. Ce que Kubernetes offre, c’est une frontière opérationnelle stable située au-dessus d’eux.

En deçà de cette limite, les charges de travail s’adaptent parfaitement. Les serveurs de modèles sont des pods et le gateway représente un déploiement. Qdrant est une infrastructure à état avec des volumes persistants, tandis que NATS est un autre service réseau. La configuration est déclarative, et la découverte de services fonctionne de la même manière que les nœuds proviennent d’un grand cloud ou d’un cluster géré manuellement.

Cela est important car les courbes de coût évoluent avec la croissance. Un service géré est un excellent choix lorsque la simplicité prime sur le prix. Les calculs changent dès que le trafic devient prévisible, dès que les charges de travail justifient l’utilisation de nœuds dédiés, ou dès que du matériel coûteux pour les inférences domine la facture. Un passage ultérieur à une infrastructure moins chère ne devrait pas nécessiter une refonte immédiate de l’application. Kubernetes fonctionne donc moins comme un outil de déploiement et plus comme une couche de portabilité pour l’architecture.

L’infrastructure d’apprentissage automatique est également de manière inhabituelle inégale, ce qui constitue une deuxième raison. Un service API, un modèle d’incorporation et une base de données vectorielle évoluent chacun à leur propre rythme, avec des besoins en mémoire, des temps de démarrage et des causes de panne distincts. Les services sans état peuvent se déployer en quelques secondes, un serveur de modèle peut d’abord devoir charger un fichier volumineux, tandis qu’une base de données vectorielle nécessite des disques locaux stables et une installation soignée. La couche de base doit héberger les trois sans les traiter de la même manière.

Cela explique également la préférence pour des fichiers de configuration simples au format Kubernetes, ainsi que pour Kustomize et FluxCD. Helm n’est pas exclu en principe. Cependant, lorsque c’est une seule personne qui gère et qui paie pour le système, il est plus avantageux de garder le modèle de déploiement visible. L’inspection d’un StatefulSet doit permettre de voir ce qui est en cours d’exécution, comment le stockage est monté, comment un nœud démarre et d’où proviennent les configurations.

Garantir que la base de données vectorielle puisse être remplacée

Les systèmes de recherche sémantique ont tendance à s’organiser autour du stockage vectoriel. C’est naturel : il se trouve sur le parcours critique des requêtes, contient des données dérivées coûteuses et influence la latence, le taux de rappel, l’utilisation de la mémoire ainsi que les coûts d’exécution grâce à sa stratégie d’indexation. Lorsque suffisamment de données s’accumulent, l’ignorer est préjudiciable. Par conséquent, le reste de la plateforme ne devrait pas dépendre structurellement d’une seule base de données.

Qdrant est aujourd’hui le moteur principal, mais il agit comme cible de routage et non comme identité de la plateforme. Les raisons de son choix ont été abordées ailleurs, donc l’attention se porte ici sur la structure.

Il serait erroné de qualifier la couche de déconnexion d’une API de base de données universelle. Elle se compose d’un mécanisme de placement tenant compte des utilisateurs, d’adaptateurs spécifiques à chaque backend ainsi que d’un gateway qui protège les clients de ces éléments. Les particularités de chaque backend sont gérées par un petit adaptateur de stockage, et pour chaque requête, le gateway lit le backend configuré pour l’utilisateur avant d’envoyer l’opération à cet adaptateur. Les bases de données vectorielles ne partagent pas des sémantiques identiques, et rien ne prétend le contraire. L’objectif est de maintenir le placement et la construction des requêtes en dehors de l’API publique et du flux de requêtes général. Aucune structure de collection ou d’index n’est présumée : la configuration de l’utilisateur définit le type de backend et le nœud d’indexation, et le gateway résout ces éléments lors de l’arrivée de la requête.

Le gateway de production actuel continue de gérer à ce niveau les chemins liés à Qdrant et à RediSearch. La compatibilité vers l’arrière avec Redis n’est qu’un aspect parmi d’autres. Aucune base de données vectorielle ne peut garantir de convenir à tous les types de travaux de recherche, car l’écosystème évolue trop rapidement. Les bases de données ajoutent constamment des vecteurs spars, de nouvelles méthodes de quantification, des index basés sur le disque, un soutien pour les interactions en temps réel, une accélération par GPU ainsi que de nouvelles architectures de recherche distribuée. Ce qui est optimal aujourd’hui peut devenir un goulot d’étranglement plus tôt que prévu.

Pourquoi router au niveau de l’application

Il existe également un argument plus profond lié aux systèmes distribués. L’échelle horizontale n’est pas infinie, contrairement à ce que suggère la publicité cloud. L’expression « s’échelle horizontalement » masque le coût de coordination. À mesure que l’ensemble de données s’élargit, les requêtes touchent davantage de partitions, la réplication consomme plus de bande passante, le rééquilibrage devient plus coûteux, les surfaces de coordination s’élargissent et le temps de réponse final commence à suivre le rythme du participant le plus lent. Selon la charge de travail, une capacité supplémentaire dans un cluster logique donne finalement des résultats de plus en plus faibles.

Le modèle de multi-locataires change la donne, car les locataires constituent une partition naturelle. Rien ne force chaque site web indépendant à partager un seul cluster vectoriel géant. Certains locataires peuvent fonctionner sur une seule implémentation Qdrant, d’autres sur une seconde, et celui ayant une charge particulièrement lourde peut disposer d’un nœud de base de données dédié si sa charge le justifie.

Imaginez un déploiement hébergeant des milliers de petits sites, presque tous fonctionnant correctement sur un cluster partagé. Puis un client apparaît dont le catalogue dépasse celui de centaines de locataires existants réunis, générant un trafic de requêtes constant qui remet en cause le plan de capacité. Échelonner le cluster partagé pour tout le monde ne devrait pas être la seule solution. Grâce au routage, ce locataire est transféré sur du matériel séparé, l’API du client reste inchangée et les locataires non concernés échappent aux conséquences.

Des déploiements distincts permettent également de définir des limites en cas de panne. L’échelonnement n’est pas le seul motif pour diviser les charges de travail. Parfois, il s’agit d’empêcher qu’un locataire problématique ou un cluster surchargé ne deviennent un problème pour tout le monde.

Le shardage porte sur la manière de répartir les données au sein d’un même système de base de données. Le routage au niveau de l’application se demande s’il est vraiment nécessaire que toutes les données se trouvent dans le même système. Un travail de charge fortement multi-locataire bénéficie de l’utilisation des deux approches. C’est pourquoi le nœud d’indexation et le backend sont configurés en fonction des locataires plutôt que d’être intégrés de manière fixe dans la logique de l’application. Ajouter un autre moteur vectoriel par la suite reste principalement une tâche d’adaptateur local et ne devient pas une migration à l’échelle de la plateforme.

La prochaine hypothèse à remettre en question

La dissociation du stockage a permis de gérer une migration future tout en révélant une autre hypothèse cachée. Une requête de recherche hybride ne commence pas dans la base de données : elle commence avec un modèle d’apprentissage automatique, et les modèles évoluent encore plus rapidement que les moteurs de stockage. Une fois que la base de données vectorielle est reconnue comme incapable de définir la plateforme, il ne faut pas non plus permettre aux modèles d’incorporation de le faire.