Diseño de una búsqueda semántica multiinquilino portátil en Kubernetes y Qdrant
Cómo una plataforma de búsqueda semántica utiliza Kubernetes para lograr portabilidad y enrutamiento sensible al inquilino, a fin de mantener su base de datos vectorial reemplazable y sus cargas de trabajo aisladas.
Fuentes: Stop Searching by Coincidence: Portability and the Storage Decoupling Layer
Una vez que se construye un sistema, su diagrama de arquitectura parece ser la respuesta obvia. Una pasarela conectada a un modelo de embedding, un almacén de vectores, un broker y una base de datos relacional parecen ser la única configuración razonable: las consultas van aquí, la ingesta pasa por una cola, y el modelo está separado de la aplicación.
Los sistemas reales rara vez se presentan de manera tan ordenada. Se ven afectados por limitaciones, donde una decisión genera presión en otro lugar y la solución añade otro requisito más. El resultado final parece planificado. La pregunta más útil es por qué cada límite se encuentra donde está.
La plataforma en cuestión
El sistema descrito aquí es una infraestructura multiinquilino para búsquedas y recuperación semántica, que va mucho más allá de un simple plugin de búsqueda de WordPress. Debe poder procesar documentos, convertirlos en representaciones recuperables, almacenarlas, realizar búsquedas híbridas de baja latencia y mantenerse lo suficientemente flexible como para que ninguna base de datos vectorial o modelo de ML se convierta en una dependencia permanente.
Los componentes básicos:
- Kubernetes como base de la infraestructura.
- Una pasarela API en Go que coordina las solicitudes.
- Snowflake Arctic como el modelo de incrustación principal.
- Qdrant como la base de datos vectorial principal.
- MySQL para almacenar la configuración de los inquilinos y credenciales.
- NATS para gestionar el proceso de ingestión asíncrona.
Elegir Kubernetes antes que nada
Elegir la capa de orquestación antes que la mayoría de las partes de la aplicación parece algo contrario a la lógica habitual, ya que el orden normal es construir primero y decidir sobre el despliegue más tarde. En este caso, la portabilidad de la infraestructura era un requisito del producto, por lo que el despliegue no podía ser algo secundario. Había que mantener abiertos dos modos de operación.
Uno es una nube pública con un plano de control gestionado. El otro es un entorno más económico donde el equipo gestiona el clúster por sí mismo una vez que los costos superan a la comodidad. Estos no son idénticos, y Kubernetes no elimina las diferencias entre proveedores. El almacenamiento, las redes, los balanceadores de carga, el suministro de GPU y la provisión de nodos siguen siendo específicos de cada proveedor. Lo que sí proporciona es un límite operativo estable que se sitúa por encima de ellos.
Bajo ese límite, las cargas de trabajo se asignan de manera clara. Los servidores de modelo son pods y la pasarela es un despliegue. Qdrant es una infraestructura con estado que utiliza volúmenes persistentes, mientras que NATS es otro servicio de red. La configuración es declarativa, y el descubrimiento de servicios funciona de la misma manera independientemente de que los nodos provengan de una nube grande o de un clúster autogestionado.
Eso es importante porque las curvas de costos cambian con el crecimiento. Un servicio gestionado es una buena opción cuando la simplicidad prevalece sobre el precio. Las cálculos cambian una vez que el tráfico se vuelve predecible, una vez que las cargas de trabajo justifican nodos dedicados o una vez que el costoso hardware de inferencia domina la factura. Un cambio posterior a una infraestructura más económica no debería requerir rediseñar la aplicación al mismo tiempo. Por lo tanto, Kubernetes funciona menos como herramienta de despliegue y más como una capa de portabilidad para la arquitectura.
La infraestructura de ML también es excepcionalmente desigual, lo que constituye una segunda razón. Un servicio API, un modelo de embedding y una base de datos vectorial escalan cada uno a su manera, con necesidades de memoria, tiempos de inicio y causas de fallo distintas. Los servicios sin estado pueden distribuirse en cuestión de segundos, un servidor de modelos puede necesitar primero cargar un archivo de gran tamaño, y un almacén vectorial requiere discos locales estables y una ubicación planificada. La capa base debe alojar los tres sin tratarlos como si fueran iguales.
Esto también explica la preferencia por los manifiestos simples de Kubernetes, Kustomize y FluxCD. En principio, Helm no está descartado. Sin embargo, cuando una sola persona opera y paga por el sistema, resulta más útil mantener visible el modelo de despliegue. Al inspeccionar un StatefulSet se debe poder ver qué está en ejecución, cómo se montan los almacenamientos, cómo arranca un nodo y de dónde proviene la configuración.
Mantener la base de datos vectorial reemplazable
Los sistemas de búsqueda semántica tienden a organizarse alrededor del almacén de vectores. Eso es natural: se encuentra en la ruta crítica de las consultas, alberga datos derivados costosos y determina la latencia, la capacidad de recuperación, el uso de memoria y el costo operativo a través de su estrategia de indexación. Cuando se acumula suficiente datos, dejarlo de lado perjudica el rendimiento. Por lo tanto, el resto de la plataforma no debería depender estructuralmente de una sola base de datos.
Qdrant es el motor principal actualmente, pero funciona como destino de enrutamiento y no como identidad de la plataforma. Las razones para elegirlo ya se han explicado en otro lugar, por lo que aquí el enfoque se mantiene en la estructura.
Sería incorrecto denominar a la capa de desacoplamiento una API de base de datos universal. Está compuesta por un sistema de asignación sensible al inquilino, adaptadores específicos para cada backend y una pasarela que protege a los clientes de ambos. Las particularidades de cada backend se encuentran detrás de un pequeño adaptador de almacenamiento, y para cada solicitud la pasarela lee el backend configurado para el inquilino y luego reenvía la operación a dicho adaptador. Las bases de datos vectoriales no comparten semánticas idénticas, y nada pretende lo contrario. El objetivo es mantener la asignación y la construcción de consultas fuera de la API pública y del flujo general de solicitudes. No se asume la existencia de ninguna estructura de colección o índice: la configuración del inquilino indica el tipo de backend y el nodo de indexación, y la pasarela resuelve ambos elementos cuando llega la solicitud.
La pasarela de producción actual sigue incluyendo tanto las rutas de Qdrant como las de RediSearch detrás de esta capa. La compatibilidad hacia atrás con Redis es solo una parte del panorama. No existe ninguna base de datos vectorial que garantice adaptarse a todas las cargas de trabajo de recuperación, ya que el ecosistema evoluciona con demasiada rapidez. Las bases de datos siguen añadiendo vectores dispersos, nuevos métodos de cuantización, índices basados en disco, soporte para interacciones tardías, aceleración por GPU y diseños alternativos de búsqueda distribuida. Lo que hoy es óptimo puede convertirse en un cuello de botella antes de lo esperado.
¿Por qué enrutar a nivel de aplicación?
También existe un argumento más profundo relacionado con los sistemas distribuidos. La escalabilidad horizontal no es infinita, como implica el marketing en la nube. La expresión “escala horizontalmente” oculta el costo de coordinación. A medida que el conjunto de datos se expande, las consultas afectan a más particiones, la replicación consume más ancho de banda, el reequilibrio se vuelve más costoso, las superficies de coordinación aumentan y la latencia final comienza a seguir al participante más lento. Dependiendo de la carga de trabajo, la capacidad adicional en un clúster lógico acaba generando retornos decrecientes.
La multiarrendamiento cambia la situación, ya que los arrendatarios constituyen una partición natural. No es necesario que cada sitio web independiente comparta un único clúster vectorial gigantesco. Algunos arrendatarios pueden operar en una implementación de Qdrant, otros en otra, y aquellos con una carga especialmente alta pueden contar con un nodo de base de datos dedicado si su carga lo justifica.
Imagínese una implementación que alberga miles de sitios pequeños, casi todos funcionando sin problemas en un clúster compartido. Luego aparece un cliente cuyo catálogo supera en volumen al de cientos de inquilinos existentes juntos, con un tráfico de consultas constante que modifica por completo el plan de capacidad. Escalar el clúster compartido para todos no debería ser la única solución. Gracias al enrutamiento, ese inquilino se traslada a hardware separado, la API del cliente permanece intacta y los inquilinos no relacionados evitan las consecuencias.
Las implementaciones separadas también establecen un límite ante fallos. Escalar no es el único motivo para dividir las cargas de trabajo. A veces se trata de evitar que un inquilino problemático o un clúster sobrecargado se conviertan en un problema para todos.
El sharding se refiere a cómo distribuir los datos dentro de un mismo sistema de bases de datos. El enrutamiento a nivel de aplicación plantea si es necesario que todos los datos estén en el mismo sistema. Una carga de trabajo con múltiples usuarios beneficia al contar con ambos enfoques. Por eso, el nodo de indexación y el backend se encuentran en la configuración del usuario en lugar de estar codificados de forma fija en la lógica de la aplicación. Agregar otro motor vectorial posteriormente suele ser solo una tarea de adaptador local y no se convierte en una migración a nivel de toda la plataforma.
La siguiente suposición a cuestionar
El desacoplamiento del almacenamiento abordó una migración futura y reveló otra suposición oculta. Una solicitud de búsqueda híbrida no comienza en la base de datos, sino en un modelo de aprendizaje automático, y los modelos cambian incluso más rápido que los motores de almacenamiento. Una vez que se acepte que la base de datos vectorial no puede definir la plataforma, tampoco se puede permitir que el modelo de incrustación lo haga.
Leer más
- BM25 Plus pgvector con fusión de rango recíproco: búsqueda híbrida para RAG en Python — Por qué la recuperación densa omite términos exactos, cómo BM25 y la búsqueda por coseno se complementan entre sí, y una solución en Python que fusiona ambos métodos con RRF en Postgres.
- Recuperación en una wiki técnica: BM25, ventanas densas seguras para tokens y RRF — Recuperación basada en evaluación para una wiki técnica: objetivos de evidencia exacta, un punto de referencia con BM25, un error de truncación en MiniLM, ventanas de tokens y resultados de la fusión de rango recíproco.