基于Kubernetes和Qdrant设计可移植的多租户语义搜索系统。
语义搜索平台如何利用Kubernetes实现可移植性及租户感知路由,从而确保其向量数据库可被替换且工作负载相互隔离。
来源: Stop Searching by Coincidence: Portability and the Storage Decoupling Layer
一旦系统建成,其架构图似乎就是显而易见的答案。一个与嵌入模型相连的网关、向量存储、消息代理以及关系型数据库,看起来是唯一合理的组合:查询发送到这里,数据摄入通过队列处理,而模型则独立于应用程序存在。
现实中的系统很少如此井然有序。它们总是受到各种限制的制约,一个决策会在其他地方带来压力,而解决方案又会增加新的要求。最终呈现出的架构看似经过精心规划。更有意义的问题是,为什么每个边界会处于当前的位置。
所讨论的平台
此处描述的系统是一种用于语义搜索与检索的多租户基础设施,其功能远超普通的 WordPress 搜索插件。它需要接收文档、将其转换为可检索的表示形式并存储起来,同时支持低延迟的混合搜索,并具备足够的灵活性,避免依赖某一种特定的向量数据库或机器学习模型而形成固定约束。
其构成要素包括:
- 以 Kubernetes 作为基础设施基础。
- 使用 Go 语言编写的 API 网关来协调各类请求。
- 以 Snowflake Arctic 作为主要的嵌入模型。
- 以 Qdrant 作为主要的向量数据库。
- 使用 MySQL 存储租户信息及认证配置。
- 通过 NATS 实现异步数据接收流程。
首先选择 Kubernetes
在大多数应用程序组件之前就确定编排层似乎有些本末倒置,因为通常的顺序是先进行构建,之后再决定部署方式。此处,基础设施的便携性是一项产品需求,因此部署问题不能被搁置到后期考虑。必须保留两种运行模式。
一种是有托管控制平面的公有云;另一种则是成本高于便利性时团队自行管理集群的更低成本环境。这两种模式并不完全相同,Kubernetes也无法消除不同供应商之间的差异。存储、网络、负载均衡器、GPU供应以及节点配置仍由各供应商自行决定。它所提供的是位于这些组件之上的统一运营框架。
在那个边界之下,工作负载的映射十分清晰。模型服务器属于容器,而网关则是一种部署类型。Qdrant是带有持久化卷的状态型基础设施,NATS则属于另一种网络服务。配置采用声明式方式,无论节点来自大型云平台还是自管理的集群,服务发现机制都保持一致。
这一点很重要,因为成本曲线会随着业务增长而变化。当简洁性比成本更为重要时,托管服务是不错的选择。但一旦流量变得可预测,或者工作负载需要专用节点,又或者高昂的推理硬件占据了大部分成本,情况就会发生变化。此时无需立即更换为更便宜的基础设施,也无需同步重新设计应用程序。因此,Kubernetes与其说是一种部署工具,不如说是一种提升架构可移植性的层。
机器学习基础设施也存在异常不均衡的情况,这构成了第二个原因。API服务、嵌入模型和向量数据库各自的扩展方式各不相同,其内存需求、启动时间以及故障原因也各有差异。无状态服务可在几秒钟内扩展,而模型服务器可能需要先加载庞大的文件,向量存储则要求稳定的本地磁盘以及精心规划的位置。底层架构应能够同时承载这三种组件,而不能将它们一视同仁。
这也解释了为何人们偏爱使用纯Kubernetes配置文件、Kustomize和FluxCD。原则上Helm并非不可用。不过,当由一个人负责操作并支付系统费用时,让部署模型保持透明更为重要。通过检查StatefulSet,可以了解正在运行的服务、存储的挂载方式、节点的启动过程以及配置的来源。
确保向量数据库可替换
语义搜索系统通常以向量存储为核心进行构建。这是很自然的:向量存储位于查询处理的关键路径上,存储着成本高昂的衍生数据,并通过其索引策略决定系统的延迟、召回率、内存使用量以及运行成本。一旦积累了足够的数据,放弃向量存储就会带来负面影响。因此,整个平台在结构上不应依赖某一个特定的数据库。
目前Qdrant是主要的引擎,但它仅作为路由目标存在,而非整个平台的核心。选择它的原因已在其他地方阐述过,此处重点仍在于系统架构。
将解耦层称为通用数据库API是错误的。它由考虑租户需求的资源分配机制、针对不同后端的适配器以及一个能够保护客户端免受这些因素影响的网关组成。每个后端的特殊要求都通过小型存储适配器来处理,对于每个请求,网关会读取租户配置的后端类型,然后将操作转发给相应的适配器。向量数据库之间不存在相同的语义,也没有任何东西试图伪装成如此。其目的在于将资源分配和查询构建过程与公共API及更广泛的请求流程分开。系统不预设任何集合或索引结构:租户配置决定了后端类型和索引节点,而网关会在接收到请求时解析这两者。
当前的生成式接口层仍在其后保留了 Qdrant 和 RediSearch 两种路径。与 Redis 的向后兼容仅是其中一部分考量。没有任何一种向量数据库能够保证适用于所有检索任务,因为相关技术发展速度实在太快。各类数据库不断新增稀疏向量处理功能、新的量化方法、基于磁盘的索引、后期交互支持、GPU 加速以及不同的分布式搜索架构。如今看似最优的方案也可能在比预期更短的时间内变成瓶颈。
为何要在应用层进行路由
在分布式系统层面还有更深入的考量。正如云营销宣传的那样,水平扩展并非无限制的。所谓“水平扩展”实际上忽略了协调成本的问题。随着数据集规模的扩大,查询需要涉及更多分区,数据复制会占用更多带宽,重新平衡的成本也会上升,协调工作的范围随之扩大,最终延迟会受最慢节点的影响。根据工作负载的不同,单个逻辑集群中的额外容量最终带来的收益会逐渐递减。
多租户模式改变了这一状况,因为租户本身就构成了天然的划分单元。并非所有独立网站都必须共享同一个大型向量集群。有些租户可以使用一个Qdrant部署,有些则可以使用另一个,而负载特别大的租户在需要时还可以获得专用的数据库节点。
想象一下,某个部署环境需要托管数千个小型网站,几乎所有网站都能在共享集群上正常运行。但后来出现了一个客户,其数据量超过了现有所有用户的总和,且持续的查询流量使得原有的容量规划不再适用。为此就只能扩大共享集群的规模来满足所有人的需求,但这并非唯一的解决办法。通过路由机制,该客户可以被转移到独立的硬件上,这样客户端的API无需改动,其他用户也不会受到影响。
独立的部署环境还能起到故障隔离的作用。划分工作负载并非仅仅为了扩展规模,有时是为了防止某个问题严重的用户或过载的集群影响到所有用户。
分片技术解决的是如何在一个数据库系统中分布数据的问题。而应用层路由则探讨是否真的需要将所有数据都放在同一个系统中。对于强多租户型工作负载而言,结合这两种技术能带来更大优势。正因如此,索引节点和后端才会采用租户配置方式,而非硬编码到应用逻辑中。日后添加新的向量引擎时,大多只需进行本地适配即可,无需进行全平台级别的迁移。
下一个需要质疑的假设
存储解耦解决了某一次未来的迁移问题,同时也暴露了另一个隐藏的假设。混合搜索请求并非从数据库开始,而是从机器学习模型开始,而模型的更新速度甚至比存储引擎还要快。一旦认定向量数据库无法定义整个平台,那么嵌入模型也同样不能被赋予定义平台的权力。