首页 / 文章

将RAG从Pinecone迁移到Postgres pgvector:六个月后的情况。

将RAG从Pinecone迁移到Postgres pgvector,六个月后的情况:900万个向量,实际成本、延迟及召回率数据,哪些方面变差了,以及何时适合使用pgvector。

发布者:REACTAPP.TOP阅读约 7 分钟1690 词

来源: Six months of running RAG on Postgres + pgvector instead of Pinecone

一个B2B SaaS团队发现,Pinecone的账单连续第三个月突破五位数大关,他们终于算出了之前一直被忽视的基础设施成本。尽管相同的数据已作为元数据存储在Postgres中,但仍有约900万个向量存储在Pinecone里。另一个数据库的存在仅仅是为了读取第一个数据库中的数据。

完成这次迁移只用了一个长周末,而这还算容易的部分。真正关键的是之后的六个月:节省的成本、那些没人提及的意外情况,以及仍有两三个场景下Pinecone显得更优的情况。以下是供那些正在考虑在pgvector与专用向量数据库之间做选择的人参考的实际运行数据,不包含任何基准测试的虚假内容。

工作负载

平台上的每个客户都会拥有一个私有的知识库,RAG流程大致如下:

  • 任何时刻都有800万到1200万个向量存在,分布在大约400个客户租户中。
  • 嵌入向量来自OpenAI的text-embedding-3-small模型,维度为1536。
  • 检索时会选取前12个结果,再通过Cohere交叉编码器对它们进行重新排序。
  • 搜索方式为混合模式,结合BM25与密集向量,并通过互反排名融合技术整合结果。
  • 平均查询量约为每秒80次,在美国工作时段峰值可达到600次。
  • 所有服务都在AWS的某个区域内的多个可用区中运行。

在Pinecone上,采用的配置是型节点,包含一个副本以及两个用于保证可用性的节点。该类型的一个节点可存储约500万个向量,因此需要两个节点。在付费套餐中还需额外添加元数据存储功能,这会带来一定的费用增加。由于团队确实按需使用了服务,账单金额是合理的。

为何选择 pgvector

有三点促使我们进行评估:

  1. 元数据已存在于 Postgres 中。 每个向量都包含12到25个有效载荷字段,如租户ID、文档ID、ACL、数据来源类型以及时间戳。先对向量进行搜索,再返回 Postgres 应用访问规则,这一流程既缓慢又浪费资源。
  2. 运维复杂性。 两个数据库意味着需要两种备份策略、两套监控系统、两组凭证,还有可能在凌晨3点出现故障的两个组件。
  3. 成本效益。 Pinecone 的按容器计费方式是分阶段递增的,要处理1000万个向量就需要第三个容器。

分三阶段进行迁移

虽然每个团队的迁移方案各不相同,但其整体流程仍值得分享。

阴影模式,两周时间。每条嵌入数据都被写入两次,一次到Pinecone,一次到运行pgvector的Postgres 16实例,而读取操作则继续通过Pinecone完成。通过对比800组真实客户问答对作为评估依据得出的Recall@10值和答案质量分数,发现两者之间的差异处于正常波动范围内。

内部流量测试,两周时间。测试环境及团队自身的账户都被迁移过去。这使得pgvector面临真实的负载情况:早晨的同步数据量激增、客户查询量波动较大,以及仅在生产环境中才会出现的零散长尾请求。在此过程中出现了两个问题,这两个问题也将在后文提及。

生产环境切换,一个周末时间。作为安全措施,写入操作在48小时内同时发送到两个系统,之后再将读取操作切换过去。旧的Pinecone索引保留了30天作为回滚选项,之后才被删除。

代码改动很小,需要重点考虑的是基础设施方面:为向量处理任务调整Postgres的配置、设置PgBouncer以及建立监控机制。

六个月的数据

这些数据来自团队的可观测性系统。

数据库相关支出下降了约70%,每百万个向量的成本也下降了相近的比例。相比绝对数值,变化趋势更为重要。对于初创公司而言,每月成本的真正降低比年度数据更具有意义,因为每月的运营成本决定了公司的资金周转能力、招聘速度以及能够承受错误技术决策的时间长度。另一项改善则是减少了精神负担——路线图中不再有“向量数据库”相关项目,现在只有一个Postgres集群。

延迟

两种系统都基于相同的应用代码、相同的重排算法以及相同的客户端。在第六个月的连续七天时间内,对涵盖向量搜索、元数据过滤和重排的端到端检索延迟进行了p50、p95和p99指标的测量。

pgvector在分布中间部分的性能稍快,但真正的优势体现在数据尾部。Pinecone的p99值在每周之间会在190毫秒到480毫秒之间波动,这是后台进行的节点重新平衡和数据压缩操作带来的副作用。而pgvector的p99值则保持稳定,正符合数据库应有的表现。

有两点需要注意:

  • 索引采用HNSW结构,参数为ef_construction=128和m=16,并且是针对每个租户单独构建的。这种按租户划分的策略对ACL模型而言至关重要。
  • Postgres运行在应用服务器附近,而Pinecone则需要跨区域网络调用。若在同一区域,两者之间的差距会缩小。
  • 召回率与质量

    这部分最令人担忧,而且由于评估是持续进行的,这里的数值最具可信度。

    召回率下降了0.5个百分点,仍在误差范围内。这一变化并未体现在面向用户的质量指标中,而且以大语言模型作为评判标准的得分在统计上也无法区分开来。原本预计差距会更大。

    有一个改动最为重要:在查询时将hnsw.ef_search=200设置为默认值40之外的数值。如果只保留一个调整细节的话,那就是这个,因为Postgres的默认设置更注重索引速度而非检索质量。

    可靠性

    • Pinecone在迁移前的六个月内:发生了两起性能下降事件,表现为Pod无法正常扩展;还有一起全区域延迟问题,但未出现数据丢失情况。其可靠性表现良好。
    • pgvector在之后的半年里:没有与向量搜索相关的故障记录。Postgres则出现了两起故障,但都与向量搜索无关——一起是由于部署错误导致的资源池耗尽,另一起则是副本延迟加剧。继续使用Pinecone也不会改变这些状况。

    哪些方面有所改善

    仅仅说“Postgres很棒”并不够,以下是具体表现。

    1. 单一查询用于过滤。在 Pinecone 中,通过 tenant_id 进行过滤依赖于服务器端的元数据过滤器。任何超出简单相等性测试的操作都会遇到 40KB 的元数据限制或查询超时问题。而在 Postgres 中则是通过 WHERE 子句来实现,Postgres 能够很好地处理这类操作。原本仅用于预过滤的一段应用程序代码已被删除。
    2. 数据的 ACID 特性。过去存在一个软一致性窗口,即在 Postgres 中删除的文档在 Pinecone 中仍可被搜索的时间最长为五分钟。现在则通过一个完整的事务来完成:写入文档、写入嵌入向量、更新索引,最后提交。虽然简单,但却非常理想。
  • 无需重新索引即可修改模式结构。最近新增的元数据字段仅以普通列的形式出现,无需重建任何内容,没有双重写入阶段,也不用进行18小时的索引处理。
  • 备份涵盖所有向量数据。时间点恢复功能可覆盖所有内容,而Pinecone则需要单独设置快照计划。
  • 仅需一个连接字符串。确实如此:通过psycopg,新工程师只需学习一种数据库,而非两种。
  • 哪些方面变得更糟了

    这次迁移并非没有成本。实际支出包括:

    1. 低选择性的过滤查询速度更慢。 Pinecone的节点设计确实是针对暴力向量扫描与元数据过滤组合场景优化的。对于推荐系统常见的“搜索1000万个向量并返回5000个结果”这类任务,pgvector并非合适工具。该团队之所以能成功应用,是因为他们实现了搜索与重排序功能。而若用于推荐系统,则会导致性能下降。
    2. 没有原生的索引级多租户支持。 Pinecone的命名空间设置了严格的租户隔离边界,而pgvector则通过应用程序代码来实现这一机制。虽然有隔离措施,但这属于团队层面的约定,而非数据库本身的功能。
    3. 没有托管式的稀疏与密集型混合存储功能。 BM25索引需要手动配置,耗时一周。这虽不是决定性缺陷,但Pinecone本可以节省这一周的时间。
  • HNSW的重建过程十分繁琐。上个月更换嵌入模型时就需要进行14小时的重建工作,而Pinecone在处理大规模同类重建任务时速度更快。
  • 团队变成了承担向量计算任务的Postgres团队。原本负责Postgres的小团队现在不得不了解HNSW参数、ef_search机制,以及量化与池化技术,而这些技术所适用的工作负载与OLTP完全不同。这个团队有相应的人才,但并非所有团队都具备。
  • 成本的可预测性存在上限。在向量数量约为3000万之前,成本仍可保持可预测性,之后情况又会变得复杂,需要引入量化、分片或专用引擎等解决方案。对于900万向量来说,Postgres表现良好;而9000万向量的情况则仍是未知数,需等待明年才有答案。
  • 决策指南

    经过六个月的时间,应遵循以下决策路径。

    以下情况建议选择 pgvector:

    • 已经在使用 Postgres 或类似的可兼容系统,如 Aurora。
    • 生产环境中的向量数量在2000万左右,这是目前的最佳规模。
    • 工作负载为 RAG 或带重排功能的搜索,而非 top-k 推荐。
    • 有专门的 Postgres 团队负责向量优化。
    • 当前的向量数据库难以处理复杂的元数据过滤需求。

    以下情况建议继续使用专用向量数据库:

    • 向量数量已超过3000万到5000万且仍在快速增长。
    • 工作负载为推荐系统类型,需要高 k 值和低精度检索。
    • 需要稀疏与密集型混合存储结构,且不想自行构建。
    • 缺乏成熟的 Postgres 操作经验。

    以下情况建议遵循该团队的方案:

    • 符合前几项条件,但 Pinecone 的费用令你望而却步。

    下一步是什么

    目前仍存在的问题是当向量数量达到5000万时会发生什么。要解决这个问题,要么需要调整pgvector的量化设置,要么认真研究Qdrant和LanceDB。Postgres正在快速添加各种向量功能,比如基于磁盘的HNSW、更优的量化算法以及更快的构建速度,因此到那时这一差距可能会进一步缩小。

    如此详尽的公开复盘十分罕见,任何经历过类似迁移、且处理的数据量有所不同、效果更好、更差或情况特殊的人,若能分享自己的经验都将具有很大价值。

    相关阅读

  • 一个会引用来源而非凭猜测回答问题的政策问答聊天机器人 —— 基于LangChain、pgvector和Express构建的RAG聊天机器人如何通过引用来源及设定置信度阈值来回答公民关于官方文件的问题。