Inicio / Artículos

Migración de RAG de Pinecone a Postgres pgvector: seis meses después

Seis meses después de trasladar RAG de Pinecone a Postgres pgvector: 9 millones de vectores, costos reales, cifras de latencia y precisión, qué empeoró y cuándo es adecuado usar pgvector.

Editor: REACTAPP.TOP7 min de lectura1690 palabras

Fuentes: Six months of running RAG on Postgres + pgvector instead of Pinecone

Un equipo de SaaS B2B observó cómo la factura de Pinecone superaba las cinco cifras por tercer mes consecutivo y finalmente realizó los cálculos que la infraestructura había estado evitando. Aproximadamente 9 millones de vectores se almacenaban en Pinecone, aunque los mismos datos ya estaban guardados en Postgres para los metadatos. Existía una segunda base de datos únicamente para leer lo que almacenaba la primera.

La migración tomó un fin de semana largo, y eso fue lo sencillo. Lo importante son los seis meses siguientes: los ahorros, las sorpresas que nadie mencionó y los dos o tres casos en los que Pinecone sigue pareciendo la mejor opción. A continuación se presentan datos reales de producción para quienes consideren usar pgvector frente a una base de datos de vectores dedicada, sin ningún tipo de pruebas de rendimiento artificial.

La carga de trabajo

Cada cliente de la plataforma cuenta con una base de conocimientos privada, y el flujo de trabajo RAG se parece más o menos a esto:

  • En cualquier momento hay entre 8 y 12 millones de vectores, distribuidos entre unos 400 clientes.
  • Los embeddings provienen de text-embedding-3-small de OpenAI, con 1536 dimensiones.
  • La recuperación toma los 12 resultados principales y los vuelve a clasificar con un codificador cruzado de Cohere.
  • La búsqueda es híbrida: BM25 más vectores densos, fusionados mediante fusión de rangos recíprocos.
  • El tráfico promedia unas 80 consultas por segundo y alcanza picos cercanos a 600 durante las horas laborales en EE. UU.
  • Todo funciona en una sola región de AWS, distribuido en varias zonas de disponibilidad.

En Pinecone, la configuración fue la clase de pod p2.x2 con una réplica y dos pods para garantizar disponibilidad. Un pod de esa clase alberga aproximadamente 5 millones de vectores, por lo que se utilizaron dos. Se añadió almacenamiento de metadatos en la versión de pago, con el correspondiente sobrecoste del plan estándar. La factura fue justa, ya que el equipo realmente utilizó lo por lo que pagó.

Por qué considerar pgvector

Tres factores impulsaron la evaluación:

  1. Los metadatos ya existían en Postgres. Cada vector contenía de 12 a 25 campos de datos, como el ID del usuario, el ID del documento, las reglas ACL, el tipo de origen y las marcas de tiempo. Buscar en los vectores y luego volver a Postgres para aplicar las reglas de acceso era lento y poco eficiente.
  2. Superficie operativa. Dos bases de datos implican dos estrategias de respaldo, dos sistemas de monitoreo, dos conjuntos de credenciales y dos componentes que pueden fallar a las 3 a.m.
  3. Aspectos económicos. La tarifa de Pinecone por pod aumenta de forma escalonada, y para manejar 10 millones de vectores se habría necesitado un tercer pod.

La migración en tres fases

Aunque la migración varía según cada equipo, su estructura general merece ser compartida.

Modo sombra, dos semanas. Cada inserción se realizó dos veces, tanto en Pinecone como en una instancia de Postgres 16 con pgvector, mientras que las lecturas continuaron dirigiéndose a Pinecone. Se compararon las puntuaciones Recall@10 y de calidad de respuesta obtenidas con un conjunto de 800 pares de preguntas y respuestas de clientes reales evaluados por un modelo LLM, y las diferencias estuvieron dentro de los límites normales de variación.

Traáfico interno, dos semanas. Se trasladaron las cuentas de pruebas y las cuentas propias del equipo. Esto expuso a pgvector a patrones de carga reales: picos intensos de sincronización por las mañanas, consultas irregulares de los clientes y solicitudes poco comunes de tipo “long tail” que solo se presentan en entornos de producción. Aparecieron dos problemas aquí, y ambos se mencionan más adelante.

Cambio a producción, un fin de semana. Las inserciones se realizaron en ambos sistemas durante 48 horas como medida de seguridad, y luego se cambiaron las lecturas. El índice antiguo de Pinecone permaneció activo durante 30 días como opción de reversión antes de ser eliminado.

El cambio en el código fue pequeño. Lo que requirió reflexión fue el aspecto de infraestructura: dimensionar Postgres para una carga de trabajo de vectores, configurar PgBouncer y establecer sistemas de monitoreo.

Seis meses de cifras

Estas cifras provienen del conjunto de herramientas de observabilidad del equipo.

Los gastos relacionados con la base de datos disminuyeron en aproximadamente un 70%, y el costo por millón de vectores bajó en una proporción similar. La tendencia es más importante que la cifra absoluta. Para una startup, una reducción real en los costos mensuales es mejor que una cifra anual impactante, ya que el costo operativo mensual determina el tiempo de operación, el ritmo de contrataciones y cuánto tiempo se puede tolerar una decisión técnica errónea. Otra ventaja fue la reducción de la carga mental. Ya no hay ningún proyecto de “base de datos de vectores” en el plan de trabajo. Solo existe un clúster de Postgres.

Latencia

Ambos sistemas utilizaban el mismo código de aplicación, el mismo algoritmo de reclasificación y el mismo cliente. La latencia de recuperación de extremo a extremo, que incluye la búsqueda vectorial, el filtro de metadatos y la reclasificación, se midió en los valores p50, p95 y p99 durante un período de siete días consecutivos en el sexto mes.

pgvector es ligeramente más rápido en la parte central de la distribución, pero la verdadera ventaja se observa en los valores extremos. El p99 de Pinecone varió entre 190 ms y 480 ms de una semana a otra, como efecto secundario del reequilibrio de pods y de la compactación que se ejecutan en segundo plano. El p99 de pgvector se mantiene estable, exactamente como debería hacerlo una base de datos.

Existen dos consideraciones importantes:

  • El índice es HNSW con ef_construction=128 y m=16, y se crea para cada usuario. Esa estrategia por usuario es esencial para el modelo ACL.
  • Postgres se ejecuta cerca de los servidores de la aplicación, mientras que Pinecone requería una llamada de red entre regiones. En la misma región, la diferencia disminuiría.

Recuperación y calidad

Esta es la parte que causó más preocupación, y los números aquí son los que generan más confianza, ya que las evaluaciones se realizan constantemente.

La tasa de recuperación disminuyó 0.5 puntos porcentuales, lo cual queda dentro de los márgenes de error. Nunca se reflejó en la calidad percibida por los usuarios, y los puntajes obtenidos con el LLM como juez no pueden diferenciarse estadísticamente. Se esperaba una diferencia mayor.

Un cambio fue especialmente importante: establecer hnsw.ef_search=200 en el momento de la consulta en lugar del valor predeterminado de 40. Si hay un detalle de ajuste que vale la pena mantener, es ese, porque el valor predeterminado de Postgres prioriza la velocidad de indexación sobre la calidad de la recuperación.

Fiabilidad

  • Pinecone, en los seis meses anteriores al cambio: dos incidentes de rendimiento reducido debido a pods que no podían escalar, un evento de latencia en toda la región y sin pérdida de datos. Su fiabilidad ha sido buena.
  • pgvector, durante el semestre posterior: nada relacionado con la búsqueda vectorial. Postgres sí tuvo dos incidentes, ninguno relacionado: agotamiento del pool causado por un despliegue defectuoso y un aumento temporal en el retraso de las réplicas. Permanecer en Pinecone no habría cambiado nada de esto.

Qué mejoró

Decir “Postgres es genial” no dice nada, así que aquí hay detalles concretos.

  1. Una consulta para el filtrado. El filtrado por tenant_id en Pinecone depende de un filtro de metadatos en el lado del servidor. Cualquier operación que vaya más allá de una simple prueba de igualdad choca con el límite de 40 KB de metadatos o con un tiempo de espera de la consulta. En Postgres se utiliza una cláusula WHERE, que Postgres maneja de manera excelente. Se eliminó un fragmento de código de la aplicación que existía únicamente para el pre-filtrado.
  2. ACID en los datos. Antes existía un período de consistencia temporal en el que un documento eliminado en Postgres permanecía buscable en Pinecone durante hasta cinco minutos. Ahora es una sola transacción: se escribe el documento, se escribe la representación vectorial, se actualiza el índice y se confirma la operación. Aburrido, pero maravilloso.
  • Cambios en el esquema sin reindexación. Recientemente se añadió un nuevo campo de metadatos como una columna sencilla. No fue necesario reconstruir nada, no hubo necesidad de un período de escritura dual ni tarea de indexación de 18 horas.
  • Las copias de seguridad cubren los vectores. La ventana de recuperación en un punto específico del tiempo incluye todo, mientras que Pinecone requería su propio calendario de capturas de estado.
  • Una única cadena de conexión. En serio: a través de psycopg, los nuevos ingenieros aprenden una sola base de datos y no dos.
  • Qué empeoró

    La migración no fue gratuita. Los costos reales fueron:

    1. Las consultas filtradas con baja selectividad son más lentas. El diseño de los pods de Pinecone está verdaderamente optimizado para búsquedas vectoriales por fuerza bruta combinadas con filtros de metadatos. Para un patrón como “buscar 10 millones de vectores y devolver 5,000”, típico de las cargas de trabajo de recomendaciones, pgvector es la herramienta inadecuada. Este equipo utiliza búsquedas y reclasificación, y por eso funcionó. Un sistema de recomendaciones experimentaría una regresión en el rendimiento.
    2. Falta de multi-tenancy a nivel de índice nativo. Los nombres de espacio de Pinecone establecían límites estrictos entre los usuarios. Con pgvector, esto se aplica a través del código de la aplicación. Aunque se aplica, se trata del acuerdo del equipo y no del de la base de datos.
    3. Falta de híbrido gestionado entre estructuras dispersas y densas. BM25 se configuró manualmente, lo que llevó una semana. No es un factor decisivo, pero Pinecone habría ahorrado esa semana.
  • La reconstrucción de HNSW es desagradable. Cambiar el modelo de embedding el mes pasado implicó una reconstrucción de 14 horas, y Pinecone maneja reconstrucciones similares a gran escala más rápidamente.
  • El equipo se convierte en una unidad de Postgres con una carga de trabajo vectorial. Un pequeño equipo de Postgres ahora debe comprender los parámetros de HNSW, ef_search, la cuantización y el pooling para un tipo de carga de trabajo que no se parece en nada a OLTP. Este equipo contaba con los recursos necesarios; no todos lo tienen.
  • El costo predecible tiene un límite. Los costos siguen siendo predecibles hasta aproximadamente 30 millones de vectores; después, la situación vuelve a ser compleja, ya que entran en juego la cuantización, el sharding o un motor especializado. Con 9 millones de vectores, Postgres funciona bien. Con 90 millones, es una pregunta abierta que se responderá el próximo año.
  • Guía de decisiones

    Después de seis meses, este es el camino a seguir.

    Opte por pgvector cuando:

    • Ya se está utilizando Postgres o algo compatible como Aurora.
    • La cantidad de vectores en producción es de alrededor de 20 millones, que es el punto óptimo actual.
    • La carga de trabajo consiste en RAG o búsquedas con reclasificación, y no en recomendaciones de tipo top-k.
    • Existe un equipo dedicado a Postgres que puede encargarse del ajuste de los vectores.
    • Los filtros de metadatos complejos resultan difíciles de manejar en la base de datos de vectores actual.

    Manténgase con una base de datos de vectores dedicada cuando:

    • La cantidad de vectores supera los 30 a 50 millones y sigue creciendo rápidamente.
    • La carga de trabajo es de tipo recomendación, con un valor k alto y una recuperación de baja precisión.
    • Se requiere un modelo híbrido entre disperso y denso, y no se desea crearlo manualmente.
    • No existe una práctica sólida en operaciones con Postgres.

    Siga el enfoque de este equipo cuando:

    • La primera opción se ajusta a sus necesidades, pero la facturación de Pinecone le resulta excesiva.

    ¿Qué sigue?

    La pregunta que queda es qué ocurre con 50 millones de vectores. Alcanzar esa cifra implica ajustar la cuantización en pgvector o examinar seriamente opciones como Qdrant y LanceDB. Postgres está incorporando funcionalidades vectoriales a gran velocidad, como HNSW basado en disco, una cuantización mejorada y tiempos de construcción más rápidos, por lo que la brecha podría reducirse aún más para entonces.

    Los análisis públicos detallados a este nivel son raros, y cualquier persona que haya realizado una migración similar con números diferentes, mejores, peores o simplemente extraños, aportaría valor al publicarlos.

    Leer más

  • Un chatbot de preguntas y respuestas sobre políticas que cita sus fuentes en lugar de adivinar — Cómo un chatbot RAG desarrollado con LangChain, pgvector y Express responde a las preguntas de los ciudadanos a partir de documentos oficiales, con citas y un umbral de confianza.