Startseite / Artikel

Umzug von RAG von Pinecone zu Postgres pgvector: Sechs Monate später

Sechs Monate nach dem Umzug von RAG von Pinecone zu Postgres pgvector: 9 Millionen Vektoren, tatsächliche Kosten, Wartezeiten und Trefferquoten, was sich verschlechtert hat, und wann pgvector die richtige Wahl ist.

Verlag: REACTAPP.TOP7 Min. Lesezeit1690 Wörter

Quellen: Six months of running RAG on Postgres + pgvector instead of Pinecone

Ein B2B-SaaS-Team beobachtete, wie die Rechnung von Pinecone zum dritten Mal in Folge eine fünfstellige Summe erreichte, und führte schließlich die Berechnungen durch, die die Infrastruktur bisher vermieden hatte. In Pinecone wurden etwa 9 Millionen Vektoren gespeichert, obwohl dieselben Daten bereits für Metadaten in Postgres geschrieben worden waren. Eine zweite Datenbank existierte ausschließlich dazu, das, was die erste gespeichert hatte, wieder abzurufen.

Der Umstieg erforderte ein langes Wochenende – und das war noch der einfachere Teil. Entscheidend sind die sechs Monate danach: die Einsparungen, die Überraschungen, von denen niemand gesprochen hatte, sowie die zwei oder drei Fälle, in denen Pinecone weiterhin die bessere Wahl zu sein scheint. Was folgt, sind Produktionsdaten für alle, die pgvector mit einer dedizierten Vektordatenbank vergleichen möchten – ohne irgendwelche Benchmark-Veranstaltungen.

Die Arbeitslast

Jeder Kunde auf der Plattform erhält eine private Wissensdatenbank, und der RAG-Pipeline verläuft in etwa wie folgt:

  • Zu jedem Zeitpunkt sind zwischen 8 und 12 Millionen Vektoren vorhanden, die sich auf etwa 400 Kunden verteilen.
  • Die Embeddings stammen von OpenAIs text-embedding-3-small und haben 1536 Dimensionen.
  • Beim Abrufen werden die besten 12 Ergebnisse ausgewählt und mithilfe eines Cohere-Cross-Encoders neu rangiert.
  • Die Suche ist hybrid: BM25 in Kombination mit dichten Vektoren, die durch rekursive Rangfusion zusammengeführt werden.
  • Der Durchsatz liegt bei etwa 80 Abfragen pro Sekunde und erreicht während der Geschäftszeiten in den USA Spitzenwerte von rund 600.
  • Alles läuft in einer einzigen AWS-Region in mehreren Verfügbarkeitszonen.

Auf Pinecone wurde die Konfiguration mit der p2.x2-Pod-Klasse gewählt, inklusive eines Replikats sowie zwei Pods zur Gewährleistung der Verfügbarkeit. Ein Pod dieser Klasse enthält etwa 5 Millionen Vektoren, daher wurden zwei Pods verwendet. Auf der kostenpflichtigen Ebene wird außerdem Speicher für Metadaten bereitgestellt, was zu einer Aufschläge im Standardplan führt. Die Rechnung war angemessen, da das Team tatsächlich nur das nutzte, wofür es bezahlt hat.

Warum pgvector in Betracht ziehen?

Drei Faktoren haben zur Bewertung geführt:

  1. Die Metadaten befanden sich bereits in Postgres. Jeder Vektor enthielt 12 bis 25 Felder mit Nutzdaten, wie z. B. Tenant-ID, Dokument-ID, ACL, Quelltyp und Zeitstempel. Das Suchen in Vektoren und anschließende Zurückgreifen auf Postgres zur Anwendung von Zugriffsregeln war langsam und ressourcenaufwendig.
  2. Operative Komplexität. Zwei Datenbanken bedeuten zwei Backup-Strategien, zwei Überwachungssysteme, zwei Satz an Zugangsdaten sowie zwei Komponenten, die um 3 Uhr morgens ausfallen könnten.
  3. Kostenstruktur. Pinecones Preise pro Pod steigen schrittweise an, und bei mehr als 10 Millionen Vektoren wäre ein dritter Pod erforderlich gewesen.

Die Migration in drei Phasen

Die Migration jedes Teams unterscheidet sich, doch die allgemeine Struktur lohnt es, geteilt zu werden.

Shadow-Modus, zwei Wochen. Jede Einbettung wurde zweimal geschrieben – einmal bei Pinecone und einmal auf einer Postgres 16-Instanz mit pgvector – während die Lesevorgänge weiterhin bei Pinecone stattfanden. Die Recall@10-Werte sowie die Qualitätsscores der Antworten, ermittelt anhand von 800 echten Kunden-Frage-Antwort-Paaren, die von einem LLM als Bewertungstool verwendet wurden, wurden verglichen; die Unterschiede lagen im Rahmen des üblichen Rauschens.

Interner Verkehr, zwei Wochen. Die Staging-Umgebung sowie die eigenen Konten des Teams wurden umgeleitet. Dadurch wurde pgvector realen Lastmustern ausgesetzt: starke Synchronisierungsbelastungen am Morgen, unregelmäßige Anfragen der Kunden sowie seltsame, seltene Anfragen, die nur in der Produktionsumgebung auftreten. Hier traten zwei Probleme auf, die auch weiter unten erwähnt werden.

Umstellung in die Produktionsumgebung, ein Wochenende. Zur Sicherheit wurden 48 Stunden lang Schreibvorgänge an beide Systeme gesendet, anschließend wurden die Lesevorgänge umgeleitet. Der alte Pinecone-Index blieb 30 Tage lang als Rollback-Möglichkeit aktiv, bevor er entfernt wurde.

Die Codeänderung war gering. Herausfordernd war eher die Infrastruktur: Die Anpassung von Postgres für eine Vektorarbeitslast, die Konfiguration von PgBouncer sowie die Einrichtung von Überwachungssystemen.

Sechs Monate voller Zahlen

Diese Werte stammen aus dem Observability-Stack des Teams.

Die Ausgaben für die Datenbank sanken um etwa 70 Prozent, und die Kosten pro Million Vektoren fielen in ähnlichem Umfang. Die Entwicklungstendenz ist wichtiger als die absolute Zahl. Für ein Startup zählt ein echter Rückgang der monatlichen Kosten mehr als eine nur schlagzeilenträchtige Jahreszahl, denn die monatlichen Betriebskosten bestimmen die finanzielle Ausdauer, das Tempo bei der Einstellung neuer Mitarbeiter sowie, wie lange ein falscher technischer Entscheidungsweg toleriert werden kann. Zudem wurde die psychische Belastung verringert. Auf der Roadmap gibt es kein weiteres „Vektordatenbank“-Projekt mehr – es gibt lediglich einen Postgres-Cluster.

Latenz

Sowohl Systeme nutzten denselben Anwendungscode, denselben Neurangier und denselben Client. Die End-zu-End-Latenz bei der Suche, einschließlich Vektorabfrage, Metadatenfilterung und Neuranking, wurde über einen siebentägigen Zeitraum im sechsten Monat bei den Werten p50, p95 und p99 gemessen.

pgvector ist etwas schneller in der Mitte der Verteilung, doch der eigentliche Vorteil zeigt sich am unteren Ende der Skala. Pinecones p99-Wert schwankte von Woche zu Woche zwischen 190 ms und 480 ms – ein Nebeneffekt des Hintergrundlaufs zur Neubalancierung und Komprimierung der Ressourcen. Der p99-Wert bei pgvector bleibt konstant, genau wie es sich für eine Datenbank gehört.

Zwei Einschränkungen gelten:

  • Der Index ist HNSW mit ef_construction=128 und m=16 und wird pro Mieter erstellt. Diese pro-Mieter-Strategie ist für das ACL-Modell unerlässlich.
  • Postgres läuft in der Nähe der Anwendungsserver, während Pinecone eine cross-regionale Netzwerkanfrage darstellt. In derselben Region würde die Lücke schrumpfen.

Auflösung und Qualität

Dieser Aspekt bereitete die größten Sorgen, und die hierigen Zahlen sind am zuverlässigsten, da die Bewertungen ständig durchgeführt werden.

Die Auflösung sank um 0,5 Prozentpunkte, was innerhalb der Fehlermargen liegt. Sie trat in den für Benutzer sichtbaren Qualitätsmessungen nie auf, und die von LLMs als Urteilsinstanz ermittelten Scores lassen sich statistisch nicht voneinander unterscheiden. Man hatte mit einer größeren Lücke gerechnet.

Eine Änderung war am wichtigsten: Die Einstellung von hnsw.ef_search=200 zum Zeitpunkt der Abfrage anstelle des Standardwerts 40. Wenn ein einzelner Optimierungsaspekt beibehalten werden sollte, dann ist es dieser, denn der Standardwert von Postgres bevorzugt die Indexierungsgeschwindigkeit gegenüber der Suchqualität.

Verfügbarkeit

  • Pinecone: In den sechs Monaten vor dem Umzug gab es zwei Vorfälle mit eingeschränkter Leistung, bei denen die Pods beim Skalieren stecken blieben, ein einmaliges Problem mit Latenz in der gesamten Region – es kam jedoch zu keinem Datenverlust. Die Zuverlässigkeit war gut.
  • pgvector: Im darauffolgenden Halbjahr traten keine Probleme im Zusammenhang mit der Vektorsuche auf. Bei Postgres gab es zwar zwei Vorfälle, doch diese standen in keinem Zusammenhang: Einer resultierte aus einem fehlerhaften Deployment, der andere aus einem vorübergehenden Rückstand der Replikas. Der Verbleib bei Pinecone hätte an diesen Situationen nichts geändert.

Was sich verbessert hat

„Postgres ist großartig“ sagt nichts aus – daher hier die konkreten Aspekte.

  1. Eine Abfrage zur Filterung. Die Filterung nach tenant_id in Pinecone stützt sich auf einen Metadatenfilter auf Serverseite. Jede Abfrage, die über einen einfachen Gleichheitsvergleich hinausgeht, stößt entweder an die 40KB-Grenze für Metadaten oder an eine Abfristunde. In Postgres wird dies durch eine WHERE-Klausel realisiert, die von Postgres hervorragend handhabt wird. Ein Teil des Anwendungscode, der nur zum Vorfiltern diente, wurde entfernt.
  2. ACID für die Daten. Früher gab es ein Fenster der weichen Konsistenz, in dem ein in Postgres gelöschtes Dokument bis zu fünf Minuten lang in Pinecone weiterhin suchbar blieb. Jetzt erfolgt alles in einer Transaktion: Das Dokument wird geschrieben, die Embedding-Daten werden gespeichert, der Index wird aktualisiert und schließlich wird die Transaktion bestätigt. Einfach – und doch wunderbar.
  • Schema-Änderungen ohne Neindekxisierung. Kürzlich wurde ein neues Metadatenfeld als einfacher Spalte hinzugefügt. Es musste nichts neu aufgebaut werden, es war keine doppelte Schreibphase erforderlich, und es gab keinen 18-stündigen Indekserstellungsprozess.
  • Backups umfassen Vektoren. Das Wiederherstellungsfenster zu einem bestimmten Zeitpunkt umfasst alles, während Pinecone eigene Schemata für Snapshots benötigte.
  • Eine einzige Verbindungszeichenkette. Im Ernst: Über psycopg lernen neue Entwickler eine Datenbank und nicht zwei.
  • Was sich verschlechtert hat

    Die Migration war nicht kostenlos. Die tatsächlichen Kosten:

    1. Abgefilterte Abfragen mit geringer Selektivität sind langsamer. Pinecones Pod-Design ist speziell auf brute-force-basierte Vektorabfragen in Kombination mit Metadatenfiltern abgestimmt. Für Szenarien wie „10 Millionen Vektoren durchsuchen und 5.000 Ergebnisse zurückgeben“, wie sie in Empfehlungssystemen üblich sind, eignet sich pgvector nicht. Dieses Team verwendet Search and Rerank, weshalb es funktioniert hat. Ein Empfehlungssystem hingegen würde an Leistung verlieren.
    2. Keine eingebettete Multi-Tenancy-Ebene auf Indexebene. Pinecones Namespaces schaffen klare Trennlinien zwischen Nutzern. Bei pgvector wird diese Trennung im Anwendungscode durchgesetzt. Zwar wird sie durchgesetzt, doch es handelt sich dabei um einen Vertrag des Teams und nicht des Databases.
    3. Kein verwaltetes hybrides System aus spärlichen und dichten Strukturen. BM25 musste manuell konfiguriert werden, was eine Woche in Anspruch nahm. Das ist zwar kein entscheidender Nachteil, aber Pinecone hätte diese Woche einsparen können.
  • Die Neubildung von HNSW ist unangenehm. Der Wechsel auf ein anderes Embedding-Modell im letzten Monat führte zu einer 14-stündigen Neubildung, während Pinecone ähnliche Aufgaben in größerem Umfang schneller bewältigt.
  • Das Team verwandelt sich in eine Postgres-Abteilung mit Vektorarbeitslasten. Ein kleines Postgres-Team muss nun HNSW-Parameter, ef_search, Quantisierung sowie Pooling verstehen – für eine Arbeitslast, die sich überhaupt nicht wie OLTP verhält. Dieses Team hatte die entsprechenden Fachkräfte; nicht jedes Team verfügt darüber.
  • Die Vorhersehbarkeit der Kosten hat ihre Grenzen. Die Kosten bleiben bis zu etwa 30 Millionen Vektoren vorhersehbar, danach wird es wieder interessant, da Quantisierung, Sharding oder spezielle Engines ins Spiel kommen. Bei 9 Millionen Vektoren eignet sich Postgres gut; bei 90 Millionen bleibt dies eine offene Frage, die nächstes Jahr beantwortet werden wird.
  • Leitfaden zur Entscheidungsfindung

    Nach sechs Monaten ist dies der zu befolgende Ablauf.

    Wählen Sie pgvector, wenn:

    • Postgres bereits im Einsatz ist oder ein kompatibles System wie Aurora vorhanden ist.
    • Die Anzahl der Vektoren in der Produktion bei etwa 20 Millionen liegt, was der derzeit optimale Wert ist.
    • Die Arbeitslast auf RAG oder Suchfunktionen mit Neubewertung basiert und keine top-k-Empfehlungen erforderlich sind.
    • Es ein Postgres-Team gibt, das sich um die Optimierung der Vektoren kümmern kann.
    • Komplexe Metadatenfilter in der aktuellen Vektordatenbank schwierig umzusetzen sind.

    Bleiben Sie bei einer dedizierten Vektordatenbank, wenn:

    • Die Menge an Vektoren bereits 30 bis 50 Millionen überschritten hat und weiter schnell wächst.
    • Die Arbeitslast auf Empfehlungssysteme ausgerichtet ist, wobei hohe k-Werte und eine geringe Suchgenauigkeit erforderlich sind.
    • Ein hybrides System aus spärlichen und dichten Datenstrukturen benötigt wird, dessen Entwicklung vermieden werden soll.
    • Es keine etablierten Postgres-Verfahren für solche Anwendungen gibt.

    Folgen Sie dem Vorgehen dieses Teams, wenn:

    • Die erste Kategorie zutrifft und die Kosten bei Pinecone zu hoch sind.

    Was kommt als Nächstes

    Die offene Frage ist, was bei 50 Millionen Vektoren passiert. Dorthin zu gelangen bedeutet entweder die Anpassung der Quantisierung in pgvector oder eine gründliche Betrachtung von Qdrant und LanceDB. Postgres fügt schnell weitere Vektorfunktionen hinzu, wie beispielsweise HNSW basierend auf Festplatten, verbesserte Quantisierung sowie schnellere Bereitstellungen, sodass der Abstand bis dahin noch weiter schrumpfen könnte.

    Öffentliche Nachbesprechungen auf dieser Detailstufe sind selten, und jeder, der eine ähnliche Migration mit anderen Zahlen – besseren, schlechteren oder einfach nur ungewöhnlichen – durchgeführt hat, würde durch die Veröffentlichung davon Wert schaffen.

    Verwandte Artikel

  • Ein Policy Q&A Chatbot, der seine Quellen zitiert anstelle von Erraten – Wie ein auf LangChain, pgvector und Express basierender RAG-Chatbot Fragen von Bürgern aus offiziellen Dokumenten mit Zitaten und einem Zuverlässigkeitslimit beantwortet.