Strona główna / Artykuły

Przenoszenie RAG z Pinecone do Postgres pgvector: sześć miesięcy później

Przenoszenie RAG z Pinecone do Postgres pgvector – sześć miesięcy później: 9 milionów wektorów, rzeczywiste koszty, wartości opóźnienia i dokładności, co się pogorszyło oraz kiedy pgvector jest odpowiedni.

Wydawca: REACTAPP.TOP7 min czytania1690 słów

Źródła: Six months of running RAG on Postgres + pgvector instead of Pinecone

Zespół zajmujący się rozwiązaniami B2B SaaS zaobserwował, że rachunek za usługi Pinecone po raz trzeci z rzędu przekroczył kwotę pięciu cyfr, i w końcu przeprowadził obliczenia, których unikała dotychczas infrastruktura. W Pinecone przechowywano około 9 milionów wektorów, mimo że te same dane były już zapisane w Postgresie jako metadane. Istniała druga baza danych, której jedynym celem było odczytywanie informacji przechowywanych w pierwszej.

Przeniesienie danych zajęło długi weekend, a to była jeszcze najłatwiejsza część. Najważniejsze są sześć miesięcy, które nastąpiły później: oszczędności, niespodzianki, o których nikt nie wspomniał, oraz dwa lub trzy przypadki, w których Pinecone nadal wydaje się lepszym wyborem. Poniżej znajdują się dane z rzeczywistej pracy dla wszystkich, którzy rozważają użycie pgvector w porównaniu z dedykowaną bazą danych wektorową, bez żadnych symulacji benchmarkowych.

Obciążenie pracy

Każdy klient na platformie ma dostęp do prywatnej bazy wiedzy, a proces przetwarzania danych RAG wygląda mniej więcej w ten sposób:

  • W dowolnym momencie istnieje od 8 do 12 milionów wektorów, rozproszonych między około 400 klientami.
  • Embeddingi pochodzą z modelu text-embedding-3-small firmy OpenAI i mają 1536 wymiarów.
  • Proces wyszukiwania wybiera 12 najlepszych wyników i ponownie je sortuje za pomocą kodera krzyżowego Cohere.
  • Szukanie jest hybrydowe – łączy metodę BM25 z wektorami gęstymi, a wyniki fuzjonuje poprzez metodę fuzji rankingu wzajemnego.
  • Serwer odbiera średnio około 80 zapytań na sekundę, a w godzinach pracy w Stanach Zjednoczonych liczba ta osiąga około 600.
  • Wszystko działa w jednym regionie AWS, w kilku strefach dostępności.

W Pinecone ustawienie polegało na użyciu klasy podów p2.x2 z jedną repliką oraz dwoma podami zapewniającymi dostępność. Jeden pod tej klasy może przechowywać około 5 milionów wektorów, dlatego zastosowano dwa takie pody. Na planie płatnym dodano przechowywanie metadanych oraz dopłatę za plan Standard. Rachunek był sprawiedliwy, ponieważ zespół rzeczywiście korzystał z tego, za co płacił.

Dlaczego rozważyć pgvector

Trzy czynniki skłoniły nas do oceny tego rozwiązania:

  1. Metadane już istniały w Postgresie. Każdy wektor zawierał od 12 do 25 pól danych, takich jak identyfikator użytkownika, identyfikator dokumentu, reguły ACL, typ źródła oraz daty i godziny. Szukanie wektorów, a następnie powrót do Postgresa w celu zastosowania reguł dostępu, było powolne i marnotrawne.
  2. Złożoność operacyjna. Dwa bazy danych oznaczają dwie strategie kopii zapasowych, dwa systemy monitoringu, dwa zestawy uprawnień oraz dwa komponenty, które mogą ulec awarii o 3 rano.
  3. Ekonomia operacyjna. Ceny w Pinecone rosną krok po kroku w zależności od liczby podów, a obsługa 10 milionów wektorów wymagałaby trzeciego poda.

Migracja w trzech fazach

Migracja każdego zespołu jest inna, ale ogólny schemat jest wart podzielenia się nim.

Tryb cieniowy, dwa tygodnie. Każda informacja została zapisana dwa razy – zarówno w Pinecone, jak i w instancji Postgres 16 z zaimplementowanym pgvector – podczas gdy operacje odczytu nadal odbywały się w Pinecone. Porównano wyniki Recall@10 oraz oceny jakości odpowiedzi uzyskane przy użyciu modelu LLM jako sędziego na podstawie 800 par pytań i odpowiedzi od rzeczywistych klientów; różnice te mieściły się w granicach normalnych odchyleń.

Ruch wewnętrzny, dwa tygodnie. Przeniesiono dane z środowiska testowego oraz na własne konta zespołu. Dzięki temu pgvector mógł pracować w warunkach rzeczywistych obciążeń: intensywne synchronizacje rano, nagłe zapytania od klientów oraz nietypowe, rzadko występujące żądania, charakterystyczne wyłącznie dla środowiska produkcyjnego. W tym przypadku pojawiły się dwa problemy, o których mowa poniżej.

Przejście na środowisko produkcyjne, jeden weekend. Jako środek bezpieczeństwa dane były zapisywane w obu systemach przez 48 godzin, a następnie zmieniono tryb operacji odczytu. Stary indeks w Pinecone pozostał aktywny przez 30 dni jako opcja odwrócenia zmian, zanim został usunięty.

Zmiana w kodzie była niewielka. Trudności sprawiła strona infrastrukturalna: doborowanie odpowiedniej wielkości bazy Postgres dla obciążenia wektorowego, konfiguracja PgBouncer oraz wdrożenie systemu monitoringu.

Sześć miesięcy liczb

Te dane pochodzą z narzędzi służących do obserwacji działania systemu przez zespół.

Koszty związane z bazą danych spadły o około 70%, a koszt na milion wektorów również zmniejszył się o podobną wartość. Ważniejszy jest kształt zmian niż ich wartość bezwzględna. Dla startupu rzeczywisty spadek miesięcznych kosztów jest ważniejszy niż ogólne roczne dane, ponieważ miesięczne wydatki operacyjne decydują o możliwościach rozwoju, tempie zatrudniania oraz o tym, jak długo można tolerować błędne decyzje techniczne. Kolejną korzyścią była redukcja obciążenia umysłowego zespołu. Na liście planów nie ma już żadnego projektu związанego z „bazą danych wektorowych” – istnieje jedynie klastr Postgres.

Opóźnienie

Oba systemy opierały się na identycznym kodzie aplikacji, tym samym narzędziu do ponownego rankowania oraz tym samym kliencie. Czas oczekiwania na odzyskanie danych od początku do końca, obejmujący wyszukiwanie wektorowe, filtr metadanych oraz ponowne rankowanie, mierzono przy wartościach p50, p95 i p99 w oknie siedmiu dni w szóstym miesiącu.

pgvector jest nieco szybszy w środkowym zakresie rozkładu, ale prawdziwa korzyść występuje na końcu tego zakresu. Wartość p99 u Pinecone zmieniała się w przedziale od 190 ms do 480 ms z tygodnia na tydzień – jest to skutek uboczny równoważenia i kompresji zasobów działających w tle. Wartość p99 u pgvector pozostaje stała i bez zmian, co jest dokładnie tym, co powinien robić system bazodanowy.

Istnieją dwie uwagi:

  • Indeks jest typu HNSW z ustawieniami ef_construction=128 i m=16, budowany indywidualnie dla każdego użytkownika. Ta strategia dostosowania do poszczególnych użytkowników jest kluczowa dla modelu ACL.
  • Postgres działa w pobliżu serwerów aplikacji, natomiast Pinecone wymagał połączenia międzyregionowego. W tej samej regionie różnica miałaby się zmniejszyć.

Pamięć i jakość

To właśnie ta kwestia wzbudzała największe obawy, a dane dotyczące niej są najbardziej wiarygodne, ponieważ oceny są przeprowadzane ciągle.

Pamięć spadła o 0,5 punktu procentowego, co mieści się w przedziale błędu. Nie miało to wpływu na jakość widoczną dla użytkowników, a wyniki oceniania za pomocą LLM nie dają możliwości statystycznego rozróżnienia różnic. Oczekiwano większej różnicy.

Najważniejszą zmianą była ustawienie hnsw.ef_search=200 w momencie wysyłania zapytania zamiast domyślnych 40. Jeśli istnieje jeden szczegół konfiguracji, który warto zachować, to właśnie ten, ponieważ domyślne ustawienie Postgresa faworyzuje szybkość indeksowania kosztem jakości wyszukiwania.

Niezawodność

  • Pinecone, w ciągu sześciu miesięcy przed przeniesieniem: dwa incydenty spowodowane pogorszeniem wydajności, przy których kontenery utknęły w procesie skalowania, jeden incydent opóźnień na poziomie całego regionu oraz brak utraty danych. Jego niezawodność była dobra.
  • pgvector, w ciągu pół roku po przeniesieniu: nie odnotowano żadnych problemów związanych z wyszukiwaniem wektorowym. Postgres miał dwa incydenty, ale żaden z nich nie był powiązany z tym problemem: wyczerpanie zasobów z powodu błędnego wdrożenia oraz chwilowe opóźnienie replik. Pozostanie przy Pinecone nie zmieniłoby żadnej z tych sytuacji.

Co się poprawiło

Stwierdzenie „Postgres jest świetny” nic nie mówi, więc oto konkretne informacje.

  1. Jedno zapytanie do filtrowania. Filtrowanie według tenant_id w Pinecone opiera się na filtrze metadanych po stronie serwera. Wszystko, co wykracza poza prosty test równości, prowadzi do przekroczenia limitu 40 KB metadanych lub timeoutu zapytania. W Postgresie jest to klauzula WHERE, którą Postgres obsługuje doskonale. Usunięto fragment kodu aplikacji, który istniał wyłącznie w celu wstępnego filtrowania.
  2. ACID dla danych. Kiedyś istniało okno miękkiej spójności, w którym dokument usunięty w Postgresie pozostawał dostępny do wyszukiwania w Pinecone przez maksymalnie pięć minut. Teraz jest to jedna transakcja: zapisanie dokumentu, zapisanie embeddingu, aktualizacja indeksu i zatwierdzenie. Monotoniczne, ale wspaniałe.
  • Zmiany schematu bez ponownego indeksowania. Niedawno pojawiło się nowe pole metadanych w formie zwykłej kolumny. Nie trzeba było niczego odbudowywać, nie było potrzeby okresu podwójnego zapisu ani 18-godzinnego zadania indeksowania.
  • Zapasy kopii chronią wektory. Okno odzyskiwania w konkretnym momencie czasu obejmuje wszystko, podczas gdy Pinecone wymagało własnego harmonogramu robienia kopii.
  • Jedna ciągłą ścieżka połączenia. Naprawdę: dzięki psycopg nowi inżynierowie uczą się obsługi jednej bazy danych, a nie dwóch.
  • Co się pogorszyło

    Migracja nie była bezkosztowa. Prawdziwe koszty:

    1. Zapytania filtrowane o niskiej selektywności działają wolniej. Projekt modułów Pinecone jest specjalnie dostosowany do skanowania wektorów metodą siłowej w połączeniu z filtrami metadanych. W przypadku wzorca typu „przeszukaj 10 milionów wektorów i zwróć 5 000 wyników”, charakterystycznego dla zadań związanych z rekomendacjami, pgvector jest niewłaściwym narzędziem. Ten zespół używa rozwiązań typu search and rerank, dlatego to zadanie się udało. System rekomendacji natomiast doświadczyłby regresji.
    2. Brak wbudowanej możliwości wielu użytkowników na poziomie indeksu. Przestrzenie nazw w Pinecone stanowiły sztywne granice pomiędzy użytkownikami. W przypadku pgvector te granice są realizowane w kodzie aplikacji. Choć są one egzekwowane, to jest to umowa zespołu, a nie bazy danych.
    3. Brak zarządzanego hybrydu rozwiązań rzadkich i gęstych. Algorytm BM25 został ręcznie skonfigurowany, co zajęło tydzień. Nie jest to decydujący problem, ale Pinecone mogłoby zaoszczędzić ten tydzień.
  • Odbudowa HNSW jest uciążliwa. Zmiana modelu embeddingu w zeszłym miesiącu spowodowała 14-godzinną odbudowę, a Pinecone radzi sobie z podobnymi zadaniami na większą skalę szybciej.
  • Zespół przekształca się w zespół zajmujący się Postgresem z obciążeniem wektorowym. Mały zespół zajmujący się Postgresem musi teraz rozumieć parametry HNSW, ef_search, kwantyzację oraz mechanizmy agregacji dla obciążenia, które w ogóle nie przypomina OLTP. Ten zespół miał odpowiednich ludzi; nie każdy zespół ma takie możliwości.
  • Przewidywalność kosztów ma swoje granice. Koszty pozostają przewidywalne do około 30 milionów wektorów, potem sytuacja znów staje się bardziej złożona – pojawia się konieczność kwantyzacji, dzielenia danych na fragmenty lub użycia specjalistycznego silnika. Przy 9 milionach wektorów Postgres sprawdza się dobrze, natomiast przy 90 milionach to otwarte pytanie, na które odpowiemy w przyszłym roku.
  • Przewodnik decyzyjny

    Po sześciu miesiącach należy postępować zgodnie z tym planem.

    Wybierz pgvector, gdy:

    • Postgres jest już używany lub istnieje coś kompatybilnego, takiego jak Aurora.
    • Ilość wektorów w produkcji wynosi około 20 milionów, co jest obecnie optymalnym poziomem.
    • Zadania obejmują RAG lub wyszukiwanie z ponownym rankowaniem, a nie rekomendacje typu top-k.
    • Istnieje zespół zajmujący się Postgresem, który może optymalizować prace z wektorami.
    • Złożone filtry metadanych sprawiają trudności w obecnym bazie danych wektorowych.

    Zostań przy dedykowanej bazie danych wektorowych, gdy:

    • Ilość wektorów przekroczyła 30 do 50 milionów i szybko rośnie.
    • Zadania polegają na rekomendacjach, z dużą wartością k i niską precyzją wyszukiwania.
    • Wymagany jest hybrydowy model rzadkich i gęstych wektorów, a budowa takiego rozwiązania nie jest pożądana.
    • Brakuje doświadczenia w operacjach z Postgresem.

    Postępuj zgodnie z zaleceniami tego zespołu, gdy:

    • Pierwsza lista kryteriów pasuje, ale koszty Pinecone są zbyt wysokie.

    Co dalej

    Pytanie, które pozostaje, brzmi: co się stanie przy 50 milionach wektorów? Osiągnięcie tego poziomu oznacza albo dostosowanie procesu kwantyzacji w pgvector, albo dokładniejsze przyjrzenie się rozwiązaniom takim jak Qdrant i LanceDB. Postgres szybko dodaje nowe funkcje wektorowe, takie jak HNSW oparte na dysku, lepszą kwantyzację oraz szybszą budowę struktur danych, więc różnica może się jeszcze bardziej zmniejszyć do tego czasu.

    Publiczne analizy po fakcie na takim poziomie szczegółowości są rzadkie, a każda osoba, która przeprowadziła podobną migrację z innymi liczbami, lepszymi, gorszymi lub po prostu nietypowymi wynikami, wniosłaby wartość, publikując je.

    Literatura pokrewna

  • Chatbot z pytaniami i odpowiedziami, który cytuje swoje źródła zamiast domyślać się — Jak chatbot RAG zbudowany na LangChain, pgvector i Express odpowiada na pytania obywateli na podstawie oficjalnych dokumentów, z cytatami i progiem pewności.