Головна / Статті

Перенесення RAG з Pinecone до Postgres pgvector: через шість місяців

Перенесення RAG з Pinecone до Postgres pgvector через шість місяців: 9 мільйонів векторів, реальні витрати, показники затримки та точності, що погіршилося, та коли pgvector є правильним вибором.

Видавець: REACTAPP.TOP7 хв читання1690 слів

Джерела: Six months of running RAG on Postgres + pgvector instead of Pinecone

Команда B2B SaaS помітила, що рахунок від Pinecone вже третій місяць поспіль перевищує п’ять цифр, і нарешті провела розрахунки, яких усі уникали щодо інфраструктури. У Pinecone зберігалося близько 9 мільйонів векторів, хоча ті самі дані вже були записані у Postgres для метаданих. Існувала ще одна база даних, призначена виключно для зчитування інформації, яку зберігала перша.

Перехід зайняв довгі вихідні, і це була найпростіша частина. Важливими є наступні шість місяців: економія коштів, несподіванки, про які ніхто не згадував, та два-три випадки, коли Pinecone все ще здається кращим вибором. Нижче наведені дані з реальної роботи для тих, хто розглядає варіанти pgvector та спеціалізованої бази даних векторів, без будь-яких тестів на продуктивність.

Обсяг роботи

Кожен клієнт на платформі отримує приватну базу знань, а процес RAG виглядає приблизно так:

  • У будь-який момент часу існує від 8 до 12 мільйонів векторів, розподілених між приблизно 400 клієнтами.
  • Ембеддинги отримуються з моделі OpenAI text-embedding-3-small із 1536 вимірами.
  • Під час пошуку беруться найкращі 12 результатів, які потім переранжовуються за допомогою крос-енкодера Cohere.
  • Пошук є гібридним: використовуються методи BM25 та щільні вектори, які об’єднуються за допомогою методу злиття взаємних рангів.
  • Середній обсяг трафіку становить близько 80 запитів на секунду, а пік досягає 600 під час робочого часу в США.
  • Усе працює в одному регіоні AWS у кількох зонах доступності.

У Pinecone налаштування включали клас контейнерів p2.x2 із одним реплікою та двома контейнерами для забезпечення доступності. Один такий контейнер може містити близько 5 мільйонів векторів, тому використовувалися два. На платному тарифі додається зберігання метаданих та додаткова плата за стандартний план. Рахунок виявився справедливим, адже команда справді використовувала все, за що платила.

Чому варто розглянути pgvector

Три фактори спонукали до оцінки:

  1. Метадані вже існували в Postgres. Кожен вектор містив від 12 до 25 полів даних, таких як ідентифікатор користувача, ідентифікатор документа, правила доступу, тип джерела та часові мітки. Пошук векторів, а потім звернення до Postgres для застосування правил доступу було повільним та неефективним.
  2. Операційна складність. Два бази даних означають дві стратегії резервного копіювання, дві системи моніторингу, два набори облікових даних та два компоненти, які можуть зламатися о 3 годині ранку.
  3. Економічна ефективність. Ціна послуг Pinecone зростає поетапно, і для обробки 10 мільйонів векторів знадобився б третій контейнер.

Міграція у трьох етапах

Процес міграції у кожної команди відрізняється, але загальна структура варта того, щоб її поділитися.

Режим тіні, два тижні. Кожен ембеддинг було створено двічі — у Pinecone та у інстанції Postgres 16 з pgvector, тоді як операції читання продовжували виконуватися через Pinecone. Було порівняно показники Recall@10 та якості відповідей, оцінені за допомогою моделі LLM як судді, на основі 800 пар запитань та відповідей реальних клієнтів, і різниця залишилася в межах похибок.

Внутрішній трафік, два тижні. Система тестування та власні облікові записи команди були перенесені. Це дозволило pgvector працювати в умовах реальних навантажень: інтенсивні синхронізації вранці, раптові запити клієнтів та незвичайні запити довгого хвоста, які зустрічаються лише у продакшн-середовищі. Тут виникли дві проблеми, обидві з яких розглядаються нижче.

Перехід на продакшн, одні вихідні. Для забезпечення безпеки операції запису виконувалися в обох системах протягом 48 годин, після чого було здійснено перемикання на операції читання. Старий індекс Pinecone залишався активним протягом 30 днів як опція для відкату, перш ніж його було видалено.

Зміни в коді були незначними. Справжніми викликами стали аспекти інфраструктури: налаштування Postgres під роботу з векторними даними, конфігурація PgBouncer та впровадження систем моніторингу.

Цифри за шість місяців

Ці дані походять з системи візуалізації даних команди.

Витрати на базу даних знизилися приблизно на 70%, а витрати на мільйон векторів також скоротилися приблизно на таку саму суму. Форма даних важливіша за абсолютні цифри. Для стартапу справжнє зниження щомісячних витрат має більше значення, ніж гучні річні показники, адже щомісячні операційні витрати визначають термін функціонування компанії, темпи найму співробітників та час, протягом якого можна терпіти неправильні технічні рішення. Ще одним позитивним ефектом стало зменшення психологічного тиску. У планах більше немає проектів зі створенням „бази даних векторів“ — є лише кластер Postgres.

Затримка

Обидві системи використовували ідентичний код додатку, той самий механізм переранжування та той самий клієнт. Час відкликання від початку до кінця процесу пошуку, що включає векторний пошук, фільтрацію метаданих та переранжування, вимірювався за показниками p50, p95 та p99 протягом семиденного періоду у шостому місяці.

pgvector працює трохи швидше у середній частині діапазону результатів, але справжня перевага проявляється у кінцевій частині. Показник p99 у Pinecone змінювався від 190 мс до 480 мс з тижня на тиждень – це наслідок автоматичного балансування та стиснення ресурсів на фоні. У pgvector показник p99 залишається стабільним, що є саме тим, що має робити база даних.

Існують два застереження:

  • Індекс є типу HNSW із параметрами ef_construction=128 та m=16, створюваним окремо для кожного користувача. Саме такий підхід є ключовим для реалізації моделі ACL.
  • Postgres працює поруч із серверами додатків, тоді як Pinecone вимагав міжрегіонального мережевого запиту. У межах одного регіону різниця зменшувалась б.
  • Покриття та якість

    Саме ця частина викликала найбільше занепокоєння, а цифри тут є найбільш надійними, оскільки оцінки виконуються постійно.

    Покриття знизилося на 0,5 відсоткових пунктів, що залишається в межах діапазону похибок. Це не вплинуло на якість для користувачів, а оцінки LLM як судді не можна статистично відрізнити одна від одної. Очікувалась більша різниця.

    Найбільше значення мала одна зміна: встановлення значення hnsw.ef_search=200 під час запиту замість стандартних 40. Якщо є одна деталь налаштувань, яку варто зберегти, то це саме вона, адже стандартні налаштування Postgres надають перевагу швидкості індексування перед якістю пошуку.

    Надійність

    • Pinecone протягом шести місяців до переходу: два випадки зниження продуктивності через затримку масштабування подів, один випадок затримки у всьому регіоні, без втрати даних. Його надійність була на високому рівні.
    • pgvector протягом наступних півроку: жодних проблем, пов’язаних із векторним пошуком. У Postgres було два випадки, які не мали між собою зв’язку: вичерпання ресурсів через помилку під час розгортання та тимчасова затримка реплік. Залишання на Pinecone не змінило б жодного з цих факторів.

    Що покращилося

    Фраза „Postgres — чудовий“ нічого не пояснює, тому ось конкретики.

    1. Одне запитання для фільтрації. Фільтрація за tenant_id у Pinecone ґрунтується на фільтрі метаданих з боку сервера. Будь-які операції, що виходять за межі простого перевірки рівності, призводять до перевищення ліміту метаданих у 40 КБ або до тайм-ауту запиту. У Postgres це реалізується за допомогою клозу WHERE, який Postgres обробляє дуже ефективно. Частина коду додатку, яка існувала лише для попередньої фільтрації, була видалена.
    2. ACID для даних. Раніше існував період м’якої послідовності, коли документ, видалений у Postgres, залишався доступним для пошуку в Pinecone протягом до п’яти хвилин. Тепер це одна транзакція: записується документ, записується ембеддинг, оновлюється індекс, виконується комітування. Просто та чудово.
  • Зміни схеми без переіндексації. Нещодавно з’явилося нове поле метаданих у вигляді звичайної колонки. Не потрібно було нічого перебудовувати, не було потреби у періоді подвійного записування, і не існувало завдання з індексацією тривалістю 18 годин.
  • Резервні копії охоплюють всі дані. Вікно відновлення даних у певний момент часу включає все, тоді як Pinecone потребував власного графіка створення знімків.
  • Одна лише строка підключення. Серйозно: завдяки psycopg нові інженери вивчають одну базу даних, а не дві.
  • Що погіршилося

    Міграція не була безкоштовною. Справжні витрати:

    1. Запити з низькою селективністю та фільтрацією виконуються повільніше. Дизайн модулів Pinecone справді оптимізований для брутальних векторних пошуків у поєднанні з фільтрами метаданих. Для завдань на кшталт „пошук 10 мільйонів векторів та повернення 5 000 результатів“, типових для систем рекомендацій, pgvector є непідходящим інструментом. Ця команда використовує алгоритми пошуку та переранжування, тому це спрацювало. У системі рекомендацій це призвело б до погіршення результатів.
    2. Відсутня вбудована підтримка багатьох користувачів на рівні індексу. У Pinecone іменовані простори надавали чіткі межі між користувачами. У pgvector це реалізується через код додатку. Хоча це й контролюється, це є умовою, встановленою командою, а не базою даних.
    3. Відсутня підтримка гібридних форматів даних — розріджених та щільних. Алгоритм BM25 був налаштований вручну, що зайняло тиждень. Це не критично, але Pinecone міг би заощадити цей тиждень.
  • Перебудова HNSW є складною процедурою. Мінулого місяця зміна моделі ембеддингу призвела до 14-годинної перебудови, тоді як Pinecone виконує подібні операції у більших масштабах швидше.
  • Команда перетворюється на групу, яка працює з Postgres та векторними даними. Невелика команда, яка працює з Postgres, тепер змушена розуміти параметри HNSW, значення ef_search, процеси квантування та об’єднання даних для роботи з обсягами інформації, які зовсім не схожі на OLTP. У цій команді були необхідні фахівці; не кожна команда їх має.
  • Прогнозованість витрат має свої межі. Витрати залишаються прогнозованими до приблизно 30 мільйонів векторів, після чого ситуація знову ускладнюється — потрібне квантування, шардування чи спеціалізований двигун обробки даних. Для 9 мільйонів векторів Postgres підходить ідеально; для 90 мільйонів це ще відкрите питання, на яке буде дана відповідь наступного року.
  • Керівництво з прийняття рішень

    Через шість місяців слід дотримуватися цього плану дій.

    Вибирайте pgvector, коли:

    • Postgres вже використовується, або є щось сумісне, наприклад Aurora.
    • Обсяг даних становить близько 20 мільйонів векторів, що є оптимальним значенням наразі.
    • Робота полягає у RAG або пошуку з переранжуванням, а не у рекомендаціях типу top-k.
    • Існує команда, яка відповідає за налаштування векторів у Postgres.
    • У поточній базі даних векторів складно використовувати складні фільтри метаданих.

    Залишайтеся з спеціалізованою базою даних векторів, коли:

    • Обсяг перевищує 30–50 мільйонів векторів та швидко зростає.
    • Робота полягає у рекомендаціях із високим значенням k та низькою точністю пошуку.
    • Необхідна гібридна структура з розрідженими та щільними даними, а створення такої структури не бажане.
    • Немає досвідчених практик роботи з Postgres.

    Дотримуйтесь підходу цієї команди, коли:

    • Перший список критеріїв підходить, але вартість послуг Pinecone вас турбує.

    Що далі

    Залишається питання: що відбувається при 50 мільйонах векторів? Досягнення цього рівня означає або налаштування процесу квантування в pgvector, або серйозний аналіз рішень Qdrant та LanceDB. Postgres швидко додає функції для роботи з векторами — такі як алгоритм HNSW на основі диска, покращене квантування та швидше створення структур даних, тож до того часу різниця може ще більше зменшитися.

    Публічні аналізи на такому рівні деталей є рідкістю, і будь-хто, хто проводив подібну міграцію з іншими обсягами даних, кращими чи гіршими результатами, або просто з дивними ситуаціями, зможе допомогти, опублікувавши свій досвід.

    Пов’язана література

  • Чат-бот з питаннями та відповідями щодо політики, який посилається на свої джерела замість того, щоб здогадуватися — як чат-бот типу RAG, створений на основі LangChain, pgvector та Express, відповідає на запитання громадян з офіційних документів, наводячи посилання та рівень впевненості.