Главная / Статьи

Перенос RAG с Pinecone в Postgres pgvector: через шесть месяцев

Шесть месяцев после переноса RAG с Pinecone в Postgres pgvector: 9 миллионов векторов, реальные затраты, показатели задержки и точности восстановления, что ухудшилось, и когда pgvector является подходящим решением.

Издатель: REACTAPP.TOP7 мин чтения1690 слов

Источники: Six months of running RAG on Postgres + pgvector instead of Pinecone

Команда, занимающаяся B2B SaaS-решениями, увидела, что счет от Pinecone в третий месяц подряд превысил пять цифр, и наконец провела расчеты, которых команда по инфраструктуре избегала. В Pinecone хранилось около 9 миллионов векторов, хотя те же данные уже были сохранены в Postgres в качестве метаданных. Существовала еще одна база данных, предназначенная исключительно для извлечения информации из первой базы.

Переход на новую инфраструктуру занял целые выходные, и это была еще самая простая часть. Важными оказались следующие шесть месяцев: экономия средств, неожиданные результаты и два-три случая, когда Pinecone по-прежнему казался лучшим выбором. Ниже приведены реальные данные из производства для тех, кто рассматривает возможность использования pgvector вместо специализированной базы данных векторов, без каких-либо искусственных тестов.

Нагрузка

Каждый клиент на платформе получает собственную частную базу знаний, а процесс обработки данных в рамках технологии RAG выглядит примерно так:

  • В любой момент времени существует от 8 до 12 миллионов векторов, распределенных среди примерно 400 клиентов-арендаторов.
  • Эмбеддинги генерируются с использованием модели OpenAI text-embedding-3-small с размером 1536 измерений.
  • При поиске берутся 12 лучших результатов, которые затем переранжируются с помощью кросс-кодера Cohere.
  • Поиск является гибридным: используются методы BM25 в сочетании с плотными векторами, объединяемыми с помощью метода слияния рангов.
  • Средняя нагрузка составляет около 80 запросов в секунду, а пик достигает 600 в рабочее время в США.
  • Все процессы выполняются в одном регионе AWS в нескольких зонах доступности.

В Pinecone была использована класса подов p2.x2 с одним репликой и двумя подами для обеспечения доступности. Один под такой классы может хранить примерно 5 миллионов векторов, поэтому использовались два пода. На платном тарифе также предусмотрено хранение метаданных, что влечет дополнительную плату по стандартному тарифу. Счет оказался справедливым, поскольку команда действительно использовала все, за что платила.

Почему стоит рассмотреть pgvector

Три фактора побудили к оценке:

  1. Метаданные уже находились в Postgres. Каждый вектор содержал от 12 до 25 полей данных, таких как идентификатор арендатора, идентификатор документа, правила ACL, тип источника и временные метки. Поиск векторов, а затем обращение к Postgres для применения прав доступа было медленным и неэффективным.
  2. Управление системой. Два база данных означают необходимость двух стратегий резервного копирования, двух систем мониторинга, двух наборов учетных данных и двух компонентов, которые могут выйти из строя в 3 часа ночи.
  3. Экономическая эффективность. Цена услуг Pinecone растет пошагово, и для обработки 10 миллионов векторов потребовался бы третий контейнер.

Миграция в три этапа

Процесс миграции различается в зависимости от команды, но общая структура заслуживает обсуждения.

Режим тени, две недели. Каждый элемент данных записывался дважды — в Pinecone и в инстанс Postgres 16 с реализацией pgvector, в то время как операции чтения продолжали осуществляться через Pinecone. Сравнивались показатели Recall@10 и качества ответов, оцененные с помощью нейросети-судьи на основе 800 пар вопросов и ответов от реальных клиентов; различия оказались в пределах допустимого шума.

Внутренний трафик, две недели. Система тестирования и личные учетки команды были перенесены на новые платформы. Это позволило оценить реальные нагрузки на pgvector: интенсивные утренние синхронизации, всплески запросов от клиентов и редкие длинные запросы, характерные исключительно для продакшн-среды. Здесь возникли две проблемы, обе из которых упомянуты ниже.

Переход на продакшн, одни выходные. В течение 48 часов данные записывались в обе системы в качестве резерва, затем были переведены операции чтения. Старый индекс Pinecone оставался активным в течение 30 дней в качестве возможности возврата к прежней конфигурации, прежде чем был удален.

Изменения в коде были незначительными. Наибольше усилий потребовала инфраструктура: настройка Postgres для работы с векторными данными, настройка PgBouncer и внедрение систем мониторинга.

Цифры за шесть месяцев

Эти данные получены с помощью инструментов для анализа работы команды.

Расходы на базу данных снизились примерно на 70%, а стоимость на миллион векторов упала примерно на такую же величину. Важнее форма динамики, чем абсолютные цифры. Для стартапа реальное снижение ежемесячных расходов важнее громких годовых показателей, поскольку ежемесячные операционные расходы определяют сроки существования компании, темпы найма сотрудников и то, как долго можно терпеть неверные технические решения. Ещё одним положительным эффектом стало снижение психологической нагрузки. В планах больше нет проектов, связанных с «векторными базами данных» — теперь используется кластер Postgres.

Задержка

Оба системы использовали идентичный код приложения, один и тот же механизм переранжирования и один и тот же клиент. Время обработки запросов от начала до конца, включая векторный поиск, фильтрацию метаданных и переранжирование, измерялось по показателям p50, p95 и p99 в течение семидневного периода в шестом месяце.

pgvector работает немного быстрее в средней части диапазона значений, но наибольшая выгода проявляется в крайних значениях. Показатель p99 у Pinecone колебался от 190 мс до 480 мс с недели на неделю — это побочный эффект балансировки кластеров и процессов сжатия, выполняющихся в фоновом режиме. У pgvector показатель p99 остается стабильным, что и является эталонным поведением базы данных.

Существуют два важных замечания:

  • Индекс построен по алгоритму HNSW с параметрами ef_construction=128 и m=16 и создается отдельно для каждого арендатора. Такой подход, ориентированный на отдельных арендаторов, критически важен для работы модели ACL.
  • Postgres работает рядом с серверами приложений, тогда как Pinecone требует межрегионального сетевого вызова. В одном и том же регионе разница сокращается.

Покрытие и качество

Именно этот аспект вызывал наибольшие опасения, и к цифрам здесь можно относиться с наибольшей уверенностью, поскольку оценки проводятся постоянно.

Показатель покрытия снизился на 0,5 процентных пункта, что находится в пределах допусков. Это не отразилось на качестве продукта с точки зрения пользователей, а оценки, основанные на использовании LLM в качестве судьи, статистически неотличимы друг от друга. Ожидалась более значительная разница.

Самым важным изменением стало установление значения hnsw.ef_search=200 во время запроса вместо стандартного значения 40. Если какой-то один параметр настройки стоит сохранить, то это именно он, поскольку стандартные настройки Postgres отдают приоритет скорости индексации перед качеством поиска.

Надежность

  • Пinecone за шесть месяцев до перехода: два инцидента с снижением производительности из-за застревания процессов масштабирования, один случай задержек во всем регионе, потерь данных не было. Надежность оставалась высокой.
  • pgvector в течение последующих полугода: никаких проблем, связанных с векторным поиском. У Postgres было два инцидента, не связанных друг с другом: исчерпание пула ресурсов из-за ошибки при развертывании и временное увеличение задержек у реплик. Оставаться на Pinecone не изменило бы ситуацию ни в одном из случаев.

Что улучшилось

Фраза «Postgres — отличный выбор» ничего не говорит, поэтому приводим конкретику.

  1. Один запрос для фильтрации. Фильтрация по параметру tenant_id в Pinecone осуществляется с использованием фильтра метаданных на стороне сервера. Любые операции, выходящие за рамки простого сравнения, приводят к нарушению лимита в 40 КБ для метаданных или к превышению времени выполнения запроса. В Postgres используется клозула WHERE, с которой Postgres справляется отлично. Часть кода приложения, предназначенная исключительно для предварительной фильтрации, была удалена.
  2. ACID для данных. Раньше существовало окно мягкой согласованности, когда документ, удаленный в Postgres, оставался доступным для поиска в Pinecone в течение до пяти минут. Теперь все происходит в рамках одной транзакции: запись документа, запись эмбеддинга, обновление индекса и фиксация изменений. Просто и в то же время замечательно.
  • Изменения схемы без переиндексации. Недавно появилось новое поле метаданных в виде обычной колонки. Не требовалось ничего перестраивать, не было необходимости в двойном записи данных, а также отсутствовала задача индексации продолжительностью 18 часов.
  • Резервные копии охватывают все данные. Окно восстановления в определённый момент времени включает всё, в то время как Pinecone требовал собственного графика создания снимков.
  • Одна строка подключения. Серьёзно: благодаря psycopg новые инженеры изучают одну базу данных, а не две.
  • Что стало хуже

    Миграция не была бесплатной. Реальные затраты:

    1. Запросы с фильтрацией низкой селективности выполняются медленнее. Дизайн модулей Pinecone реально оптимизирован для агрессивного сканирования векторов в сочетании с фильтрами метаданных. Для задачи вроде «поиск среди 10 миллионов векторов и возврат 5 000 результатов», характерной для систем рекомендаций, pgvector является неподходящим инструментом. У данной команды реализованы механизмы поиска и переранжирования, поэтому всё сработало. В системе рекомендаций это привело бы к ухудшению качества результатов.
    2. Отсутствует встроенная поддержка многоклиентской архитектуры на уровне индекса. В Pinecone границы разных клиентов определялись через пространства имен. В pgvector это реализуется в коде приложения. Такая защита существует, но она является частью договоренностей команды, а не самой базы данных.
    3. Отсутствует поддержка гибридных форматов разреженных и плотных данных. Механизм BM25 был настроен вручную, на что ушла неделя. Это не критично, но Pinecone позволил бы сэкономить эту неделю.
  • Пересоздание структуры HNSW — процесс сложный и трудоемкий. В прошлом месяце смена модели вкладки привела к необходимости 14-часового пересоздания, тогда как Pinecone справляется с аналогичными задачами в больших масштабах гораздо быстрее.
  • Команда превращается в подразделение, специализирующееся на Postgres с векторными задачами. Небольшая команда, занимающаяся Postgres, теперь вынуждена разбираться в параметрах HNSW, параметре ef_search, процессах квантизации и агрегации данных для задач, совершенно отличных от OLTP. У этой команды были необходимые специалисты; у всех команд их может не быть.
  • Прогнозируемость затрат имеет свои пределы. Затраты остаются прогнозируемыми до примерно 30 миллионов векторов, после чего ситуация становится более сложной, и на сцену выходят такие решения, как квантизация, шардинг или специализированные движки. Для 9 миллионов векторов Postgres подходит отлично; для 90 миллионов ответ на вопрос о его пригодности останется открытым и будет найден в следующем году.
  • Руководство по принятию решений

    Через шесть месяцев следует действовать согласно этой схеме.

    Выбирайте pgvector, когда:

    • Postgres уже используется или имеется совместимая система, такая как Aurora.
    • Объем данных составляет около 20 миллионов векторов, что считается оптимальным показателем.
    • Задачи связаны с технологией RAG или поиском с переранжированием, а не с рекомендациями типа top-k.
    • У вас есть команда, специализирующаяся на настройке векторов в Postgres.
    • В текущей базе векторных данных сложно реализовать фильтрацию по метаданным.

    Оставайтесь с специализированной базой векторных данных, когда:

    • Объем данных превышает 30–50 миллионов векторов и быстро растет.
    • Задачи связаны с рекомендациями, требуется высокое значение k и поиск с низкой точностью.
    • Необходим гибридный формат с применением как редких, так и плотных структур данных, и создавать его самостоятельно не хочется.
    • У вас нет опыта эффективной работы с операциями в Postgres.

    Следуйте рекомендациям этой команды, когда:

    • Первый список критериев подходит, но стоимость использования Pinecone кажется слишком высокой.

    Что дальше

    Остается вопрос о том, что произойдет при использовании 50 миллионов векторов. Для достижения этого уровня необходимо либо настроить процесс квантизации в pgvector, либо серьезно рассмотреть возможности Qdrant и LanceDB. Postgres быстро добавляет новые векторные функции, такие как HNSW на основе диска, улучшенную квантизацию и более быструю обработку, поэтому к тому времени разрыв может сократиться еще больше.

    Публичные анализы подобного уровня детализации встречаются редко, и любой, кто проводил аналогичную миграцию с другими объемами данных — лучше, хуже или просто иначе — сможет принести пользу, опубликовав свой опыт.

    Связанная литература

  • Чат-бот для ответов на вопросы по политике, который цитирует источники вместо того, чтобы догадываться — как чат-бот на основе технологий RAG, LangChain, pgvector и Express отвечает на вопросы граждан на основе официальных документов, приводя цитаты и указывая уровень уверенности.