Пераход RAG з Pinecone на Postgres pgvector: праз шэсць месяцаў
Перанос RAG з Pinecone на Postgres pgvector праз паўгода: 9 млн вектараў, рэальны кошт, затрымка і поўнасць пошуку, што пагоршылася і калі pgvector — правільны выбар.
Крыніцы: Six months of running RAG on Postgres + pgvector instead of Pinecone
Команда B2B SaaS-сервіса паблікуючыя свае рахункуцькі документы Pinecone з’явілася, што ў трэці месяц паспялова ўжо пяцізначныя сумы, і нарэшце здзейсніла расчыткі, якіх абходзілася інфраструктура. У Pinecone хранілася апошнія 9 мільйона вектароў, хоча тыя ж даны вялікія часткаю ужо былі запісаныя ў Postgres для метаданых. Існаваў другі база дадзенаў, якая служыла выключна для чытання таго, што хранілася ў першай.
Перайшчына на новую інфраструктуру зайняла вялікі вякенд, і гэта была лёгкая частка. Самое важнае — гэтыя шысць месяцаў: экономія, неспадзяванні, пра якія ніхто не гаварыў, і два-тры моменты, калі Pinecone яшчэ выглядае як лепшы выбар. Далей прыводзяцца даны з рэальнай працы для тых, хто розглядае аптэкты pgvector проты спецыяльнай базы дадзенаў для вектароў, без якіх-лібо тэставанняў.
Обсяг работы
Кожны кліент на платформе атрымвае прыватную базу знаных, а працэс RAG выглядае прыбліжна так:
- У будзеўны час існуе ад 8 да 12 мільйонаў вектараў, распадзеленых між апошніма 400 кліентамі.
- Эмбедынгі выкарыстоўваюцца з модуля OpenAI
text-embedding-3-smallз 1536 вымірамі. - Пры выкарыстоўванні даных беруцца 12 лепшых рэзультатаў, якія пасля пераранжуюцца за дапамогою крос-кодэра Cohere.
- Пошук ўжоўвае гібрыдны падход: BM25 паўярэнні і ўжоўваныя вектары, якія з’едынаюцца за дапамогою методу з’едынення взаімных рангаў.
- Серэдняя колькасць запытанняў становіць апошнія 80 за секунду, а пік досягае апошнія 600 пад час рабочага часу ў США.
- Усё працюе ў аднам рэгіоне AWS у кантэксце калькі доступных зон.
У Pinecone настройка выглядала так: клас падмножыні p2.x2 з аднай рэплікай і двумя падмножынамі для забезпечэння доступнасці. Адна падмножына такага класу можа хаваць апошнія 5 мільйонаў вектараў, таму і было две. На платным тарыфе дадаўся таксаўкі за зберагчык метаданых і додатковыя прайс-тэгі. Рахунак быў справядлівым, адколі команда дзеясна выкарыстоўвала тое, за што платыла.
Чаму стоіць розглядаць pgvector
Тры прычыны падступілі да такога аналізу:
- Метаданы ужо існавалі ў Postgres. Кожны вектар меў ад 12 да 25 поль з данымі, такімі як ID аб’екта, ID дакумента, правілы доступу, тып крыніцы і часовыя меткі. Пошук у вектарах, а пасля вярнэнне да Postgres для застосавання правіл доступу было повольным і неэфектывным.
- Аперацыйная складнасць. Два базовыя даных значыць два стратэгіі рэзервнага копіювання, два сістэмы монітарынгу, два наборы аўтэнтыфікацыйных даных і два компоненты, якія могу зламацца о 3 гадзіны ночы.
- Эканамічна эфектыўнасць. Цены Pinecone за кожны падмножык зростаюць па кроках, і для обработкі 10 мільйонаў вектараў быў бы неабходны трэці падмножык.
Міграцыя у трох фазах
Працэс міграцыі кожнай команды разны, але загальная структура варта адзінавання.
Рэжым «цэнь», два тыдзёні. Кожны дадзены кантэнт быў запісаны два разы — у Pinecone і ў экземплярэ Postgres 16, які выкорыстоўвае pgvector, тады як чытанне продавалася ў Pinecone. Былі параболены показнікі Recall@10 і якосці адпаведзей, вылічаныя на адной групе з 800 пар пытанняў і адпаведзей рэальных кліяентаў, і разлікі засталіся ў межах стандартных адхылэнняў.
Внутршнія запыты, два тыдзёні. Сістэмы стэйджынгу і сабственныя акаунты каманды былі перанесены. Чыгуннае цэ гэта прабачыла pgvector справжнім патэрнам навантажэння: сільныя пікі сінхронізацыі ў ранкі, рэзкія запыты кліяентаў і незвычайныя дзяўгія запыты, якія з’яўляюцца толькі ў працоўнай сітцы. Тут выявіліся два проблемы, якія таксама будуць паказаны ніжэй.
Пераход на працоўную сітку, адны вякенд. Запісы надаўаліся ў обеі сістэмы прыблізна 48 гадзін як запасна мера, пасля чаго чытанне было перанесенае. Стары індэкс Pinecone застаўся актыўным ўпроцэс 30 дзён як варыянт вярнуцься да пярвінскага стану, перш чым быў знішчаны.
Змены ў кодзе былі незначныя. Серьгавым быў аспект інфраструктуры: налагоджэнне Postgres для працы з вектарамі, настройка PgBouncer і стварэнне сістэмы монітарынгу.
Чысла за шысць месцаў
Этыя паказнікі выйшлі з сістэмы аналізу дзеяння команды.
Выдаткі на базу дадзеных зменіліся прыблізна на 70%, а вартасць на мільйон вектараў таксама зменілася прыблізна на такой жа пацэнт. Форма паказнікаў важнейшая за абсалютную цыфру. Для стартапа рэальнае зменшэння месячных выдаткаў мае большое значэнне, чым галоўная годовая цыфра, адтолькі ўжо таму, што месячныі эксплуатацыйныя выдаткі вялікай меры вплываюць на перыад функцыонавання, тэндэцыю прыему новых спецыялістаў і час, які можна толькі трымацься няправільнага тэхнічнага рашэння. Іншы плюс — змена псыхічнага навантажэння. На планах больш няма жадных праектаў з „базамі дадзеных для вектараў“. Ёсць толькі кластэр Postgres.
Затрымка
Оба сістэмы выкорыстоўвалі ідэнтычны код прыемліцеля запыткаў, той самы прыемліцель для пераранкавання і той самы кліент. Час адпаведзення на запыткі з самага початку да заканчэння, уключаючы пошук за вектарамі, фільтрацыю метадаў і пераранкавання, быў вымераны па показніках p50, p95 і p99 прыблізна за семы дні шостага месца.
pgvector працуе трохі быстрэй у серэдній частыні дыстрыбуцыі, але справжняе павышэння эфектыўнасці даўаецца ў канцовай частыні. Показнік p99 у Pinecone змініўся з 190 мс на 480 мс за адну недзелю, што ёсць наследкам перабалансавання падзеў і ўтрамбоввання дадзеных у фоне. Показнік p99 у pgvector застаецца стабільным, што якраз і ёсць стандартам для баз дадзеных.
Існуюць два застэрэжэнні:
- Індэкс ў фармаце HNSW з параметрамі
ef_construction=128іm=16, ствараны для кожнага корыстувальця. Гэтай падход для кожнага корыстувальця ёсць неабходным для рэалізаціі модэлю ACL.
Прызначальнасць і якасць
Гэты аспект вызваў найбольшыя абавясці, а ціфры тут ёсць найболей надзеянымі, адколькі ацэнкі выкананыя сталяк.
Прызначальнасць зменілася на 0,5 процэнтных пунктав, што залягае ў межах дыяпазона пакрыцця памылкай. Гэта ніколі не паследвала для якосці, якая бачыцца корыстнікамі, а рэзультаты ацэнкі, дзе LLM выступае як суддзя, статыстычна немагчыма адразніць. Чакаліся большыя разлікі.
Аднаго змены было найбольш значна: настаўкі hnsw.ef_search=200 пад час запыту замест адпаведнае значэнне 40. Якшто які-небудзь дэталі налаштавання варта зберагчы, то гэта самэ, таму што стандартныя настаўкі Postgres прадаюць прыорытэт швальнасці індэксавання над якасцю выкарыстоўвання дадзеных.
Надзеянасць
- Pinecone: за шысь месцая да перайзда — два інцыдэнта з падвышэннем спадку працы, калі падыявы застралі пад масштабаваннем, адна сітуацыя з затрымкамі ў всім рэгіоне, без втраты дадзэйнаў. Яго надзеямасць была хорашая.
- pgvector: за палову года пасля — нічога, што можна было бы асабліва прыязначыць вектарнаму пошуку. У Postgres было два інцыдэнта, якія не былі супакоўаны: выкаранне запасоў чыстага прыемніка вызваная бяспрацоўным развяртаннем і адна раптовая затрымка рэплік. Працаванне на Pinecone нічога з гэтага не змяніла б.
Што падбегло
Фраза «Postgres — чудо» нічога не адказвае, таму прыводзімся да конкрэтных дадзэйнаў.
- Адзін запіт для фільтрацыі. Фільтрацыя па
tenant_idу Pinecone базуецца на фільтрэ метадаў з баку сервера. Будзь-якія дзеянні, які выходзяць за межы простага тэста на роўнасць, сталквуюцца з лімітом метадаў у 40 КБ або з таймаутам запіта. У Postgres гэта клазулаWHERE, якую Postgres обрабоцвае чырваё. Частка коду прыложэння, якая існавала толькі для прадзейнай фільтрацыі, была выдалена. - ACID для дадзеных. Раней існавала вікна мяккай консыстэнціі, калі дакумент, выдаленый у Postgres, заставаўся доступным для пошуку ў Pinecone прыблізна пяць хвілін. Ён цяпер ўскладнены ў адну транзакцыю: запісваецца дакумент, запісваецца эмбедынг, апдэйтуецца індэкс, выканана камітаванне. Нудна, але чудова.
psycopg новыя інжынеры вучыцца адну базу дадзеных, а не две.Што пагорэла
Міграцыя не была безкоштовная. Рэальныя выкладкі:
- Запыткі з фільтрацыяю з нізкай селектыўнасцю працуюць медленней. Дзякуючы спецыяльнай структуры падаў Pinecone, яна ідэальна падходзіць для брутальных сканаванняе вектараў у поўнай меры разам з фільтрамі метадаў. Для задачы на кшталт „прашуць 10 мільйонаў вектараў і вяртаюць 5 000“, якая ёсць тыповай для задач рэкамендацый, pgvector ўжо не падходзіць. Цяная команда выконвае працэсы пошуку і пераранжавання, і самэ гэта дапамагае ў працы. У разе вікорыстання сістэмы рэкамендацый будзе спостарацца рэгрэсія.
- Няма вбудованай падтрымкі мнагакліентскай архітэктуры на рэвэлі індэксаў. У Pinecone іменаваныя прасторы ствараюць чыстыя межы між кліентамі. У pgvector гэта рэалізуецца за дапамогою коду прыкладнага програмнага забезпечэння. Межы дэйствуюць, але гэта ёсць умовай, заданай самай командай, а не базай дадзенаў.
- Няма падтрымкі гібрыдных фарматаў спарзых і ўжоўдзеных дадзенаў. Алгорытм BM25 быў настроўаны вручную, на што патрэбна была ўсего адна недзеля. Гэта не ўскладненне, якое не можа зіпсаваць працу, але Pinecone могла б заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсёды заўсё
- Перзбудова HNSW ўскладнена. Змена модэлю эмбедынгу ў пяршым месяцы прызвела да 14-гадзіннай перзбудовы, а Pinecone справляецца з аднаковымі задачамі у большых масштабах быстрэй.
- Команда стае падраздэлэннем для Postgres з вектарнымі задачамі. Невялікая команда, якая працуе з Postgres, цяпер вынуждана розумець параметры HNSW,
ef_search, квантызацыю і іншыя методы апрацоўкі дадзеных, якія зовсім не супадаюць з методамі OLTP. У гэтай команды былі неабяжлівыя спецыялісты; не кожная команда іх мае. - Прогнозаваныя віткі маюць свой ліміт. Віткі залішаюцца прогнозаванымі паўтарычна да 30 мільйонаў вектараў, пасля чаго сітуацыя знову стае складнейшай — патрапляюць у прымету квантызацыя, шардаванне чы спецыялізаваныя двойнікі. Працаваць з 9 мільйонамі вектараў Postgres дозволяе адлічна, а з 90 мільйонамі — гэта адкрытыя пытанні, на якія будзе дана адказа наступнага года.
Карта прыняцтва рашэння
Пасля шасці месцаў гэтае ёсць дрэва, якое трэба следаваць.
Выбірайце pgvector, калі:
- Postgres ужо вікорыстоўваецца, або ёсць ўзаемна сумісны варыянт, такі як Aurora.
- Обсяг дадзеных становіць або блізу 20 мільйонаў вектараў, што ўважаецца оптымальным значэннем.
- Праца заключаецца у RAG або пошуку з парадкам пераранжавання, а не у рэкамендаціях тыпу top-k.
- Ёсць команда, якая ведае налаштаваннем вектараў у Postgres.
- У чынный базе дадзеных з вектарамі складнае фільтраўванне метададзеных.
Заставайцеся з спецыяльной базай дадзеных з вектарамі, калі:
- Колькасць вектараў перасягла 30–50 мільйонаў і продовжае быстра раставаць.
- Праца заключаецца у рэкамендаціях з высокім значэннем k і нізкай точнасцю пошуку.
- Патрэбна гібрыдная структура з розрозненымі і ўжымкамі дадзенымі, і не хочацца ёё ствараць.
- Няма сільных практык аператыў у Postgres.
Дзеянні за прыкладам гэтай команды, калі:
- Першыя пункты падходзяць, але вартасць службы Pinecone ўскладнюе рашэнне.
Што далей
Заставае пытанне – што будзе з 50 мільйонамі вектараў. Дасягненне гэтага рубежа значыць або налаштаванне квантызаціі ў pgvector, або серйозны аналіз Qdrant і LanceDB. Postgres быстра дадае новыя функцыі для вектараў, такія як HNSW на дыску, крашчая квантызація і шырэйшыя можлівасці стварэння дадзеных, таму разлік можа ўсё больш зменшыцца.
Публічныя аналізы такага рагульнасці ўстроююцца рэдка, і кожны, хто адбыў падобную міграцыю з іншымі цыфрамі, лепшымі, горшымі або проста нечаканымі рэзультатамі, мога прынясці карысць, публікуючы іх.
Спадневана літэратура
- Гібрыдныя пошукавыя методы ў Postgres для дапаможніка ў сферы здароў’я: схема, часткаванне, RRF і ацэнка — Стварэнне слоя адзысквання даных для дапаможніка ў сферы здароў’я ў Postgres: часткаванне з урахоўваннем структуры, гібрыдны пошук з pgvector і RRF, бінарная квантызацыя, прагі і ацэнка рэзультатаў.
- Чаму RAG не функцыонуе з рэальнымі дакументамі: часткаванне, гібрыдны пошук, пераранжаванне і ацэнка — Ключовыя прынцыпы паляцэнкі RAG для прыменення ў працэсах: двухфазны дызайн, способы часткавання, эмбедынгі і храненне вектараў, гібрыдны пошук, пераранжаванне рэзультатаў і ацэнка працэса адзысквання.