Пераносны шматкліенцкі семантычны пошук на Kubernetes і Qdrant
Як платформа семантычнага пошуку выкарыстоўвае Kubernetes дзеля пераноснасці і маршрутызацыю з улікам кліента, каб вектарную базу можна было замяніць, а нагрузкі заставаліся ізаляванымі.
Крыніцы: Stop Searching by Coincidence: Portability and the Storage Decoupling Layer
Калі сістэма ўжо створэна, ескіз яе архітэктуры здаецца явным рашэннем. Шлюз, прыўязаны да модэлі эмбедынгу, хранальнік вектараў, брокер і рэляцыйная база дадзеных выглядаюць як ўжо ўсё, што можа быць разумным: запыткі надходзяць сюды, прыем дадзеных адбываецца праз кялейку, а сам модэль знаходзіцца окола аддзела прыемкі.
Рэальныя сістэмы рэдка калі выглядаюць такімі апрантнымі. Яны накапліваюць прыбуткі ўнаследак разных абмежэнняў: адна рашэнне стварае тыранію ў іншай частцы, а спроба яе выправіць прыносіць ўсё большыя вакуумы. У канцы канцоўваецца так, што усё выглядае спланаваным. Болей корыстным ёсць пытанне: чаму кожная межа знаходзіцца самэлькі там, дзе яна знаходзіцца.
Апрацоўваная платформа
Сістэма, якая опісваецца тут, — гэта інфраструктура з мнагамі корыстувачамі для семантычнага пошуку і выкарыстоўвання інфармацыі, і яна значна пераходзіць за межы простага плагіна для пошуку у WordPress. Яна должна прыймаць дакументы, ператвараць іх у фарматы, якія можна выкарыстоўваць для пошуку, зберагаць іх, адрабатваць пошукі з нізкім затрымкам і заставацца достатна гнучкай, каб жаданая база вектарных дадзеных чы ўзор МЛ не стала перманентным атрыбутам.
Ключовыя элементы:
- Kubernetes як аднойчынная база інфраструктуры.
- Go API-шлюз, які коордынуе запыты.
- Snowflake Arctic як галоўны модэль укладкі дадзеных.
- Qdrant як галоўная база вектарных дадзеных.
- MySQL, які зберагае настройкі корыстувачаў і абмові.
- NATS, які адпавядае за асінхронную працэю з прыемам дакументаў.
Выбір Kubernetes ранейш за ўсё іншае
Выбір шара архітэктуры ранейш за большую частку прыкладных програм здаецца некалькаматным, адколі звычны парадак — спачатку створыць продукт, а ўжо пазней вяршыць рашэння пра розгортанне. У гэтым случае перэноснасць інфраструктуры была вакуумна патрабованнем, таму розгортанне не магла застацца на другім месцы. Павінны былі застацца адкрытымі два рэжымы працы.
Адны з іх — гасударвенны хмара з кераваным планам керування. Іншы — дышэўшая асяроддзе, дзе каманда сама керуе кластэром, калі вартасць перавышае зручнасць. Гэтыя варыянты не ўніверсальныя, і Kubernetes не усувае разніцы між прадаўцамі. Сховішча, сеткі, балансіравальнікі навантажэння, апыл GPU і наладжванне вузлоў застаюцца спецыфічнымі для кожнага прадаўцы. Але ён забезпечвае стабільныя операцыйныя межы, якія знаходзяцца над усімі імі.
Пад тым межам навантажэнні картаюцца чыста. Серверы модэляў ёсць падзеямі, а шлюз — аддзеяваннем. Qdrant — гэта інфраструктура з станам, якая выкарыстоўвае стойкія томы, а NATS — ўсё толькі ўжо адна сеткавая служба. Канфігурацыя ў такім разе ёсць дэкларатывной, а аднаходжэнне служб працюе аднакова, незалежна ад таго, чы роўнікі выйшлі з вялікай воблака чы з самастаўленага кластэра.
Гэта мае значэнне, таму што крывыя затрат зменяюцца з ростам. Аддзеяваная служба ёсць гарным выборам, калі простата мае перавагу над цэнай. Матэматыка змініцца, калі трафік стане прыемлівым для прыкладзення, калі навантажэнні паказваюць патрэбу ў спецыяльных роўніках чы калі дорогія апараты для апрацоўкі дадзеных стануць галоўной прычыной вісокіх затрат. Пераход на дышэўшую інфраструктуру не павінен вымагаць негайнай перэработкі прыкладнення. Таму Kubernetes працуе менш як інструмент аддзеявання, а больш як шар перэноснасці для архітэктуры.
Інфраструктура штучнага навчання таксама ў выключна неравнамерным стане, што стало другой прычынай. Службы API, мадэлі для вбудоввання і базы дадзеных вектароў растуць по-свойму, маючы разныя патрабаванні да памяці, час запуску і прычыны збоев. Безстановыя службы можу распрастрацівацца за калекасекунды, сервер з модэлю можа спачатку патрабаваць завантажэння вялікага файлу, а база дадзеных вектароў патрабуе стабільных локальных дыскоў і рэштыльнага размешчэння. Базовы слой павінен размешчаць усе тры элементы, не ставячы іх на одны ранг.
Гэта таксама пояснюе падабанне да простых маніфестаў Kubernetes, Kustomize і FluxCD. У прынцыпе Helm не выключаецца. Аднак калі адна людзь керуе і плаціць за сістэму, болей цяніваецца, калі модэль развертвання застаецца відным. Аналіз StatefulSet павінен паказаць, што працуе, як монтуюцца дадзеныя, як запускаецца вузел і звядзе гдэ беруцца настройкі.
Забэрэжыць можлівасць замены базы дадзеных вектароў
Семантычныя сістэмы пошуку звычайна організуюцца навакола хранілні вектараў. Гэта прыродна: яна знаходзіцца на ключовым шляху запітаў, храніць дорогія вырахаваныя даны і па сваей стратэгіі індэксавання вплывае на час адпаведзі, рывень відтворэння даных, вікорыстоўванне памяці і вартасць експлуатацыі. Калі накопіцца достатнька колькасць даных, іх адсутнасць наносіць шкоду. Таму рэшта платформы не должна структурна залежаць ад якога-небудзь адзінаго базы дадзеных.
Qdrant ёсць галоўным двыгунам сёння, але ён выступае як цэль маршрутацыі, а не як ідэнтыфікатор платформы. Прычыны яго выбору былі розглянуты ў іншых частках, таму тут увага зосераджваецца на структуры.
Было бы некальканаўна называць шар аддзейнаўлення універсальным API базы дадзенаў. Ён складаецца з распаложэння дадзенаў, якое узгадвае потрэбы кожнага корыстувальця, адаптараў, спецыяльных для кожнага бэкенду, і шлюза, які заходзіць кліентаў ад усіх проблем, якія можуць выйсці з бэкенду. Усі особлівасці кожнага бэкенду знаходзяцца за малым адаптаром для зберагача, і для кожнага запіту шлюз чытае настаўлены бэкенд корыстувальця, а потым перадае операцыю данаму адаптару. Базы дадзенаў тыпу Vector не маюць аднаковых семантык, і нічога не прыемлівае іншага. Мета — выкарыстоўваць распаложэння дадзенаў і формаванне запытаў не ў публічным API і не ў загальным прайме запытаў. Не прыемліваецца жадная структура калекцый чы індэксаў: настаўкі корыстувальця вказываюць тып бэкенду і вузел індэксавання, а шлюз раз’ясняе якія гэтыя элементы, калі прыходзіць запыт.
Настоячыя серверы для апрацоўкі дадзеных яшчэ падтрымляюць як шляхі Qdrant, так і RediSearch за гэтым слаем. Адпаведнасць з Redis — толькі частка проблемы. Не існуе жаднай векторной базы дадзеных, якая гарантаваў бы падтрымку кожнай задачы пошуку, адтолькі ўсё эта экосістэма развіваецца занадта быстра. Базы дадзеных продовжаюць дадаваць розрозненыя векторы, новыя методы квантызаціі, індэксы на дыску, падтрымку пазнеліквальных взаімадзеяў, прышвартаванне GPU і альтэрнатыўныя дыстрыбуіраваныя прыемы пошуку. Тое, што ў даны час ўважаецца оптымальным, можа стаць вузкам месцам раней, чым чакалася.
Чаму направляць трафік на рэвэльсе аплікацыі
Існуе таксама глыбэйшыя аргументы, стосаваныя да распрацоўкі распраўнечых сістэм. Горызонтальнае масштабаванне не ўсёвышэйшае, як гэта падазроўвае маркетынг у хмарах. Фраза «масштабаваецца горызонтальна» прыкрывае расходы на коордынацыю. Калі набор дадзеных распрастраńваецца, запыткі зачыняюць больш партыцыяў, рэплікацыя спрацоўвае з большым пропускам дадзеных, перэкалібраванне стае дорожэ, плошча коордынацыі расшыраецца, а затрымка пачынае залежаць ад найпамедзлейшаг учасніка. Залежна ад навантажэння, дадатковая ўместнасць у аднам логічным кластэрэ з часам дае все меньшыя рэзультаты.
Мульты-тэнантнасць зміняе сітуацыю, таму што тэнанты ёсць прыродныя партыцыі. Не трэба, каб кожны незалежны веб-сайт дзеліў адны вялікі вектарны кластэр. Дзеякі тэнанты можу працаваць на адной інсталяцыі Qdrant, іншыя — на другай, а той, чые навантажэння ўскладненя, можа атрымаць спецыяльны вузол базы дадзеных, калі гэта неабходна.
Уявіце сабрыктурацыю, якая размешчае тыячы маленькіх сайтаў, прычым практычна всія якія можаць працаваць у спільным кластэрэ. Аднак з’являецца адні з кліентаў, чыя каталогі маюць большыя розмеры, чым у суме усіх існуючых корыстувачаў, і які стварае стабільны трафік запытаў, які змінюе план ўместнасці. Масштабаванне спільнага кластэра для всіх не павінна быць ўсім рашэннем. За дапамогою маршрутызацыі такі корыстувач пераводзіцца на аднойчы апарат, API кліента застаецца недаражаным, а іншы корыстувачы не падвергаюцца наследкам.
Аднойчы сабрыктурацыі таксама ствараюць межу для адмов. Масштабаванне — не ўсё прычыны для раздзелення навантажэння. Інодзе мова йдэ пра тое, каб запобiec таму, каб адні паталагічны корыстувач або перавантажаны кластэр сталі проблемай для всіх.
Шардаванне апавярае пытанне пра тое, як распрацаваць даныя ў межах адной базы дадзеных. Маршрутызацыя на рэвэрсе аплікацыі апавярае пытанне пра тое, чырэзвычайна ўсі неабходныя даныя павінны знаходзіцца ў адной і той жа сістэме. Праца з вялікай колькасцю корыстувачаў выгадвае ад наявнасці обох падходаў. Самэ таму вузел індэксавання і бэкенд знаходзяцца ў налаштаваннях корыстувача, а не ўбудованы ў логіку аплікацыі. Дадаўшы пазней ўтрамбоўвальны двігун, гэта застаецца пераважна задачай локальнага адаптара, а не міграцыяй на всю платформу.
Наступная гіпотэза, якую трэба запытаць
Раз’ядроўка зберохвання разглядала адну майбутню міграцыю і адкрыла наступную схованую гіпотэзу. Запіт на гібрыдны пошук не пачынаецца з базы дадзеных — ён пачынаецца з модэлю машыннага навчання, а модэлі зміняюцца ўсё быстрэй, чым двігуны зберохвання. Калі векторную базу дадзеных прыймаюць як неспроможную для візначэння платформы, то і модэлю утрамбоўвання не можна дазволіць яе візначаць.