Галоўная / Артыкулы

Чы справды дапаможнікі RAG малага масштабу патрабуюць базы дадзеных вектароў?

LangChain4j MemFile зберагае эмбедынгі ў памяці JVM, а тэкст — часткамі на дыску. Гэта падходзіць для маленькіх прыкладоў RAG, але калі патрэбна большая ўстойчывасць, трэба перайсці на справжню базу дадзэння вектараў.

Выдавец: REACTAPP.TOP5 хв чытання1203 слоў

Крыніцы: https://medium.com/@harikrishna553/do-small-scale-rag-apps-really-need-a-vector-database-exploring-langchain4j-memfile-8360f48f68c2

Калі люды запускаюць прыкладнасць на адгэнераванне з выкарыстоўванням дадзеных, першыя пытанні, якія вылучаюцца, часта стосуюцца выбору базы вектарных дадзеных. У спісе кандыдацоў зазвычай ёсць PostgreSQL з падтрымкай pgvector, Milvus, Qdrant, Pinecone, Elasticsearch, OpenSearch, Weaviate і Redis. гэта супернейкія інструменты, і для багатох прыкладных сістэм яны ўзяты за основу. Аднак, пры даданні ўвагі іншым базам дадзеных, трэба задаць ўжо іншае пытанне: чы рэальна такая прыкладная сістэма патрабуе базы вектарных дадзеных?

Для платформы з мільйонамі вектарных прэдставленняў і сотнямі чы тысячамі адночасных корыстувачаў адпаведзь можа быць «так». Аднак для колькісці дасягаючых канікул дакументаў, некалькі тысяч фрагментаў, маленькай базы знанняў, некалькох корыстувачаў і скромнага трафіку выкарыстоўвання дадзеных, запуск і адтрымка окалічнай базы вектарных дадзеных можа стаць непатрэбной складнасцю. Самэль тут становяцца цікавымі лёгкія сховішча вектарных прэдставленняў.

LangChain4j пропонуе багато варыантыв рэалізаціі за допомогою спільноі абстракціі EmbeddingStore. У документаціі перэраховано понад трыдцяць варыантыв – ад простого зберыгання в оператывній памяці до сістэм PGVector, Milvus, Qdrant, Elasticsearch і іншых. Одніею з рышэнь, які варто уважно розглянуты для інтэграціі в спільноту, ёсць langchain4j-community-memfile. Ніжчэ: дэ вікорыстовуецца MemFile, чому ён існуе і колі дастаткова такого простого підходу.

RAG у LangChain4j

У загальніх рысах, базовій додаток RAG вбудовуе документы, зберыгае векторы, вставляе запіт і шукае суміжні векторы, пасля чого перэдае відповідній тэкст мадэлі. Задачы магазіну векторыв полягае у зберыганні векторыв і, як правіло, пов’язаного з німі тэксту чы метаданіх.

LangChain4j выражае гэта праз EmbeddingStore. Шырокаспектная інтэфейс падтрымлівае дадзенне эмбеддынгаў, пошук сэродніх іх, адчысценне елементаў і работу з асоціяваным кантэнтам. Заводзка гэтай абстракцыі код прыкладнення не павінен быць тыпаўна прычэсаны з конкрэтным базам дадзенняў. Канцэптуальна вы прызначаеце EmbeddingStore<TextSegment> і выбіраеце, што будзе выканана ў ягонай основе: у памяці, PGVector, Milvus, Qdrant, JVector, MemFile і т. п. Гэтая гнучкасць ўскладнівае адна з сяброўствах LangChain4j.

Пачніце з самага простаг варыянта

Прыклады RAG ад LangChain4j пачынаюцца з InMemoryEmbeddingStore. Для невялікага прыемліка ўтрымванне кальколька тысяч вектараў унутры JVM ёсць чыразна зручным. Не трэба PostgreSQL, Docker, Milvus, Redis, жадных сеансаў на сеткі і жадной інфраструктуры, якая трэба наладзіць. Архітэктура зводзіцца да самага працэсу прыемліка. Для багатоўякіх завадзей такая простасць мае вялікую цэннасць.

Што на самай працэ Мемфайл

Назва падае на думку пра хранэнне ў памяці, якае час а час зберагае даны на дыск. Чыразны MemFileEmbeddingStore ёсць гібрыдам:

  • Вектары эмбеддынга знаходзяцца ў памяці JVM.
  • Контэнт, які быў эмбеддаваны, знаходзіцца у локальных файлах.
  • Часта выкарыстоўваны контэнт можа знаходзіцца ў неабавязковай кэш-памяці.

Ён нявольна раздзеляе два фрагмента, які зазвычай выкарыстоўваюць адну базу дадзэння. Эмбедынгі застаюцца ў памяці, таму што пошук сэроднечы нейкраза ўпарацоўвае іх. Адпаведны TextSegment не павінен стацыярна займаць месца ў хіпе.

Тыповы элемент упорадкування мае ідэнтыфікатор, вектар і TextSegment. Вектар можа мячыць сотні або тыясячы чыслаў з паводлівай калямкой; сегмент можа мячыць параграфы, метаданы і спецыяльныя атрыбуты. Калі усё застаецца ў памяці, кашталак расце разам з вектарамі і самым тэкстам. MemFile захоўвае тое, што неабходна для пошуку, у RAM, а важызны тэкст пераводзіць на дыск, завантажаючы ўместа толькі тады, калі адбываецца знаходка. Цэя методыка дапамагае, калі колькасць вектароў ёсць прыемнаю, але супаўзяны тэкст і метаданы вельмі велікія. Прыклад: 100 000 частак з вельмі большым тэкстам. Вектары можа ўсё ж застацца ў памяці, тады як кожны TextSegment як об’ект Java стварае значны надтэрат кашталака. MemFile зменшывае гэты надтэрат, не адмахваючы вектароў, неабходных для пошуку.

Калі MemFile ёсць прыдатным рашэнням

Ён падходзіць для малых і сярэдняях прыкладоў RAG, дзе вектары з лёгкасцю пасваяюцца ў JVM, а контэнт TextSegment настолькі вялік, што зберагаччаўне ўсьго на хіпе паслабляе працэздатнась. Внутршнія асістэнты з ведамасцю, інструменты для распрацоўшчыкаў, пошук дакументацыі, локальныя AI-прыкладнення, пратэтыпы, дэсктопныя прыкладнення, інструменты CLI і іншыя сістэмы з адным працэсам яўляюцца ідэяльнымі кандыдатамі.

Ён ўжо болей прыемны, калі база ведамасці пераважна статычная: індэксуецца адной раз, а запытваецца многа разоў. Чырпакі зберагаюцца ў памяці для шырокай скорась, а сам кантэнт — на дыску. Таксама не трэба інсталаваць PostgreSQL, развойваць Milvus, налаштовваць Qdrant чы ўрабляць іншы кантэйнер. Храненне застаецца ўнутры Java-прыкладнення; кантэнт чырпакоў знаходзіцца на локальной файловай сістэме.

Вялікія фрагменты тэксту ўсё больш падтрымліваюць такой падход. Апшырэнне LRU-кеша дапамагае зберагаць актуальныя фрагменты ў памяці, а менш важлівыя — на дыску.

Калі яго трэба адмовіцца

Сяроджытныя проблемы: самыя эмбедынгі все ўсё застаюцца ў памяці. Як толькі колькасць вектараў стане вельмі вялікай, проста пераказванне тэксту на дыск не дапаможа. Мільйоны высака-вымірных эмбедынгаў займаюць значны прыёмнік памяці, прычым тэкст дакумента ўсё ўсё не быў рассмотраны.

MemFile таксама наразе выкарыстоўвае пошук садоўжнасці методам грубой сілы. Кожны запіт паўставляецца ў адносе да всіх збераглых вектараў, а не да індэкса найбліжэйшага суседа. Гэта падходзіць для меньшых колекцыяў, але стае дорогім, калі колькасць вектараў зрастае.

Горызонтальнае масштабаванне таксама ўступае ў суперсчытанне. Калі калькі прыкладоў службы павінны дзеліцца і апдэйтаваць тую ж самую колекцыю, падтрымка адпаведнасці локальных баз MemFile стае складнай. Цэнтрызаваная база вектараў лепей падходзіць для такой сітуацыі.

Працы з вялікай частотай змены, дзе дакументы сталоўна дадаюцца, апдэйтуюцца і выдаляюцца, таксама не падходзяць для такога падходу.

Серэднія падходы

Можна супрацаваць з MemFile як з чыстым храненнем у памяці, так і з повным векторным базой дадзеных. InMemoryEmbeddingStore працюе тады, калі і векторы, і контэнт помешчаюцца ў памяці. MemFile становіць сабе інтэрэс, калі векторы ўсё ж помешчаюцца, але зберагчы весь первісны контэнт у памяці ёсць нерацыональна. Калі самі векторы стаюць занадта большымі, швыдкасць запітоў стае недастатнек, патрабуецца саюзны доступ да калькі ляўкаў, або ж патрабуюцца функцыі корпаратывных баз дадзеных, тады трэба перайсці на індэксаваныя або спецыяльныя храненні, такія як JVector, PGVector, Qdrant, Milvus, Elasticsearch чыста OpenSearch.

Ніхто не стварае прычын, чаму MemFile павінен заместы спецыяльныя векторныя базы дадзеных. Сэрцаўая ідэя — адкладаць стварэнне распадзеленай інфраструктуры да таго часу, калі робочая навантажэння насправды гэта патрабуе. Для правільнага робочага навантажэння архітэктура, у якой векторы знаходзяцца ў памяці, а контэнт — на дыску, являе сабо ўзначай простую і эфектыўную.

Практычны пацёрк прыняцтва рашэння

  1. Сконструюйце пратотып з абсарбаментам у памяці і калькам дакументаў. Пераканайцеся, што якасць выкарыстоўвання дакументаў ёсць прыйнятной для вашага корпусу.
  2. Калі пад час працы з фрагментамі тэксту з’являецца напруга на абсарбаменты, а колькасць вектораў застаецца незначной, заменіце рэалізацыю абсарбамента на MemFile, не зменяючы рэшту коду RAG.
  3. Замерайце час адпаведзення на запыткі і вікорыстоўванне памяці пад рэалістычным навантажэнням. Якшто пошук методам брутальной сілы застаецца ў межах вашага ліміту часу, а працэс працюе стабільна, застойцеся на тым жа варыянтэ.
  4. Калі колькасць вектораў, канкурантнасць чы сяродзіння мнагах экзантэйнах пачынае ствараць проблемы, перайдзіце на PGVector, Qdrant, Milvus чы іншы індэксаваны абсарбамент. Абстракцыя EmbeddingStore дазволяе здзейсніць такую замену пераважна за дапамою змян у налашчаннях.

Такі падход дазволяе заставляць складнасць прымесную да патрэб. Багатыя внутранія інструменты ніколі не пераходзяць да крока 2 чы 3, і гэта нормальна.

Справы

  • Інструкцыя па абсарбаментах з эмбедынгам у LangChain4j