Чи справді додатки RAG невеликого масштабу потребують бази даних векторів?
LangChain4j MemFile зберігає ембеддинги в пам’яті JVM, а текст — уривками на диску. Цього достатньо для невеликих додатків типу RAG, але потрібно переходити до справжньої векторної бази даних у більших проектах.
Коли люди створюють додаток на основі технології Retrieval-Augmented Generation, перше архітектурне питання — це вибір бази даних векторів. До списку кандидатів зазвичай входять PostgreSQL із pgvector, Milvus, Qdrant, Pinecone, Elasticsearch, OpenSearch, Weaviate та Redis. Це потужні інструменти, і для багатьох продакшн-систем вони є оптимальним вибором. Однак перед тим, як додати ще одну базу даних, варто поставити більш фундаментальне питання: чи справді цьому додатку вона потрібна?
Для платформи з мільйонами ембеддингів та сотнями чи тисячами одночасних користувачів відповідь, ймовірно, буде «так». Але для кількох десятків документів, кількох тисяч фрагментів, невеликої бази знань, обмеженої кількості користувачів та невеликого обсягу трафіку для пошуку, використання окремої бази даних векторів може стати зайвою складністю. Саме тут стають корисними легкі сховища ембеддингів.
LangChain4j пропонує багато реалізацій під спільною абстракцією EmbeddingStore. У документації перелічено понад тридцять варіантів — від простого зберігання в оперативній пам’яті до PGVector, Milvus, Qdrant, Elasticsearch та інших. Одна з інтеграцій спільноти, яку варто уважніше розглянути, — це langchain4j-community-memfile. Нижче: де використовується MemFile, чому він існує та коли настільки простий варіант є достатнім.
RAG у LangChain4j
У загальних рисах базовий додаток RAG вбудовує документи, зберігає вектори, вбудовує запит та шукає сусідні вектори, після чого передає відповідний текст моделі. Завдання магазину ембеддингів є конкретним: зберігати вектори та, як правило, пов’язаний з ними текст або метадані.
LangChain4j реалізує це через EmbeddingStore. Цей інтерфейс дозволяє додавати ембеддинги, шукати схожі, видаляти записи та працювати з пов’язаним контентом. Завдяки такій абстракції код додатку не мусить бути тісно прив’язаним до певної бази даних. Концептуально ви оголошуєте EmbeddingStore<TextSegment> та обираєте те, що буде знаходитися за його фасадом: в оперативній пам’яті, PGVector, Milvus, Qdrant, JVector, MemFile тощо. Саме ця гнучкість є однією з сильних сторін LangChain4j.
Почніть з найпростішого варіанту
Власні приклади RAG від LangChain4j починаються з InMemoryEmbeddingStore. Для невеликого додатку зберігання кількох тисяч векторів усередині JVM є надзвичайно зручним. Не потрібен PostgreSQL, Docker, Milvus, Redis, жодних мережевих переходів чи налаштування інфраструктури. Архітектура зводиться до самого процесу додатку. Для багатьох завдань така простота є цінною.
Що насправді робить MemFile
Назва нагадує пам’ятний сховище, яке час від часу записує дані на диск. Текущий MemFileEmbeddingStore є гібридним рішенням:
- Вектори ембеддингів знаходяться у пам’яті JVM.
- Зміст ембеддингів зберігається у локальних файлах.
- Часто використовуваний зміст може знаходитися у необов’язковому кеші пам’яті.
Він навмисно розділяє дві частини, які зазвичай використовують один магазин. Ембеддинги залишаються в пам’яті, оскільки пошук схожостей потребує їх постійно. Відповідний TextSegment не обов’язково має постійно займати область пам’яті типу heap.
Типовий елемент магазину має id, вектор та TextSegment. Вектор може містити сотні чи тисячі чисел типу float; сегмент може містити абзаци, метадані та користувацькі атрибути. Якщо все знаходиться в пам’яті, об’єм heap зростає разом із векторами та оригінальним текстом. MemFile зберігає те, що потрібне для пошуку, у RAM, а важчий текст переміщує на диск, завантажуючи його лише тоді, коли знаходиться відповідь. Це допомагає, коли кількість векторів є прийнятною, але пов’язаний текст та метадані є великими. Приклад: 100 000 частин із значним обсягом тексту. Вектори все ще можуть поміститися в пам’яті, тоді як кожен TextSegment як об’єкт Java створює значний навантаження на heap. MemFile зменшує це навантаження, не видаляючи вектори, необхідні для пошуку.
Коли MemFile є правильним вибором
Це підходить для дрібних та середніх додатків типу RAG, де вектори комфортно розміщуються у JVM, а вміст TextSegment є настільки великим, що зберігання всього у пам’яті heap завдає проблем. Це ідеальний варіант для внутрішніх асистентів знань, інструментів для розробників, пошуку документації, локальних AI-додатків, прототипів, десктопних програм, інструментів командного рядка та інших систем з одним процесом.
Цей підхід особливо привабливий, коли база знань переважно статична: індексується один раз, а запити виконуються багато разів. Для прискорення роботи ембеддинги зберігаються у оперативній пам’яті, тоді як сам вміст частин залишається на диску. Також не потрібно встановлювати PostgreSQL, розгортати Milvus, налаштовувати Qdrant чи запускати інші контейнери. Сховище залишається всередині Java-додатку; вміст частин зберігається у локальній файловій системі.
Великі фрагменти тексту ще більше підсилюють переваги цього підходу. Опційний кеш LRU зберігає активні фрагменти у пам’яті, тоді як менш використовувані залишаються на диску.
Коли його варто уникати
Найбільша проблема: самі ембеддинги все ще знаходяться в пам’яті. Якщо колекція векторів стає дуже великою, лише переміщення тексту на диск не допоможе. Мільйони високорозмірних ембеддингів споживають значну кількість пам’яті ще до того, як буде розглянутий текст документа.
MemFile наразі також використовує пошук схожості методом brute-force. Кожен запит порівнюється з усіма збереженими векторами, а не з індексом найближчих сусідів. Це підходить для менших колекцій, але стає дорогим у масштабах більших об’ємів даних.
Горизонтальне масштабування також є проблемою. Якщо кілька інстанцій сервісу потребують спільного використання та оновлення однієї і тієї ж колекції, підтримка консистентності локальних сховищ MemFile є складною. Централізована база даних векторів краще підходить для такої ситуації.
Робочі навантаження з високою частотою створення, оновлення та видалення документів також погано підходять для цього підходу.
Проміжний варіант
Уявіть собі MemFile як щось середнє між чистим внутрішньомемним сховищем та повноцінною векторною базою даних. InMemoryEmbeddingStore працює тоді, коли і вектори, і контент поміщаються у пам’ять. MemFile стає корисним, коли вектори ще поміщаються, але зберігання всього оригінального контенту у пам’яті є марнотратним. Як тільки самі вектори стають занадто великими, швидкість обробки запитів знижується, потрібен спільний доступ до кількох екземплярів або необхідні функції корпоративної бази даних — у такому разі слід перейти на індексоване або спеціалізоване сховище, таке як JVector, PGVector, Qdrant, Milvus, Elasticsearch чи OpenSearch.
Ніхто не стверджує, що MemFile має замінити спеціалізовані векторні бази даних. Суть у тому, щоб відкладати використання розподіленої інфраструктури до моменту, коли це справді стане необхідним через обсяг роботи. Для певних типів завдань архітектура з векторами у пам’яті та контентом на диску є надзвичайно простою та ефективною.
Практичний підхід до прийняття рішень
- Створіть прототип із пам’ятним сховищем та кількома документами. Переконайтеся, що якість отримання даних є прийнятною для вашого корпусу.
- Якщо через фрагменти тексту з’являється тиск на пам’ять, хоча кількість векторів ще невелика, замініть реалізацію сховища на MemFile, не змінюючи решту коду RAG.
- Виміряйте затримку запитів та використання пам’яті за реалістичних умов навантаження. Якщо пошук методом brute-force залишається в межах вашого бюджету затримок та процес працює стабільно, залишайтеся при поточному варіанті.
- Коли кількість векторів, конкурентність чи спільне використання кількох інстанцій починають створювати проблеми, перейдіть на PGVector, Qdrant, Milvus чи інше індексоване сховище. Абстракція EmbeddingStore дозволяє здійснити таку заміну переважно шляхом зміни конфігурації.
Цей підхід зберігає складність пропорційно потребам. Багато внутрішніх інструментів ніколи не переходять до кроку 2 чи 3, і це нормально.
Посилання
- Навчальний посібник з сховищами ембеддингів LangChain4j