Действительно ли приложениям малого масштаба с технологией RAG нужна база данных векторов?
LangChain4j MemFile хранит эмбеддинги в памяти JVM, а текст — на диске. Этого достаточно для небольших приложений типа RAG, но при необходимости следует перейти на настоящую векторную базу данных.
Когда люди запускают приложение на основе технологии Retrieval-Augmented Generation, первым архитектурным вопросом часто является выбор базы данных векторов. В список кандидатов обычно входят PostgreSQL с расширением pgvector, Milvus, Qdrant, Pinecone, Elasticsearch, OpenSearch, Weaviate и Redis. Это мощные инструменты, и для многих производственных систем они представляются оптимальным решением. Однако прежде чем добавлять ещё одну базу данных, стоит задать более фундаментальный вопрос: действительно ли этому приложению она нужна?
Для платформы с миллионами векторных представлений и сотнями или тысячами одновременных пользователей ответ, скорее всего, будет «да». Но для нескольких десятков документов, нескольких тысяч фрагментов информации, небольшой базы знаний, ограниченного числа пользователей и незначительного объёма запросов на поиск, запуск и обслуживание отдельной базы данных векторов может привести к избыточной сложности. Именно здесь становятся полезными лёгкие хранилища векторных представлений.
LangChain4j предлагает множество реализаций под единым абстрактным интерфейсом EmbeddingStore. В документации перечислено более тридцати вариантов — от простого хранения в оперативной памяти до использования PGVector, Milvus, Qdrant, Elasticsearch и других инструментов. Одной из реализаций из сообщества, которую стоит внимательно рассмотреть, является langchain4j-community-memfile. Ниже рассказано, где применяется MemFile, зачем он существует и когда подобное простое решение достаточно.
RAG в LangChain4j
В общих чертах базовое приложение на основе технологии RAG встраивает документы, хранит соответствующие векторы, встраивает вопрос и ищет близкие по значению векторы, после чего передаёт найденный текст модели. Задача хранилища векторов заключается в том, чтобы хранить сами векторы, а также, как правило, связанный с ними текст или метаданные.
LangChain4j реализует это с помощью EmbeddingStore. Этот интерфейс позволяет добавлять эмбеддинги, искать похожие на них, удалять записи и работать с связанным контентом. Благодаря такой абстракции код приложения не обязан тесно связываться с конкретной базой данных. Концептуально вы объявляете EmbeddingStore<TextSegment> и выбираете технологию, стоящую за ним: память, PGVector, Milvus, Qdrant, JVector, MemFile и т. д. Такая гибкость является одним из сильных сторон LangChain4j.
Начните с самого простого варианта
Примеры использования RAG в LangChain4j начинаются с InMemoryEmbeddingStore. Для небольших приложений крайне удобно хранить несколько тысяч векторов прямо в JVM. Нет необходимости в PostgreSQL, Docker, Milvus, Redis, сетевых переходах или настройке инфраструктуры. Архитектура сводится к самому процессу приложения. Для многих задач такая простота имеет большое значение.
Что на самом деле делает MemFile
Название наводит на мысль о хранилище в памяти, которое время от времени сохраняет данные на диск. Текущий MemFileEmbeddingStore представляет собой гибридный вариант:
- Векторы эмбеддингов хранятся в памяти JVM.
- Содержимое, связанное с эмбеддингами, хранится в локальных файлах.
- Часто используемое содержимое может находиться в опциональной кэш-памяти.
Он намеренно разделяет два фрагмента, которые обычно находятся в одном хранилище. Эмбеддинги остаются в памяти, поскольку для поиска сходства они требуются многократно. Соответствующий TextSegment не обязан постоянно занимать память типа heap.
Типичная запись магазина содержит id, вектор и TextSegment. Вектор может хранить сотни или тысячи чисел с плавающей точкой; сегмент может содержать абзацы, метаданные и пользовательские атрибуты. Если всё находится в памяти, объем кучи растет как с векторами, так и с исходным текстом. MemFile сохраняет в RAM то, что необходимо для поиска, а более объемный текст перемещает на диск, загружая его только тогда, когда обнаруживается совпадение. Это полезно, когда количество векторов управляемо, но связанный с ними текст и метаданные имеют большой объем. Пример: 100 000 фрагментов с довольно большим объемом текста. Векторы могут ещё поместиться в памяти, тогда как каждый TextSegment в качестве объекта Java создает значительную нагрузку на кучу. MemFile снижает эту нагрузку, не удаляя векторы, необходимые для поиска.
Когда MemFile подходит
Это подходит для небольших и средних приложений RAG, где векторы умещаются без проблем в JVM, а содержимое TextSegment достаточно большое, чтобы хранение всего на памяти вызывало проблемы. Подходит для внутренних помощников с знаниями, инструментов для разработчиков, поиска документации, локальных ИИ-приложений, прототипов, десктопных приложений, инструментов командной строки и других однопроцессных систем.
Особенно привлекательно это решение, когда база знаний в основном статична: индексируется один раз, а запросы выполняются многократно. Для ускорения работы активные векторы хранятся в оперативной памяти, а содержимое фрагментов — на диске. Также не требуется устанавливать PostgreSQL, развертывать Milvus, настраивать Qdrant или запускать другие контейнеры. Хранилище остается внутри Java-приложения, а содержимое фрагментов — на локальной файловой системе.
Большие фрагменты текста ещё больше усиливают преимущества этого решения. Опциональный кэш LRU позволяет хранить активные фрагменты в памяти, в то время как менее используемые остаются на диске.
Когда следует его избегать
Самое серьезное ограничение заключается в том, что сами эмбеддинги по-прежнему хранятся в памяти. Если набор векторов становится огромным, простое сохранение только текста на диск вам не поможет. Миллионы высокодимензионных эмбеддингов занимают значительное количество памяти еще до того, как будет учтен текст документа.
MemFile в настоящее время также использует поиск сходства методом brute-force. Каждый запрос сравнивается со всеми сохраненными векторами, а не с использованием индекса ближайшего соседа. Это подходит для небольших наборов, но становится дорогостоящим по мере увеличения объема данных.
Горизонтальное масштабирование также является проблемой. Если несколько экземпляров сервиса должны совместно использовать и обновлять один и тот же набор данных, поддержание согласованности локальных хранилищ MemFile оказывается сложной задачей. Для таких случаев более подходит централизованная база данных векторов.
Работы с высокой частотой изменений, при которых постоянно добавляются, обновляются и удаляются документы в больших объемах, также плохо сочетаются с этим подходом.
Посредний вариант
Рассматривайте MemFile как что-то среднее между чистым хранилищем в памяти и полноценной векторной базой данных. InMemoryEmbeddingStore эффективен, когда и векторы, и контент помещаются в память. MemFile становится полезным, когда векторы ещё вмещаются, но хранение всего исходного контента в оперативной памяти является неэффективным. Как только сами векторы становятся слишком большими, требуется высокая пропускная способность при выполнении запросов, необходим общий доступ к нескольким экземплярам или нужны функции корпоративной базы данных — в таких случаях следует перейти на индексированное или специализированное хранилище, такое как JVector, PGVector, Qdrant, Milvus, Elasticsearch или OpenSearch.
Никто не утверждает, что MemFile должен заменить специализированные векторные базы данных. Смысл заключается в том, чтобы откладывать использование распределенной инфраструктуры до тех пор, пока это действительно не потребуется рабочей нагрузкой. Для подходящей рабочей нагрузки архитектура с векторами в памяти и контентом на диске является чрезвычайно простой и эффективной.
Практический путь принятия решений
- Создайте прототип с памятным хранилищем и небольшим количеством документов. Проверьте, является ли качество поиска приемлемым для вашего корпуса данных.
- Если при работе с текстовыми фрагментами возникает давление на память, в то время как количество векторов еще невелико, замените реализацию хранилища на MemFile, не изменяя остальную часть кода RAG.
- Измеряйте задержку запросов и объем используемой памяти при реалистичной нагрузке. Если поиск методом перебора остается в пределах установленного лимита задержек и процесс функционирует стабильно, продолжайте использовать текущую реализацию.
- Когда количество векторов, уровень конкурентности или многопоточное использование начинают создавать проблемы, перейдите на PGVector, Qdrant, Milvus или другое индексированное хранилище. Абстракция EmbeddingStore позволяет осуществить такую замену практически только путем изменения настроек.
Такой подход сохраняет сложность в пропорции к необходимости. Многие внутренние инструменты никогда не переходят к шагам 2 или 3, и это вполне нормально.
Ссылки
- Учебник по хранилищам эмбеддингов LangChain4j