Inicio / Artículos

¿Realmente necesitan las aplicaciones RAG a pequeña escala una base de datos vectorial?

LangChain4j MemFile almacena los embeddings en la memoria de la JVM y divide el texto en bloques en el disco. Esto es suficiente para aplicaciones RAG pequeñas, pero es necesario pasar a una base de datos vectorial real cuando sea necesario.

Editor: REACTAPP.TOP5 min de lectura1203 palabras

Fuentes: https://medium.com/@harikrishna553/do-small-scale-rag-apps-really-need-a-vector-database-exploring-langchain4j-memfile-8360f48f68c2

Cuando las personas crean una aplicación de generación aumentada por recuperación, la primera pregunta relacionada con la arquitectura suele ser cuál base de datos vectorial elegir. La lista preliminar generalmente incluye PostgreSQL con pgvector, Milvus, Qdrant, Pinecone, Elasticsearch, OpenSearch, Weaviate y Redis. Se trata de herramientas muy potentes, y para muchos sistemas en producción son la opción adecuada. Sin embargo, antes de añadir otra base de datos, haga una pregunta más fundamental: ¿realmente necesita esta aplicación una?

En el caso de una plataforma con millones de embeddings y cientos o miles de usuarios concurrentes, la respuesta probablemente sea sí. Pero para unas pocas decenas de documentos, unos pocos miles de fragmentos, una pequeña base de conocimientos, pocos usuarios y un tráfico de recuperación moderado, ejecutar y mantener una base de datos vectorial separada puede suponer una complejidad innecesaria. Es ahí donde resultan interesantes los almacenes de embeddings ligeros.

LangChain4j ofrece muchas implementaciones detrás de una abstracción común EmbeddingStore. La documentación enumera más de treinta opciones, desde almacenamiento simple en memoria hasta PGVector, Milvus, Qdrant, Elasticsearch y otros. Una integración de la comunidad que merece una atención más detallada es langchain4j-community-memfile. A continuación: dónde encaja MemFile, por qué existe y cuándo algo tan sencillo es suficiente.

RAG en LangChain4j

A un nivel alto, una aplicación básica de RAG incrusta documentos, almacena los vectores, incrusta una pregunta y busca vectores cercanos, para luego pasar el texto que coincide al modelo. La función del almacenamiento de incrustaciones es específica: conservar los vectores y, por lo general, su texto asociado o metadatos.

LangChain4j lo expresa a través de EmbeddingStore. La interfaz permite agregar embeddings, buscar elementos similares, eliminar entradas y trabajar con el contenido asociado. Gracias a esta abstracción, el código de la aplicación no necesita estar estrechamente vinculado a una base de datos específica. Conceptualmente, se declara un EmbeddingStore<TextSegment> y se elige qué sistema está detrás de él: en memoria, PGVector, Milvus, Qdrant, JVector, MemFile, entre otros. Esa flexibilidad es una de las fortalezas de LangChain4j.

Comience con la opción más simple

Los ejemplos de RAG propios de LangChain4j comienzan con InMemoryEmbeddingStore. Para una aplicación pequeña, mantener unos pocos miles de vectores dentro de la JVM es extremadamente conveniente. No hay PostgreSQL, ni Docker, ni Milvus, ni Redis, ni saltos de red, ni infraestructura que configurar. La arquitectura se reduce al propio proceso de la aplicación. Para muchos trabajos, esa simplicidad es valiosa.

Qué hace realmente MemFile

El nombre sugiere un almacén en memoria que ocasionalmente escribe los datos en disco. El actual MemFileEmbeddingStore es híbrido:

  • Los vectores de embeddings se encuentran en la memoria de la JVM.
  • El contenido incrustado está almacenado en archivos locales.
  • El contenido utilizado con frecuencia puede residir en una caché de memoria opcional.

Divide deliberadamente las dos partes que normalmente comparten una misma tienda. Los embeddings permanecen en la memoria porque la búsqueda de similitud los necesita repetidamente. El TextSegment correspondiente no tiene por qué ocupar continuamente el heap.

Una entrada típica de la tienda cuenta con un id, un vector y un TextSegment. El vector puede contener cientos o miles de valores flotantes; el segmento puede albergar párrafos, metadatos y atributos personalizados. Si todo permanece en memoria, el heap crece tanto con los vectores como con el texto original. MemFile mantiene en RAM lo necesario para las búsquedas y traslada el texto más voluminoso al disco, cargando el contenido solo cuando se obtiene un resultado. Esto resulta útil cuando la cantidad de vectores es manejable pero el texto y los metadatos asociados son grandes. Ejemplo: 100,000 fragmentos con texto de gran tamaño. Los vectores aún pueden caber en memoria, mientras que cada TextSegment como objeto Java genera un considerable sobrecargo en el heap. MemFile reduce ese sobrecargo sin eliminar los vectores necesarios para las búsquedas.

Cuándo MemFile es una buena opción

Es adecuado para aplicaciones RAG de tamaño pequeño a mediano donde los vectores caben cómodamente en la JVM y el contenido de TextSegment es lo suficientemente grande como para que mantener todo en la pila afecte negativamente el rendimiento. Los asistentes de conocimiento internos, las herramientas para desarrolladores, la búsqueda de documentación, las aplicaciones de IA locales, los prototipos, las aplicaciones de escritorio, las herramientas CLI y otros sistemas de un solo proceso son candidatos ideales.

Es especialmente atractivo cuando la base de conocimiento es en su mayor parte estática: se indexa una vez y se realizan muchas consultas. Se mantienen los embeddings en memoria para mayor velocidad, mientras que el contenido de los fragmentos se almacena en el disco. También se evita instalar PostgreSQL, desplegar Milvus, configurar Qdrant o ejecutar otro contenedor. El almacenamiento permanece dentro de la aplicación Java; el contenido de los fragmentos se encuentra en el sistema de archivos local.

Los grandes fragmentos de texto refuerzan aún más esta ventaja. Un caché LRU opcional mantiene en memoria los fragmentos más utilizados, mientras que los menos usados permanecen en el disco.

Cuándo evitarlo

La mayor limitación: los embeddings en sí siguen estando en memoria. Si la colección de vectores crece enormemente, guardar solo el texto en disco no servirá de nada. Millones de embeddings de alta dimensión consumen una gran cantidad de memoria antes incluso de que se considere el texto del documento.

MemFile también utiliza actualmente una búsqueda de similitud por fuerza bruta. Cada consulta se compara con todos los vectores almacenados en lugar de usar un índice de vecino más cercano aproximado. Esto funciona bien para colecciones más pequeñas, pero se vuelve costoso a medida que aumenta su tamaño.

La escalabilidad horizontal representa otro problema. Si varias instancias de servicio necesitan compartir y actualizar la misma colección, mantener consistentes los almacenamientos locales de MemFile resulta complicado. Una base de datos de vectores centralizada se adapta mejor a esta situación.

También son inadecuados los trabajos con alto volumen de operaciones que añaden, actualizan y eliminan documentos continuamente.

Una solución intermedia

Considere a MemFile como algo intermedio entre un almacén puramente en memoria y una base de datos vectorial completa. InMemoryEmbeddingStore funciona cuando tanto los vectores como el contenido caben en la memoria. MemFile se vuelve interesante cuando los vectores aún caben, pero almacenar todo el contenido original en la memoria principal resulta desperdiciado. Una vez que los propios vectores son demasiado grandes, el rendimiento de las consultas se ve afectado, se necesitan múltiples instancias con acceso compartido o se requieren funciones de una base de datos empresarial; en esos casos, hay que pasar a un almacén indexado o dedicado como JVector, PGVector, Qdrant, Milvus, Elasticsearch u OpenSearch.

Nadie sostiene que MemFile deba reemplazar a las bases de datos vectoriales dedicadas. El objetivo es posponer el uso de infraestructura distribuida hasta que realmente lo exija la carga de trabajo. Para el tipo adecuado de carga de trabajo, tener los vectores en memoria y el contenido en disco constituye una arquitectura sorprendentemente simple y eficaz.

Un camino de decisión práctico

  1. Cree un prototipo con el almacén en memoria y unos pocos documentos. Confirme que la calidad de recuperación sea aceptable para su corpus.
  2. Si aparece presión en el heap debido a segmentos de texto mientras la cantidad de vectores sigue siendo moderada, cambie la implementación del almacén a MemFile sin modificar el resto del código RAG.
  3. Mida la latencia de las consultas y el consumo de memoria bajo cargas reales. Si la búsqueda por fuerza bruta se mantiene dentro del límite de latencia establecido y el proceso funciona correctamente, no haga cambios.
  4. Cuando la cantidad de vectores, la concurrencia o el uso compartido entre múltiples instancias comiencen a causar problemas, migre a PGVector, Qdrant, Milvus u otro almacén indexado. La abstracción EmbeddingStore permite que este cambio sea principalmente una modificación de configuración.

Ese enfoque mantiene la complejidad proporcional a las necesidades. Muchas herramientas internas nunca pasan de los pasos 2 o 3, y eso está bien.

Referencias

  • Tutorial sobre almacenes de embeddings en LangChain4j

Lecturas relacionadas

  • Dejamos nuestra base de datos vectorial: pgvector sirvió 40 millones de embeddings sin problemas — Una historia de migración: reemplazar un almacén vectorial de pago por pgvector en 40 millones de filas, incluyendo el método de relleno posterior, el error en la recuperación que se ocultó en los paneles de control y cuándo no es adecuado hacer el cambio.
  • Pinecone, Weaviate, Milvus, Qdrant o Chroma: cómo elegir una base de datos vectorial — Explicación en lenguaje sencillo de las características de cada base de datos vectorial, desde búsquedas sin servidor e híbridas hasta indexación con Rust y GPU, incluyendo sus ventajas desventajas y cuándo cada una es la más adecuada.