Accueil / Articles

Les applications RAG à petite échelle ont-elles vraiment besoin d’une base de données vectorielle ?

LangChain4j MemFile conserve les embeddings en mémoire JVM et stocke le texte en blocs sur disque. Cela suffit pour de petites applications RAG, mais il est nécessaire de passer à une véritable base de données vectorielle pour des cas plus complexes.

Éditeur : REACTAPP.TOP5 min de lecture1203 mots

Sources: https://medium.com/@harikrishna553/do-small-scale-rag-apps-really-need-a-vector-database-exploring-langchain4j-memfile-8360f48f68c2

Lorsque les gens lancent une application de génération augmentée par la récupération d’informations, la première question liée à l’architecture concerne souvent le choix de la base de données vectorielle. La liste des candidats comprend généralement PostgreSQL avec pgvector, Milvus, Qdrant, Pinecone, Elasticsearch, OpenSearch, Weaviate et Redis. Il s’agit d’outils puissants, et pour de nombreux systèmes en production, ce sont les choix appropriés. Cependant, avant d’ajouter une autre base de données, posez-vous une question plus fondamentale : cette application a-t-elle réellement besoin d’une telle base ?

Pour une plateforme disposant de millions d’embeddings et de centaines ou milliers d’utilisateurs simultanés, la réponse est probablement oui. En revanche, pour quelques dizaines de documents, quelques milliers de fragments, une petite base de connaissances, un petit nombre d’utilisateurs et un trafic de récupération modeste, gérer une base de données vectorielle distincte peut représenter une complexité inutile. C’est là que les stockages d’embeddings légers deviennent intéressants.

LangChain4j propose de nombreuses implémentations derrière une abstraction commune EmbeddingStore. La documentation énumère plus de trente options, allant d’un stockage simple en mémoire à PGVector, Milvus, Qdrant, Elasticsearch et d’autres. Une intégration communautaire qui mérite une attention particulière est langchain4j-community-memfile. Ci-dessous : où s’inscrit MemFile, pourquoi il existe et quand quelque chose d’aussi simple suffit.

RAG dans LangChain4j

À un niveau général, une application RAG de base incorpore des documents, stocke les vecteurs, incorpore une question et recherche les vecteurs proches, avant de fournir le texte correspondant au modèle. La fonction du stockage d’incorporation est bien définie : conserver les vecteurs et, généralement, le texte ou les métadonnées qui y sont associés.

LangChain4j exprime cela à travers EmbeddingStore. Cette interface permet d’ajouter des embeddings, de rechercher des embeddings similaires, de supprimer des entrées et de travailler avec le contenu associé. Grâce à cette abstraction, le code de l’application n’a pas besoin d’être étroitement lié à une base de données particulière. Conceptuellement, on déclare un EmbeddingStore<TextSegment> et on choisit ce qui se trouve derrière lui : en mémoire, PGVector, Milvus, Qdrant, JVector, MemFile, etc. Cette flexibilité fait partie des forces de LangChain4j.

Commencez par l’option la plus simple

Les exemples RAG fournis par LangChain4j commencent avec InMemoryEmbeddingStore. Pour une petite application, il est extrêmement pratique de conserver quelques milliers de vecteurs à l’intérieur de la JVM. Il n’y a ni PostgreSQL, ni Docker, ni Milvus, ni Redis, aucune connexion réseau et aucune infrastructure à mettre en place. L’architecture se réduit au processus d’application lui-même. Pour de nombreuses tâches, cette simplicité est précieuse.

Quel est réellement le rôle de MemFile

Le nom suggère un stockage en mémoire qui viderait occasionnellement ses données sur disque. Le MemFileEmbeddingStore actuel est en réalité un hybride :

  • Les vecteurs d’incorporation se trouvent en mémoire de la JVM.
  • Le contenu incorporé est stocké dans des fichiers locaux.
  • Le contenu utilisé fréquemment peut être conservé dans un cache mémoire optionnel.

Cela sépare délibérément les deux parties qui partagent normalement un même stockage. Les embeddings restent en mémoire car la recherche de similarité a besoin d’eux à plusieurs reprises. Le TextSegment correspondant n’a pas besoin d’occuper continuellement la mémoire dynamique.

Une entrée typique d’un magasin contient un id, un vecteur et un TextSegment. Le vecteur peut stocker des centaines ou des milliers de nombres flottants ; le segment peut contenir des paragraphes, des métadonnées et des attributs personnalisés. Si tout reste en mémoire, la pile augmente avec les vecteurs ainsi qu’avec le texte original. MemFile conserve dans la RAM ce dont a besoin la recherche et déplace le texte volumineux sur disque, ne chargeant le contenu que lorsque un résultat est trouvé. Cela est utile lorsque le nombre de vecteurs reste gérable mais que le texte et les métadonnées associés sont importants. Exemple : 100 000 fragments contenant du texte de grande taille. Les vecteurs peuvent encore tenir en mémoire, tandis que chaque TextSegment en tant qu’objet Java ajoute une charge importante à la pile. MemFile réduit cette charge sans supprimer les vecteurs nécessaires à la recherche.

Lorsque MemFile est adapté

Cela convient aux applications RAG de petite à moyenne taille où les vecteurs tiennent confortablement dans la JVM et où le contenu de TextSegment est suffisamment volumineux pour que conserver tout cela en mémoire vive soit problématique. Les assistants à la connaissance internes, les outils de développement, la recherche de documentation, les applications d’IA locales, les prototypes, les applications desktop, les outils CLI et autres systèmes à processus unique en sont de bons candidats.

Cela est particulièrement attrayant lorsque la base de connaissances est principalement statique : indexer une fois, effectuer de nombreuses requêtes. On conserve les embeddings en mémoire vive pour accélérer les opérations, tandis que le contenu des blocs reste sur le disque. On évite également d’installer PostgreSQL, de déployer Milvus, de configurer Qdrant ou de lancer un autre conteneur. Le stockage reste intégré à l’application Java ; le contenu des blocs se trouve sur le système de fichiers local.

De gros blocs de texte renforcent encore cet avantage. Un cache LRU optionnel permet de garder en mémoire les blocs fréquemment utilisés, tandis que ceux qui ne le sont pas restent sur le disque.

Quand l’éviter

La plus grande limite : les embeddings eux-mêmes restent en mémoire. Si la collection de vecteurs devient énorme, ne conserver que le texte sur disque ne vous sera d’aucune aide. Des millions d’embeddings à haute dimension consomment beaucoup de mémoire avant même que le texte du document ne soit pris en compte.

MemFile utilise actuellement également une recherche de similarité par force brute. Chaque requête est comparée à tous les vecteurs stockés plutôt qu’à un index de voisin le plus proche approximatif. Cela convient bien pour de petites collections, mais devient coûteux à mesure que leur taille augmente.

L’échelle horizontale représente un autre problème. Lorsque plusieurs instances de service doivent partager et mettre à jour la même collection, il est difficile de maintenir la cohérence des stockages locaux MemFile. Une base de données vectorielle centralisée s’adapte mieux à ce cas d’usage.

Les charges de travail à fort taux de création, de mise à jour et de suppression de documents en continu ne conviennent pas non plus.

Une solution intermédiaire

Pensez à MemFile comme une solution intermédiaire entre un stockage pur en mémoire et une base de données vectorielle complète. InMemoryEmbeddingStore fonctionne lorsque les vecteurs et le contenu tiennent tous deux en mémoire. MemFile devient intéressant lorsque les vecteurs restent adaptés mais que conserver tout le contenu original dans la mémoire vive est gaspilleur. Lorsque les vecteurs deviennent eux-mêmes trop volumineux, que le débit des requêtes est élevé, qu’il faut un accès partagé entre plusieurs instances ou que des fonctionnalités de base de données d’entreprise sont nécessaires, il convient de passer à un stockage indexé ou dédié tel que JVector, PGVector, Qdrant, Milvus, Elasticsearch ou OpenSearch.

Nul ne prétend que MemFile devrait remplacer les bases de données vectorielles dédiées. L’idée est de reporter l’utilisation d’une infrastructure distribuée jusqu’à ce que la charge de travail le requière réellement. Pour le bon type de charge de travail, une architecture où les vecteurs sont en mémoire et le contenu sur disque est remarquablement simple et efficace.

Une approche décisionnelle pratique

  1. Créez un prototype utilisant le stockage en mémoire et un petit nombre de documents. Vérifiez que la qualité des récupérations est acceptable pour votre corpus.
  2. Si la pression sur la mémoire augmente en raison des segments de texte alors que le nombre de vecteurs reste modeste, passez à l’implémentation MemFile sans modifier le reste du code RAG.
  3. Mesurez la latence des requêtes et la consommation mémoire sous une charge réelle. Si la recherche par force brute reste dans vos limites de latence et que le processus fonctionne correctement, continuez ainsi.
  4. Lorsque le nombre de vecteurs, la concurrence ou le partage entre plusieurs instances commencent à poser problème, migrez vers PGVector, Qdrant, Milvus ou un autre stockage indexé. L’abstraction EmbeddingStore permet de réaliser ce changement principalement par une modification de configuration.

Cette approche maintient la complexité en proportion des besoins. De nombreux outils internes n’atteignent jamais l’étape 2 ou 3, et c’est tout à fait normal.

Références

  • Tutoriel sur les stockages d’encodages de LangChain4j