Comprendre la mémoire de l’IA : contexte, embeddings, RAG et poids du modèle expliqués

Imaginez discuter avec une IA aujourd’hui :

« Je travaille sur un projet d’apprentissage automatique. »

Puis, le jour suivant, vous revenez sur le sujet :

« Qu’est-ce que je devrais améliorer dans mon projet ? »

Pensez-vous que l’IA se souviendra de ce que vous lui avez dit précédemment ?

Parfois, oui.

Parfois, non.

Et parfois, elle retient une partie de la conversation tout en oubliant complètement une autre.

Cela soulève une question intéressante :

Qu’est-ce qui permet réellement à un système d’IA de se souvenir de quelque chose ?

La vraie réponse est plus nuancée que de simplement dire :

« L’IA a une mémoire. »

Les systèmes d’IA modernes s’appuient sur plusieurs mécanismes distincts pour conserver des informations, tels que les fenêtres de contexte, l’état de la conversation, la mémoire externe, les systèmes de récupération, les bases de données et les paramètres propres au modèle.

Comprendre ces mécanismes permet de clarifier à la fois ce qui rend l’IA d’aujourd’hui capable et où se situent réellement ses limites.

1. La première surprise : un LLM ne se souvient pas automatiquement de tout

Parler avec un modèle de langage peut donner l’impression que l’on s’adresse à quelqu’un qui garde en mémoire ce dont on a parlé.

Par exemple :

You:
My project is about crop disease detection.

AI:
That's interesting. You can use computer vision...

Plus tard :

You:
What model should I use?

AI:
For crop disease images, a vision model could be appropriate.

On dirait que l’IA a enregistré ce que vous avez dit.

Mais qu’est-ce qui se passe réellement en arrière-plan ?

L’explication dépend de l’origine réelle de ces informations.

Cela peut être :

• reste toujours dans le contexte de la conversation en cours
• est stocké par un système de mémoire dédié
• est récupéré à partir d’une source externe
• est intégré indirectement dans les paramètres entraînés du modèle
• est réintroduit par l’utilisateur sans que vous vous en rendiez compte

Ces mécanismes sont fondamentalement différents, même si le résultat final peut sembler identique.

2. La mémoire n’est pas la même que le savoir

Cette distinction est très importante.

"Qu’est-ce qu’une CNN ?"

Mais cela ne garantit pas qu’il se souvienne :

"Vous avez utilisé une CNN dans votre projet la semaine dernière."

Considérez la situation de cette manière :

KNOWLEDGE
"What is a CNN?"
       ↓
Learned during training

MEMORY
"The user is working on a CNN project."
       ↓
Stored/retrieved from context or memory system

Le savoir reflète ce que le modèle a absorbé pendant l’entraînement.

La mémoire reflète les informations actuellement accessibles à elle concernant un utilisateur, une tâche, un environnement ou une interaction en cours spécifiques.

3. La forme la plus simple de mémoire en IA : le contexte

Le type le plus élémentaire de « mémoire » au sein d’une seule conversation est le contexte.

Considérez cet échange :

User:
My dataset has 10,000 images.

AI:
Okay.User:
Should I use CNN?AI:
For 10,000 images, CNN could be...

Comment l’IA sait-elle à quoi font référence « 10 000 images » ?

Parce que les messages précédents peuvent être réintégrés dans le modèle en même temps que le nouveau message.

Conceptuellement, c’est ainsi :

Previous messages
       +
Current message
       ↓
     Context
       ↓
      LLM
       ↓
    Response

Le modèle travaille avec le contexte qui lui a été fourni pour générer sa réponse.

4. Mais le contexte a une limite

C’est là que les choses deviennent complexes.

Il existe une limite à cela, appelée :

Fenêtre de contexte

Considérez-le comme la quantité totale d’informations que le modèle est capable de prendre en compte en même temps.

Conceptuellement :

┌───────────────────────────────┐
│        CONTEXT WINDOW         │
│                               │
│ Previous messages             │
│ Documents                     │
│ Instructions                  │
│ Current question              │
│ Tool results                  │
│                               │
└───────────────────────────────┘

Lorsqu’une conversation dure suffisamment longtemps, les parties précédentes peuvent être omises, condensées ou devenir moins accessibles, en fonction de la manière dont le système gère le débordement.

Cela révèle la première grande limitation de la mémoire des IA :

Le contexte est véritablement utile, mais il n’est pas infini.

5. Le contexte compte-t-il comme une véritable mémoire ?

Pas vraiment.

Imaginez quelqu’un qui vous tend une pile de documents juste avant de poser une question. Vous pouvez vous appuyer sur ces documents pour répondre, mais cela ne signifie pas qu’ils ont été stockés définitivement dans votre cerveau.

La même logique s’applique ici :

Context
=
Information currently available to the model

La mémoire persistante, en revanche, fonctionne plutôt comme ceci :

Memory
=
Information stored for possible future retrieval

Cette différence est très importante une fois que l’on commence à développer des agents IA.

6. Mémoire à court terme

Prenons cette instruction comme exemple :

« Téléchargez l’ensemble de données, nettoyez-le, analysez-le et créez un rapport. »

Pendant qu’il travaille dessus, l’agent peut suivre son avancement de la manière suivante :

Task:
Create dataset report

Completed:
✓ Downloaded dataset
✓ Removed duplicates
✓ Calculated statisticsRemaining:
□ Create graphs
□ Write report

Cela ressemble à la mémoire de travail à court terme chez les humains. L’agent ne cherche pas à conserver tout ce qu’il y a — il a simplement besoin des détails importants pour terminer la tâche en cours.

7. Mémoire à long terme

Considérons maintenant un cas où l’agent doit conserver quelque chose qui dépasse la durée de la tâche actuelle.

Pour exemple :

« J’ai préféré Python pour l’analyse de données. »

Conversation
     ↓
Important Information
     ↓
Memory Store
     ↓
Future Conversation
     ↓
Retrieve Relevant Memory
     ↓
AI

Relevant.

8. Comment le système choisit-il la mémoire appropriée ?

C’est là que les choses deviennent vraiment intéressantes.

Supposons qu’un stockage de mémoire contienne des entrées comme :

Memory 1:
User likes Python.

Memory 2:
User is working on computer vision.Memory 3:
User built a website.Memory 4:
User is learning distributed systems.Memory 5:
User prefers dark UI designs.

Alors l’utilisateur demande :

« Quel modèle dois-je utiliser pour mon projet d’images ? »

Récupérer toutes les mémoires stockées serait gaspilleur et inutile. Le système doit déterminer lesquelles sont vraiment pertinentes.

C’est précisément le type de problème pour lequel les embeddings et la recherche vectorielle ont été conçus pour être résolus.

9. Qu’est-ce qu’un embedding exactement ?

Conceptuellement :

"My project uses image classification"
                ↓
          Embedding Model
                ↓
[0.12, -0.73, 0.44, ...]

Un autre texte peut subir le même processus :

"Which model should I use for images?"
                ↓
          Embedding Model
                ↓
[0.15, -0.69, 0.41, ...]

Si les vecteurs obtenus se révèlent suffisamment proches selon la méthode de similarité utilisée, le système peut les considérer comme des concepts liés.

Cela permet de récupérer des informations en se basant sur la similarité sémantique plutôt que sur des correspondances exactes de mots-clés.

10. Bases de données vectorielles

Lorsque vous disposez d’un grand nombre d’embeddings, ils ont besoin d’un endroit pour être stockés — généralement une base de données conçue spécifiquement pour la recherche vectorielle.

Conceptuellement :

MEMORY
                   │
                   ↓
              Embeddings
                   │
                   ↓
            Vector Database
                   │
                   ↑
              User Query
                   │
                   ↓
              Query Embedding
                   │
                   ↓
           Similar Memories

Un système de récupération peut alors rechercher des mémoires dont les embeddings se trouvent proches les uns des autres dans cet espace vectoriel.

Ce mécanisme est à l’origine de la manière dont les systèmes RAG et les architectures mémoire sont conçus aujourd’hui.

11. RAG est aussi une sorte de mémoire externe

Imaginez une entreprise disposant de 50 000 documents internes.

Il n’aurait aucun sens d’intégrer chacun de ces documents directement dans les paramètres du modèle, surtout que leur contenu évolue constamment avec le temps.

Au lieu de cela, les documents passent par une étape de préparation :

Documents
    ↓
Chunking
    ↓
Embeddings
    ↓
Vector Database

Et chaque fois qu’une question arrive, le système effectue une étape de récupération avant de générer une réponse :

Question
   ↓
Embedding
   ↓
Search
   ↓
Relevant Documents
   ↓
LLM
   ↓
Answer

Cette approche est connue sous le nom de Retrieval-Augmented Generation, ou RAG.

Au lieu de mémoriser l’ensemble de la collection de documents, le modèle récupère les informations pertinentes au moment où elles sont nécessaires.

12. Les paramètres du modèle constituent un type différent de mémoire

Il existe encore une autre façon de concevoir la « mémoire » dans un système d’IA :

Les poids du modèle.

Lorsque un réseau neuronal est entraîné, il ajuste continuellement des millions, voire des milliards de paramètres numériques.

En termes généraux :

Training Data
     ↓
Neural Network
     ↓
Parameter Updates
     ↓
Learned Weights

Ces poids finissent par encoder les schémas acquis pendant l’entraînement.

Cependant, ce n’est pas la même chose qu’avoir un archivage consultable contenant des faits individuels.

On ne peut généralement pas demander au modèle quelque chose comme ceci :

"Montrez-moi la phrase exacte que vous avez apprise sur le sujet X."

Tout ce qu’il sait est réparti dans les paramètres entraînés plutôt que stocké sous forme d’enregistrement récupérable.

13. Trois choses différentes que nous appelons souvent « mémoire »

Il est utile à ce stade de distinguer trois idées distinctes :

1. Connaissances du modèle

Stockées de manière indirecte à l’intérieur des paramètres du modèle.

Training
 ↓
Weights
 ↓
Learned capabilities

2. Contexte

Toutes les informations actuellement fournies au modèle.

Conversation
 ↓
Context Window
 ↓
LLM

3. Mémoire externe

Informations conservées complètement en dehors du modèle.

Database
Vector Store
Files
Documents
User Memory
     ↓
Retrieval
     ↓
LLM

En séparant ces trois éléments, on clarifie de nombreux comportements des IA qui semblent sinon confus.

14. Pourquoi l’IA peut-elle « oublier » ?

Disons que vous dites à un système d’IA :

« Mon langage de programmation préféré est Python. »

Puis, après une longue conversation, il ne mentionne plus jamais cette préférence.

Que s’est-il passé ?

Plusieurs explications sont possibles :

Information no longer in active context
            OR
Memory wasn't persisted
            OR
Memory wasn't retrieved
            OR
System chose not to use it
            OR
The model misunderstood the reference

Lorsqu’une IA semble oublier, cela ne signifie pas nécessairement qu’elle se comporte comme un être humain oublieux.

La véritable cause pourrait résider dans une défaillance de :

le stockage, la récupération des informations, la disponibilité du contexte ou le comportement du modèle.

15. Les agents IA ont encore plus besoin de mémoire

Rappelons la discussion précédente sur les agents IA.

Un agent parcourt généralement des étapes telles que :

Plan
 ↓
Action
 ↓
Observation
 ↓
Action
 ↓
Observation

Sans une forme d’état persistant, les tâches qui comprennent plusieurs étapes deviennent très difficiles à gérer.

Prenons l’exemple d’un agent travaillant sur un projet de programmation.

Il doit garder à jour des éléments tels que :

Which files changed?
What tests failed?
What has been completed?
What remains?
What errors occurred?
What decisions were made?

C’est pourquoi la structure de mémoire d’un agent ressemble souvent à ceci :

AI AGENT
                     │
          ┌──────────┼──────────┐
          ↓          ↓          ↓
       Context     State     Long-Term
                    Memory      Memory
          │          │            │
          └──────────┼────────────┘
                     ↓
                  Actions

16. La mémoire n’a pas besoin de rester non structurée

Tout ce qui vaut la peine d’être mémorisé n’a pas forcément besoin de se présenter sous forme de texte libre.

Un agent pourrait plutôt conserver des enregistrements structurés, quelque chose comme ceci :

Project:
AirStore

Language:
PythonFramework:
FastAPIDatabase:
SQLiteCurrent Phase:
Storage NodeKnown Issue:
Heartbeat timeout

Les données organisées de cette manière sont bien plus faciles à rechercher et à mettre à jour par la suite que de parcourir un long bloc de conversations brutes.

C’est précisément pour cette raison que les systèmes d’IA du monde réel recourent rarement à un seul mécanisme de mémoire. Au lieu de cela, ils combinent généralement plusieurs approches en même temps :

• bases de données
• objets d’état structurés
• stockages vectoriels
• historique des conversations brutes
• résumés générés

17. Le résumé en tant que technique de mémoire

Imaginez une conversation qui a atteint 100 000 mots.

Au lieu de traiter chaque ligne comme étant également importante, un système peut compresser cet échange en un résumé.

Long Conversation
       ↓
Summarization
       ↓
Compact Memory
       ↓
Future Context

À titre d’exemple : au lieu de conserver 20 messages distincts concernant un projet, le système pourrait simplement garder quelque chose comme :

« L’utilisateur travaille sur un système basé sur Python et FastAPI pour stocker des données sur des nœuds déconnectés hors ligne, en se concentrant actuellement sur la manière dont les nœuds s’enregistrent les uns auprès des autres et répliquent les données. »

Cela diminue la quantité d’informations à transmettre à chaque étape.

Mais la compression présente ses propres risques :

Que se passe-t-il si des éléments importants sont perdus en cours de route ?

C’est pourquoi décider comment compresser la mémoire de manière responsable constitue en soi un problème d’ingénierie non trivial.

18. Au fond, la mémoire concerne le retrait d’informations

L’un des aspects les plus subtils ici est que la mémoire en IA ne concerne pas vraiment :

Enregistrer absolument tout.

Conserver ce qui est utile et retrouver l’élément approprié au moment opportun.

M* = argmax sur m dans M de S(m, q)

Où :

• M est l’ensemble complet des souvenirs enregistrés
• q est la requête actuelle
• S(m, q) est un score de pertinence entre un souvenir et la requête
• M* est le ou les souvenirs choisis comme étant les plus pertinents

Millions of memories
       ↓
Current question
       ↓
Relevance calculation
       ↓
Top useful memories
       ↓
AI

19. Avoir plus de mémoire enregistrée ne signifie pas être plus intelligent

Ce point est très important.

Supposons qu’un système d’IA conserve :

10,000 irrelevant facts

alors qu’un autre ne garde que :

3 relevant facts

Lequel performe le mieux en pratique ? Souvent, c’est le second.

Une grande quantité de faits stockés et sans pertinence peut en fait entraver la récupération des informations et occuper inutilement de l’espace de contexte.

Ainsi, la véritable relation est la suivante :

Mémoire utile > Mémoire maximale

L’objectif n’est pas de maximiser la quantité d’informations stockées, mais plutôt de maximiser leur pertinence réelle.

20. Le fait de mémoriser des informations soulève des problèmes de confidentialité

Lorsqu’un système est capable de mémoriser des détails sur un utilisateur, une nouvelle question se pose :

Où cette information est-elle exactement stockée ?

Des données potentiellement sensibles pourraient finir dispersées dans :

Conversation history
Databases
Vector stores
Application logs
Files
Caches

Ce constat entraîne avec lui un ensemble d’obligations techniques :

• restreindre l’accès
• chiffrer les données stockées
• définir des délais de conservation
• fournir des mécanismes de suppression
• tenir des journaux d’audit

minimiser les données collectées dès le départ

En l’absence de ces mesures de protection, un système qui se souvient de tout à propos de ses utilisateurs peut devenir une véritable source de risques pour la vie privée.

21. Utiliser la mémoire pour personnaliser les réponses

C’est aussi grâce à la mémoire que les systèmes d’IA semblent nettement plus utiles.

Disons qu’une IA a appris que vous préférez généralement :

Python
Simple explanations
Practical examples
Technical diagrams

Les réponses futures peuvent alors être adaptées en fonction de ces préférences.

Cela ne signifie pas que le modèle sous-jacent est devenu plus intelligent dans son ensemble. Plutôt :

General AI
    +
Relevant User Context
    ↓
Personalized Interaction

Cette distinction est l’une des principales raisons pour lesquelles la mémoire occupe une place centrale dans la conception des produits d’IA aujourd’hui.

22. Ce qui vient ensuite : des IA basées sur plusieurs couches de mémoire

Un agent d’IA avancé pourrait éventuellement faire appel à une combinaison de ce type :

AI AGENT
                      │
        ┌─────────────┼─────────────┐
        ↓             ↓             ↓
   Working Memory  Long-Term     External
                   Memory        Knowledge
        ↓             ↓             ↓
    Current Task   Preferences   Documents
                   History       Databases
                   Projects      APIs
        └─────────────┼─────────────┘
                      ↓
                  Retrieval
                      ↓
                     LLM
                      ↓
                   Action

Au lieu d’une seule « boîte mémoire » unifiée, on a plutôt l’impression d’une pile de couches mémoires distinctes qui fonctionnent ensemble.

23. Pourquoi la mémoire de l’IA n’est pas comme la mémoire humaine

La mémoire humaine est biologique. Elle est dynamique, associative, et façonnée par la perception, les émotions, la répétition ainsi que d’innombrables autres facteurs qui interagissent de manières que nous ne comprenons pas entièrement.

En revanche, la mémoire de l’IA est conçue délibérément.

Elle repose généralement sur des composants tels que :

Tokens
Vectors
Databases
Indexes
Parameters
Summaries
Retrieval algorithms

Les deux types de mémoire peuvent produire des résultats apparemment similaires, mais elles fonctionnent sur des fondements complètement différents.

Ainsi, chaque fois que quelqu’un affirme ceci :

« L’IA se souvient. »

il vaut la peine de s’arrêter un instant pour se demander :

Quel mécanisme fournit réellement cette information ?

24. Assembler tout cela

On peut représenter un système d’IA moderne de cette manière :

USER
                           │
                           ↓
                       QUESTION
                           │
                           ↓
                 ┌──────────────────┐
                 │   AI / LLM       │
                 └────────┬─────────┘
                          │
          ┌───────────────┼────────────────┐
          ↓               ↓                ↓
       Context         Memory           RAG/Search
          │               │                │
     Conversation     Vector DB        Documents
     Current Task     Database          Web/Data
          │               │                │
          └───────────────┼────────────────┘
                          ↓
                    Relevant Context
                          ↓
                         LLM
                          ↓
                       Response

Et lorsque l’intervention d’un agent est impliquée, la représentation s’élargit encore :

Goal
 ↓
Retrieve Memory
 ↓
Plan
 ↓
Choose Tool
 ↓
Execute
 ↓
Observe
 ↓
Store Important Result
 ↓
Plan Again
 ↓
Finish

Ici, la mémoire cesse d’être un stockage passif pour devenir une partie active du cycle de prise de décision de l’agent.

Pensées finales

Chaque fois que quelqu’un dit :

« L’IA se souvient. »

il n’y a généralement pas un seul système de mémoire magique responsable de cela.

Au contraire, plusieurs couches travaillent habituellement ensemble :

Connaissances du modèle + Contexte + Mémoire externe + Récupération

Les paramètres du modèle contiennent les schémas appris pendant l’entraînement. La fenêtre de contexte fournit toutes les informations immédiatement accessibles au modèle. La mémoire externe stocke des informations en dehors du modèle lui-même. Le système de récupération décide quelles informations stockées doivent être réutilisées lorsque cela est nécessaire.

Cela amène à une conclusion intéressante :

L’avenir de la mémoire en IA ne consiste probablement pas à faire en sorte que les modèles se souviennent de tout.

Il s’agit plutôt d’apprendre aux modèles à conserver ce qui est important, éliminer ce qui ne l’est pas, récupérer les informations au bon moment et les gérer de manière responsable.

Un système d’IA capable de stocker une mémoire illimitée mais qui la récupère mal restera frustrant à utiliser. Un système doté d’une mémoire soigneusement conçue, même de taille réduite, pourrait s’avérer bien plus utile.

La vraie question n’est donc pas :

« Jusqu’à quel point l’IA peut-elle se souvenir ? »

C’est plutôt :

« L’IA peut-elle rappeler la bonne information au bon moment ? »