Verständnis der KI-Memory-Technologien: Kontext, Embeddings, RAG und Modellgewichte erläutert
Dieser Artikel erläutert detailliert, wie KI-Systeme tatsächlich Informationen speichern, und behandelt dabei Context Windows, Embeddings, Vektordatenbanken, RAG sowie Modellparameter.
Bild: Heute mit einer KI chatten:
"Ich entwickle ein Machine-Learning-Projekt."
Dann folgen Sie am nächsten Tag nach:
"Was sollte ich in meinem Projekt verbessern?"
Gehen Sie davon aus, dass die KI sich daran erinnert, was Sie ihr zuvor gesagt haben?
Mannchmal tut sie das.
Mannchmal nicht.
Und manchmal behält sie einen Teil des Gesprächs bei, während sie einen anderen Teil völlig vergisst.
Das wirft eine interessante Frage auf:
Was ermöglicht eigentlich einem KI-System, sich an etwas zu erinnern?
Die eigentliche Antwort ist nuancierter als einfach nur zu sagen:
"KI hat ein Gedächtnis."
Moderne KI-Systeme verlassen sich auf mehrere unterschiedliche Mechanismen, um Informationen zu speichern – beispielsweise Context-Windows, Gesprächszustand, externe Speicher, Abrufsysteme, Datenbanken sowie die eigenen Parameter des Modells.
Ein Verständnis dieser Mechanismen macht klar, was die heutige KI fähig macht und wo ihre tatsächlichen Grenzen liegen.
1. Die erste Überraschung: Ein LLM erinnert sich nicht automatisch an alles
Das Sprechen mit einem Sprachmodell kann den Eindruck erwecken, man spreche mit jemandem, der sich dauerhaft an einen erinnert.
Zum Beispiel:
You:
My project is about crop disease detection.
AI:
That's interesting. You can use computer vision...
Später:
You:
What model should I use?
AI:
For crop disease images, a vision model could be appropriate.
Es scheint, als hätte die KI mitbekommen, was man gesagt hat.
Aber was passiert eigentlich im Hintergrund?
Die Erklärung hängt davon ab, woher diese Informationen tatsächlich stammen.
Das könnte sein:
- bleibt im Kontext des aktiven Gesprächs erhalten
- wird von einem speziellen Speichersystem aufbewahrt
- wird aus einer externen Quelle bezogen
- wird indirekt in die trainierten Parameter des Modells integriert
- wird vom Benutzer erneut eingegeben, ohne dass man es bemerkt
Trotz desselben Endergebnisses handelt es sich dabei um grundlegend unterschiedliche Mechanismen.
2. Speicher ist nicht dasselbe wie Wissen
Dieser Unterschied ist von großer Bedeutung.
Ein Modell könnte die Antwort auf Folgendes kennen:
"Was ist eine CNN?"
Doch das garantiert nicht, dass es sich daran erinnert:
"Du hast letzte Woche in deinem Projekt eine CNN verwendet."
Betrachten Sie die Unterscheidung folgendermaßen:
KNOWLEDGE
"What is a CNN?"
↓
Learned during training
MEMORY
"The user is working on a CNN project."
↓
Stored/retrieved from context or memory system
Wissen spiegelt wider, was das Modell während des Trainings aufgenommen hat.
Das Gedächtnis spiegelt wider, welche Informationen zum Zeitpunkt der Nutzung über einen bestimmten Benutzer, eine Aufgabe, die Umgebung oder eine laufende Interaktion verfügbar sind.
3. Die einfachste Form des KI-Gedächtnisses: Kontext
Die grundlegendste Art von „Gedächtnis“ innerhalb einer einzigen Konversation ist der Kontext.
Betrachten wir diesen Austausch:
User:
My dataset has 10,000 images.
AI:
Okay.User:
Should I use CNN?AI:
For 10,000 images, CNN could be...
Wie weiß die KI, worauf sich „10.000 Bilder“ bezieht?
Weil frühere Nachrichten zusammen mit der neuen Nachricht wieder in das Modell eingegeben werden können.
Konzeptionell sieht es so aus:
Previous messages
+
Current message
↓
Context
↓
LLM
↓
Response
Das Modell arbeitet bei der Erstellung seiner Antwort mit dem Kontext, der ihm gegeben wurde.
4. Doch der Kontext hat eine Grenze
Hier wird es schwierig.
Ein Modell kann in einer einzigen Anfrage keinen unendlich langen Textabschnitt aufnehmen.
Dafür gibt es eine Obergrenze, die als:
Kontextfenster
bezeichnet wird.Betrachten Sie es als die Gesamtmenge an Informationen, die das Modell gleichzeitig berücksichtigen kann.
Konzeptionell:
┌───────────────────────────────┐
│ CONTEXT WINDOW │
│ │
│ Previous messages │
│ Documents │
│ Instructions │
│ Current question │
│ Tool results │
│ │
└───────────────────────────────┘
Sobald ein Gespräch lange genug andauert, können frühere Teile je nach der Art und Weise, wie das System mit Überläufen umgeht, weggelassen, zusammengefasst oder sonstwie weniger zugänglich gemacht werden.
Dies zeigt die erste große Einschränkung des KI-Gedächtnisses auf:
Der Kontext ist tatsächlich nützlich, aber er ist nicht unendlich.
5. Zählt der Kontext als echtes Gedächtnis?
Nicht ganz.
Stellen Sie sich vor, jemand reicht Ihnen kurz bevor er eine Frage stellt einen Stapel Dokumente. Sie können auf diese Dokumente zurückgreifen, um zu antworten, aber das bedeutet nicht, dass sie dauerhaft in Ihrem Gehirn gespeichert wurden.
Dieselbe Logik gilt auch hier:
Context
=
Information currently available to the model
Persistentes Gedächtnis funktioniert hingegen eher so:
Memory
=
Information stored for possible future retrieval
Dieser Unterschied ist von großer Bedeutung, sobald man mit der Entwicklung von KI-Agenten beginnt.
6. Kurzfristiges Gedächtnis
Ein KI-Agent kann Informationen speichern, die für die derzeit zu bewältigende Aufgabe relevant sind.
Nehmen wir diese Anweisung als Beispiel:
"Laden Sie das Datensatz herunter, reinigen Sie es, analysieren Sie es und erstellen Sie einen Bericht."
Während der Bearbeitung könnte der Agent seinen Fortschritt wie folgt verfolgen:
Task:
Create dataset report
Completed:
✓ Downloaded dataset
✓ Removed duplicates
✓ Calculated statisticsRemaining:
□ Create graphs
□ Write report
Das ähnelt dem kurzfristigen Arbeitsgedächtnis beim Menschen. Der Agent versucht nicht, alles für immer zu speichern – er benötigt lediglich die Details, die wichtig sind, um die aktuelle Aufgabe zu beenden.
7. Langfristiges Gedächtnis
Betrachten wir nun einen Fall, in dem der Agent etwas speichern muss, das über die aktuelle Aufgabe hinaus Bestand hat.
Zum Beispiel:
"Ich bevorzuge Python für die Datenanalyse."
Ein Speichersystem kann solche Details aufnehmen, damit sie später verfügbar sind. Im Großen und Ganzen:
Conversation
↓
Important Information
↓
Memory Store
↓
Future Conversation
↓
Retrieve Relevant Memory
↓
AI
Das Schlüsselwort hier ist:
Relevant.
Ein gut gestaltetes Speichersystem sollte nicht alles heranziehen, was es gespeichert hat. Es sollte nur das anzeigen, was für die aktuelle Aufgabe nützlich ist.
8. Wie wählt das System den richtigen Speicher aus?
Hier wird es wirklich interessant.
Nehmen wir an, ein Speicher enthält Einträge wie:
Memory 1:
User likes Python.
Memory 2:
User is working on computer vision.Memory 3:
User built a website.Memory 4:
User is learning distributed systems.Memory 5:
User prefers dark UI designs.
Dann fragt der Benutzer:
"Welches Modell soll ich für mein Bildprojekt verwenden?"
Jeden gespeicherten Eintrag heranzuziehen, wäre verschwenderisch und unnötig. Das System muss herausfinden, welche tatsächlich relevant sind.
Genau dieses Problem sind Embeddings und Vektorabfragen dazu da, zu lösen.
9. Was ist eigentlich ein Embedding?
Ein Embedding wandelt eine Information in einen numerischen Vektor um.
Konzeptionell:
"My project uses image classification"
↓
Embedding Model
↓
[0.12, -0.73, 0.44, ...]
Auch ein separater Textabschnitt kann durch denselben Prozess gehen:
"Which model should I use for images?"
↓
Embedding Model
↓
[0.15, -0.69, 0.41, ...]
Falls die resultierenden Vektoren mithilfe der verwendeten Ähnlichkeitsmethode ausreichend nahe beieinander liegen, kann das System sie als verwandte Konzepte betrachten.
Dadurch wird es möglich, Erinnerungen auf der Grundlage von semantischer Ähnlichkeit abzurufen, anstatt sich auf exakte Schlüsselwortübereinstimmungen zu verlassen.
10. Vektordatenbanken
Sobald man eine große Anzahl an Embeddings hat, benötigt man einen Ort dafür – in der Regel eine speziell für Vektorabfragen entwickelte Datenbank.
Konzeptionell:
MEMORY
│
↓
Embeddings
│
↓
Vector Database
│
↑
User Query
│
↓
Query Embedding
│
↓
Similar Memories
Ein Abrufsystem kann anschließend nach Erinnerungen suchen, deren Embeddings in diesem Vektorraum nah beieinander liegen.
Dieser Mechanismus bildet die Grundlage dafür, wie heute viele RAG-Systeme und Speicherverarchitekturen konstruiert werden.
11. RAG ist auch eine Art externer Speicher
Stellen Sie sich ein Unternehmen vor, das über 50.000 interne Dokumente verfügt.
Es wäre unsinnig, jedes dieser Dokumente direkt in die Parameter des Modells aufzunehmen, insbesondere da der Inhalt im Laufe der Zeit ständig ändert.
Anstelle dessen durchlaufen die Dokumente einen Vorbereitungsschritt:
Documents
↓
Chunking
↓
Embeddings
↓
Vector Database
Und jedes Mal, wenn eine Frage eingeht, führt das System einen Abrufschritt durch, bevor es eine Antwort generiert:
Question
↓
Embedding
↓
Search
↓
Relevant Documents
↓
LLM
↓
Answer
Dieses Muster wird als Retrieval-Augmented Generation, kurz RAG, bezeichnet.
Anstatt sich die gesamte Dokumentensammlung einzuprägen, holt das Modell die jeweils relevanten Informationen genau dann ab, wenn sie benötigt werden.
12. Modellparameter sind eine andere Art von Speicher
Es gibt noch eine weitere Möglichkeit, über den „Speicher“ in einem KI-System nachzudenken:
Die Gewichte des Modells.
Während ein neuronales Netz trainiert wird, passt es kontinuierlich Millionen oder sogar Milliarden numerischer Parameter an.
Kurz gesagt:
Training Data
↓
Neural Network
↓
Parameter Updates
↓
Learned Weights
Diese Gewichte kodieren letztendlich die während des Trainings erlernten Muster.
Das ist jedoch nicht dasselbe wie ein suchbarer Archiv mit einzelnen Fakten.
Man kann dem Modell in der Regel nicht etwas wie Folgendes fragen:
"Zeigen Sie mir den genauen Satz, den Sie zum Thema X gelernt haben."
Alles, was das Modell weiß, ist über die trainierten Parameter verteilt und nicht als abrufbares Datensatz gespeichert.
13. Drei verschiedene Dinge, die wir oft als „Gedächtnis“ bezeichnen
An dieser Stelle lohnt es sich, drei unterschiedliche Konzepte voneinander zu trennen:
1. Modellwissen
Indirekt in den Parametern des Modells gespeichert.
Training
↓
Weights
↓
Learned capabilities
2. Kontext
Jede Information, die derzeit dem Modell zugeführt wird.
Conversation
↓
Context Window
↓
LLM
3. Externes Gedächtnis
Informationen, die vollständig außerhalb des Modells aufbewahrt werden.
Database
Vector Store
Files
Documents
User Memory
↓
Retrieval
↓
LLM
Diese drei Aspekte voneinander zu trennen, macht viel des Verhaltens künstlicher Intelligenzen klarer, das sonst verwirrend erscheint.
14. Warum kann künstliche Intelligenz „vergessen“?
Nehmen wir an, Sie sagen zu einem künstlichen Intelligenzsystem:
„Meine Lieblingsprogrammiersprache ist Python.“
Dann bringt es nach einer langen Unterhaltung diese Präferenz nie wieder zur Sprache.
Was ist passiert?
Es gibt mehrere mögliche Erklärungen:
Information no longer in active context
OR
Memory wasn't persisted
OR
Memory wasn't retrieved
OR
System chose not to use it
OR
The model misunderstood the reference
Wenn also eine KI den Eindruck erweckt, etwas zu vergessen, verhält sie sich nicht unbedingt wie ein vergesslicher Mensch.
Die wahre Ursache könnte in einem Versagen bei:
der Speicherung, dem Abrufen, der Verfügbarkeit des Kontexts oder dem Verhalten des Modells.
15. KI-Agenten benötigen noch mehr Speicher
Erinnern Sie sich an die frühere Diskussion über KI-Agenten.
Ein Agent durchläuft in der Regel Schritte wie:
Plan
↓
Action
↓
Observation
↓
Action
↓
Observation
Ohne eine Form von persistentem Zustand werden Aufgaben, die mehrere Schritte umfassen, sehr schwer zu verwalten.
Betrachten Sie einen Agenten, der an einem Programmierprojekt arbeitet.
Er muss Dinge wie folgende verfolgen:
Which files changed?
What tests failed?
What has been completed?
What remains?
What errors occurred?
What decisions were made?
Deshalb sieht die Speichereinrichtung eines Agenten oft so aus:
AI AGENT
│
┌──────────┼──────────┐
↓ ↓ ↓
Context State Long-Term
Memory Memory
│ │ │
└──────────┼────────────┘
↓
Actions
16. Der Speicher muss nicht unstrukturiert bleiben
Nicht alles, was sich zu merken lohnt, muss als freier Text vorliegen.
Ein Agent könnte stattdessen strukturierte Aufzeichnungen führen, ähnlich wie folgt:
Project:
AirStore
Language:
PythonFramework:
FastAPIDatabase:
SQLiteCurrent Phase:
Storage NodeKnown Issue:
Heartbeat timeout
Daten, die auf diese Weise organisiert sind, lassen sich weitaus leichter später abrufen und aktualisieren als ein langer Block an unstrukturierten Gesprächsinhalten.
Deshalb verlassen sich reale KI-Systeme selten auf ein einzelnes Speichermechanismus. Stattdessen kombinieren sie in der Regel mehrere Ansätze gleichzeitig:
- Datenbanken
- strukturierte Zustandsobjekte
- Vektor-Speicher
- unstrukturierte Gesprächshistorien
- erstellte Zusammenfassungen
17. Zusammenfassen als Speichertechnik
Stellen Sie sich ein Gespräch vor, das 100.000 Wörter umfasst.
Anstatt jede Zeile als gleich wichtig zu betrachten, kann ein System den Austausch in eine Zusammenfassung komprimieren.
Long Conversation
↓
Summarization
↓
Compact Memory
↓
Future Context
Als Beispiel: Anstatt 20 separate Nachrichten zu einem Projekt aufzubewahren, könnte das System einfach etwas wie Folgendes speichern:
"Der Benutzer arbeitet an einem auf Python und FastAPI basierenden System zur Speicherung von Daten auf getrennten Knoten offline, wobei er derzeit darauf konzentriert ist, wie die Knoten miteinander registriert werden und Daten repliziert werden."
Dadurch verringert sich die Menge an Informationen, die bei jedem Schritt weitergegeben werden müssen.
Aber Kompression birgt ihr eigenes Risiko:
Was passiert, wenn etwas Wichtiges unterwegs verloren geht?
Deshalb ist die Entscheidung, wie man das Speicherinnere verantwortungsvoll komprimiert, an sich schon ein nicht unerhebliches Ingenieurproblem.
18. Im Kern geht es bei Speicherung um das Abrufen
Eine der subtileren Erkenntnisse hier ist, dass künstliche Intelligenz-Speicherung eigentlich nicht darum geht:
Alles absolut speichern.
Dabei geht es um:
Das Behalten dessen, was nützlich ist, und das Abrufen des richtigen Teils zur richtigen Zeit.
Eine vereinfachte Art, dies auszudrücken, ist:
M* = argmax über m in M von S(m, q)
wobei:
- M ist die vollständige Menge der gespeicherten Erinnerungen
- q ist die aktuelle Abfrage
- S(m, q) ist eine Relevanzbewertung zwischen einer Erinnerung und der Abfrage
- M* ist die als am relevantesten ausgewählte Erinnerung (oder Erinnerungen)
Einfach ausgedrückt:
Millions of memories
↓
Current question
↓
Relevance calculation
↓
Top useful memories
↓
AI
19. Mehr gespeicherte Erinnerungen bedeuten nicht automatisch mehr Intelligenz
Dieser Punkt ist sehr wichtig.
Nehmen wir an, ein KI-System speichert:
10,000 irrelevant facts
während ein anderes nur Folgendes speichert:
3 relevant facts
Welches System leistet in der Praxis besser? Oft ist es das zweite.
Eine große Menge an irrelevanten gespeicherten Fakten kann tatsächlich der Abrufung im Weg stehen und unnötig Speicherplatz verbrauchen.
Daher sieht die eigentliche Beziehung so aus:
Nützlicher Speicher > Maximaler Speicher
Ziel ist es nicht, die Menge des Gespeicherten zu maximieren, sondern vielmehr die Relevanz dessen, was gespeichert wird.
20. Das Merken von Dingen wirft Datenschutzfragen auf
Sobald ein System in der Lage ist, Details über einen Benutzer zu speichern, stellt sich eine neue Frage:
Wo genau befindet sich diese Information?
Möglicherweise sensible Daten könnten über verschiedene Orte verteilt sein:
Conversation history
Databases
Vector stores
Application logs
Files
Caches
Diese Realität bringt eine Reihe von ingenieurtechnischen Anforderungen mit sich:
- Accessbeschränkungen
- Verschlüsselung der gespeicherten Daten
- Definierung von Aufbewahrungsfristen
- Bereitstellung von Löschmechanismen
- Aufbewahrung von Prüfprotokollen
Solche Schutzmaßnahmen fehlen, kann ein System, das alles über seine Nutzer kennt, zu einer echten Privatsphärenbelastung werden.
21. Verwendung des Speichers zur Personalisierung von Antworten
Auch der Speicher sorgt dafür, dass KI-Systeme deutlich nützlicher erscheinen.
Nehmen wir an, eine KI hat gelernt, dass Sie in der Regel bevorzugen:
Python
Simple explanations
Practical examples
Technical diagrams
Zukünftige Antworten können dann entsprechend diesen Präferenzen gestaltet werden.
Das bedeutet nicht, dass das zugrunde liegende Modell insgesamt intelligenter geworden ist. Vielmehr:
General AI
+
Relevant User Context
↓
Personalized Interaction
Genau dieser Unterschied ist ein Hauptgrund dafür, warum der Speicher heute zu einem zentralen Bestandteil bei der Gestaltung von KI-Produkten geworden ist.
22. Was kommt als Nächstes: KI auf mehreren Speicherschichten
Ein fortgeschrittener KI-Agent könnte letztendlich auf eine solche Kombination zurückgreifen:
AI AGENT
│
┌─────────────┼─────────────┐
↓ ↓ ↓
Working Memory Long-Term External
Memory Knowledge
↓ ↓ ↓
Current Task Preferences Documents
History Databases
Projects APIs
└─────────────┼─────────────┘
↓
Retrieval
↓
LLM
↓
Action
Anstelle eines einzigen, einheitlichen „Gedächtniskastens“ sieht das eher wie eine Ansammlung verschiedener Gedächtnisschichten aus, die zusammenarbeiten.
23. Warum KI-Gedächtnis nicht wie menschliches Gedächtnis ist
Menschliches Gedächtnis ist biologisch. Es ist dynamisch, assoziativ und wird durch Wahrnehmung, Emotionen, Wiederholungen sowie unzählige andere Faktoren geprägt, die auf Weise miteinander interagieren, die wir nicht vollständig verstehen.
KI-Gedächtnis hingegen wird gezielt konstruiert.
Es stützt sich in der Regel auf Komponenten wie:
Tokens
Vectors
Databases
Indexes
Parameters
Summaries
Retrieval algorithms
Sowohl Arten von Gedächtnis können äußerlich ähnliche Ergebnisse liefern, doch sie basieren auf völlig unterschiedlichen Prinzipien.
Deshalb lohnt es sich immer, wenn jemand behauptet:
"KI erinnert sich."
, kurz innezuhalten und zu fragen:
Welches Mechanismus liefert eigentlich diese Informationen?
24. Alles zusammenfassen
Ein modernes KI-System lässt sich wie folgt darstellen:
USER
│
↓
QUESTION
│
↓
┌──────────────────┐
│ AI / LLM │
└────────┬─────────┘
│
┌───────────────┼────────────────┐
↓ ↓ ↓
Context Memory RAG/Search
│ │ │
Conversation Vector DB Documents
Current Task Database Web/Data
│ │ │
└───────────────┼────────────────┘
↓
Relevant Context
↓
LLM
↓
Response
Und wenn ein Agent beteiligt ist, erweitert sich dieses Bild noch weiter:
Goal
↓
Retrieve Memory
↓
Plan
↓
Choose Tool
↓
Execute
↓
Observe
↓
Store Important Result
↓
Plan Again
↓
Finish
Hier wird das Gedächtnis nicht mehr zu einem passiven Speicher, sondern zu einem aktiven Bestandteil des Entscheidungsprozesses des Agents.
Fazit
Immer wenn jemand sagt:
"KI erinnert sich."
gibt es in der Regel kein einziges, magisches Gedächtnissystem, das dafür verantwortlich ist.
Stattdessen arbeiten in der Regel mehrere Schichten zusammen:
Modellwissen + Kontext + Externes Gedächtnis + Abrufmechanismus
Die Parameter des Modells enthalten Muster, die während des Trainings erlernt wurden. Das Kontextfenster stellt alle Informationen bereit, die dem Modell unmittelbar zur Verfügung stehen. Die externe Speicherung bewahrt Informationen außerhalb des Modells selbst auf. Das Abrufen entscheidet darüber, welche dieser gespeicherten Informationen wieder herangezogen werden, wenn sie tatsächlich benötigt werden.
Das weist auf eine interessante Schlussfolgerung hin:
Die Zukunft der KI-Speicherung dreht sich vermutlich nicht darum, dass Modelle alles merken.
Mehr noch geht es darum, sie dazu zu bringen, das Wichtige beizubehalten, Unwichtiges wegzulassen, Informationen zum richtigen Zeitpunkt abzurufen und sie verantwortungsvoll zu handhaben.
Eine KI, die unbegrenzte Speicherkapazitäten hat, diese aber schlecht abruft, wäre dennoch frustrierend in der Nutzung. Eine mit sorgfältig konzipiertem Speichersystem – auch wenn es kleiner ist – könnte letztendlich weitaus nützlicher sein.
Die eigentliche Frage lautet also nicht:
"Wie viel kann KI sich merken?"
Sondern:
"Kann KI zum richtigen Zeitpunkt das Richtige abrufen?"