Vier Speicherrstrategien für KI-Agenten: Rolling Windows, FAISS und GraphRAG
Vergleichen Sie verschiedene Methoden, einem LLM-Agenten Gedächtnis zu verleihen – von vollständiger Historie und rollierenden Fenstern über invertierte Indizes, FAISS-Semantiksuche bis hin zu einem GraphRAG-Wissensgraphen.
Ein Agent, der ausschließlich aus einem LLM und einigen Tools besteht, funktioniert zwar in gewissem Maße. Was ihn zuverlässig und individuell macht, ist das Gedächtnis: ein Speicher früherer Austausche und Kontexte, der es dem Agenten ermöglicht, im Laufe der Zeit genauer zu antworten. Das Gedächtnis sorgt außerdem dafür, dass der Kontext über Interaktionen hinweg beibehalten wird – auch dann, wenn mehrere Agenten an einer Aufgabe zusammenarbeiten – sodass das System weiß, was der Benutzer tatsächlich will.
Anhand des relevanten Hintergrunds sowie der aktuellen Eingabe kann ein Agent zwischen mehreren Optionen wählen: ein Tool aufrufen, den Benutzer mit einer klärenden Frage befragen oder direkt antworten. Das Gedächtnis verwandelt ihn von einem rein reaktiven Antwortgeber in einen konsistenten Assistenten.
Im Folgenden sind vier Gedächtnisstrategien aufgeführt, geordnet vom Einfachsten bis zum Leistungsfähigsten: Übermittlung der gesamten Historie, rollierendes Fenster, Ähnlichkeitssuche in früheren Nachrichten sowie ein Wissensgraph.
Option 1: gesamte Historie übermitteln
Derzeitige Grundmodellreihen können sehr große Kontextfenster verarbeiten. Die GPT-5.4-Familie erreicht beispielsweise 1,05 Millionen Token, was ausreicht für ganze Codebasen oder umfangreiche Dokumentensätze. Das macht einen nachlässigen Ansatz verlockend: Jene früheren Nachrichten, möglicherweise aus mehreren Sitzungen, einfach zu jeder neuen Anfrage hinzufügen und die Aufmerksamkeitsmechanismen damit fertig werden lassen.
messages: Annotated[List[BaseMessage], add_messages]
Es ist einfach zu erstellen und geeignet für kurzfristige Aufgaben. Wenn die Gespräche jedoch länger dauern, häufen sich die Probleme:
- Zu viel irrelevanter Kontext kann das Modell überwältigen.
- Die Aufmerksamkeit des Modells ist undurchsichtig, wodurch die Ausgaben inkonsistent werden können.
- Ingenieure haben Schwierigkeiten zu erklären, warum nahezu identische Eingaben unterschiedliche Antworten liefern.
- Der Tokenverbrauch steigt mit jeder Interaktion, genauso wie die Kosten.
- Größere Kontexte erfordern mehr Verarbeitung, wodurch die Latenz zunimmt.
Sowohl die Kosten als auch die Verzögerung pro Abfrage steigen kontinuierlich mit der Anzahl der Historieeinträge, und in produktiven Agentensystemen wird dieser Ansatz verschwenderisch und schwer zu verwalten.
Option 2: ein rollierendes Kontextfenster
Die Alternative begrenzt die Anzahl der kürzlichen Interaktionen, die übermittelt werden. Dies ist ein rollierendes Kontextfenster, dessen Größe nach der Anzahl der Nachrichten oder nach den Tokens festgelegt werden kann.
Durch die Berücksichtigung nur der neuesten N-Interaktionen erhalten Entwickler Kontrolle über den Tokenverbrauch, kürzere Latenzzeiten sowie vorhersehbare Rechnungen. Dies eignet sich für Aufgaben, die hauptsächlich von jüngsten Schritten angetrieben werden. Wenn ein Agent jedoch ältere oder langfristige Fakten benötigt, führt ein verkürztes Zeitfenster zu unvollständigem Verständnis und falschen Ausgaben.
WINDOW_SIZE = 6
#Added a wrapper method for return window messages
def rolling_add_messages(old, new):
combined = add_messages(old, new)
return combined[-WINDOW_SIZE:]
class AgentState(TypedDict):
messages: Annotated[List[BaseMessage], rolling_add_messages]
Option 3: Abfragen nach Wörtern und anschließend nach Bedeutung
Ein umgekehrter Index ist eine Datenstruktur, die für sehr schnelle Volltextsuchen entwickelt wurde. Er verknüpft Wörter oder Zahlen direkt mit den Stellen, an denen sie in einem oder mehreren Dokumenten vorkommen.
Die Anwendung auf Chats bedeutet, frühere Nachrichten zu indizieren und anschließend jene herauszusuchen, die am besten zu den Wörtern einer neuen Abfrage passen. Das Modell erhält nur die entsprechenden Teile, wodurch der Kontext stark eingeschränkt wird, während relevante Informationen erhalten bleiben – auch aus dem frühen Teil einer Konversation.
Die Schwäche liegt in der wörtlichen Übereinstimmung. Eine Abfrage kann für dieselbe Idee unterschiedliche Wörter verwenden, wodurch der Kontext wegfällt und Halluzinationen entstehen können. Ähnliche Fragen können somit ganz unterschiedliche Antworten erhalten. Ein einfacher Index kann auf diese Weise erstellt und abgefragt werden:
def build_inverted_index(messages):
index = defaultdict(set)
for i, msg in enumerate(messages):
words = msg.lower().split()
for word in words:
index[word].add(i)
return index
def search_context(query, index, messages):
query_words = query.lower().split()
matched_ids = set()
for word in query_words:
if word in index:
matched_ids.update(index[word])
return [messages[i] for i in matched_ids]
Semantische Suche beseitigt diese Schwäche, indem sie Absichten und Bedeutungen interpretiert und nicht nur Schlüsselwörter berücksichtigt. Dadurch werden Halluzinationen reduziert und die Antworten zuverlässiger. Der Ablauf verläuft wie folgt: Ein Satz wird in Token aufgeteilt, und ein leichtgewichtiges Embedding-Modell wandelt sie in Vektoren um. Jeder Tokenvektor wird anhand seiner Nachbarn angepasst, und die Tokenvektoren werden zu einem einzigen Vektor für den gesamten Satz zusammengefasst. Diese Vektoren werden in einer Vektordatenbank gespeichert.
Eine Abfrage durchläuft dieselbe Umwandlung und wird mithilfe der Kosinusähnlichkeit mit den gespeicherten Vektoren verglichen – dabei handelt es sich um den Kosinus des Winkels zwischen zwei Vektoren. Ein Wert nahe 0,9 deutet auf eine sehr ähnliche Bedeutung hin, während Werte unter 0,3 in der Regel auf Unverwandtschaft hindeuten. Anwendungen können ihren eigenen Schwellenwert festlegen. Die besten Übereinstimmungen werden anschließend an das Grundmodell weitergeleitet.
Der Beispiocode kombiniert ein kleines, vorgetrainiertes Sentence Transformers-Modell mit FAISS, einer im Speicher befindlichen Vektordatenbank, um Kontexte anhand der Bedeutung abzurufen.
from sentence_transformers import SentenceTransformer
import faiss
import numpy as np
# Sample data
sentences = [
"schedule meeting tomorrow",
"send project report",
"prepare meeting agenda"
]
# Load embedding model
model = SentenceTransformer("all-MiniLM-L6-v2")
# Convert sentences into vectors
embeddings = model.encode(sentences)
# Create FAISS index
index = faiss.IndexFlatL2(embeddings.shape[1])
index.add(np.array(embeddings))
# Search
query = "plan meeting"
query_vector = model.encode([query])
distances, indices = index.search(np.array(query_vector), k=2)
print([sentences[i] for i in indices[0]])
Ohne eine solche Abrufmöglichkeit beginnt jede Anfrage von vorne und ignoriert das, was aus früheren Austauschen gelernt wurde, wodurch eine oberflächliche, unpersönliche Erfahrung entsteht. Mit dieser Funktion durchsucht das System frühere Interaktionen nach semantisch ähnlichem Kontext, sobald eine Anfrage eingeht. Das Kontextfenster wird aufgeteilt, damit sowohl das aktuellste Gespräch als auch der abgerufte Historieplatz vorhanden sind. Der Agent kann anschließend im Einklang mit den Präferenzen des Benutzers und früheren Austauschen antworten, was ein konsistenteres und vertrauteres Erlebnis schafft. Im Grunde dient das zuvor erlangte Wissen als Erfahrung, die die aktuelle Antwort verbessert.
Option 4: Ein Wissensgraph mit GraphRAG
Es wird schwierig, den richtigen Kontext zu finden, wenn das Wissen über verschiedene Interaktionen oder Dokumente verteilt ist. Reine semantische Suche kann nur einen Teil dessen erfassen, was benötigt wird, und übersieht dabei Details, die in der Formulierung unterschiedlich sind, aber logisch miteinander verbunden sind.
Nehmen wir die Frage "Warum wurde die Zahlung verzögert?". Semantische Suche kann Nachrichten über eine Zahlungsaussetzung oder eine ausstehende Transaktion anzeigen, übersieht aber weiterhin Angaben wie ">Die Freigabe durch das Finanzteam ist ausstehend" oder ">Die Konformitätsprüfung ist noch nicht abgeschlossen". Beides erklärt die Verzögerung, doch ihre Formulierungen weisen nur geringe Ähnlichkeit mit der Frage auf, weshalb allein die Ähnlichkeitsanalyse sie nicht finden kann.
GraphRAG hilft hier. Es modelliert Informationen als Graphen, bei denen jedes Dokument oder Konzept ein Knoten und die Beziehungen Kanten darstellen, was eine strukturiertere und besser vernetzte Suche ermöglicht. Der Nachteil ist die Wartung: Ein Graph, der bei Eintreffen neuer Fakten laufend geändert werden muss, erfordert erhebliche Rechenleistung und Designaufwand.
Der Aufbau eines Wissensgraphen umfasst im Allgemeinen vier Schritte:
- Identifizieren Sie die Knoten, also die Entitäten oder Konzepte.
- Identifizieren Sie die Beziehungen zwischen ihnen.
- Definieren Sie eine Ontologie, also die Struktur und das Schema des Graphen.
- Füllen Sie den Graphen mit Daten.
Die resultierende Struktur liefert einen reichhaltigeren, besser vernetzten Kontext als allein die Ähnlichkeit, wobei weniger Verbindungen übersehen werden.
Microsofts GraphRAG-Bibliothek kann Entitäten und Beziehungen in Inhalten automatisch erkennen und den Graphen erstellen.
Schritt 1: Projekt einrichten. Installieren Sie GraphRAG und initialisieren Sie einen Arbeitsordner.
pip install graphrag
graphrag init --root ./graphrag_demo
Der Befehl erstellt ein Verzeichnis mit input/, settings.yaml und prompts/. Die Quelldokumente werden in input/ abgelegt.
Schritt 2: Der Graph wird erstellt. Der Indexierungs-Befehl extrahiert Entitäten, findet Beziehungen und konstruiert den Graphen.
graphrag index --root ./graphrag_demo
Schritt 3: Abfragen. Das erzeugte Graph kann anschließend abgefragt werden.
graphrag query \
— root ./graphrag_demo \
— method global \
“Why was the payment delayed?”
Das System sammelt den verbundenen Kontext im gesamten Graphen, was ein mehrstufiges Schlussfolgern ermöglicht anstelle eines reinen Vertrauens auf semantische Ähnlichkeit.
Wie die Komponenten zusammenpassen
Genaue, personalisierte Agenten benötigen mehr als nur Schlüsselwortabgleich oder isolierte Ähnlichkeiten. Ein invertierter Index reduziert den Kontext effizient, und die semantische Suche bewahrt die ursprüngliche Absicht bei – doch beide können Beziehungen über mehrere Wissenselemente hinweg übersehen. GraphRAG schließt diese Lücke, indem es Informationen als voneinander verbundene Entitäten und Beziehungen organisiert, sodass das Schlussfolgern über den Kontext hinweg erfolgen kann anstelle der Sammlung ähnlich aussehender Fragmente. Dadurch rücken die Agenten von einer oberflächlichen Informationsabrufung zu einem Verständnis der Zusammenhänge zwischen Konzepten vor.
Zusammen führen rollende Fenster, semantische Suche, Erfahrungsmerkmalverarbeitung und Graphenabruf zu Agenten, die relevante Details abrufen und darüber logisch denken können, wodurch vollständigere Antworten, weniger Halluzinationen sowie ein stabileres und persönlicheres Erlebnis entstehen. Die Agentenerinnerung entwickelt sich von der Speicherung von Informationen hin zur Vernetzung von Wissen, und dieser Wandel ermöglicht es KI-Assistenten, von kontextbewusst zu kontextbezogenem Denken überzugehen.