Warum LLMs ein externes Gedächtnis brauchen: RAG, Embeddings und Fine-Tuning

Bitten Sie ein großes Sprachmodell, ein kniffliges Konzept zu erklären, einen Bericht zu verdichten oder eine überzeugende Antwort zu entwerfen, und es wird das meist schaffen. Verlangen Sie, dass es sich wie eine Datenbank verhält, und Sie bekommen Probleme. Sein Wissen steckt in seinen Parametern und spiegelt die Daten wider, die zum Trainingszeitpunkt existierten. Dieses Wissen kann lückenhaft, veraltet oder nicht überprüfbar sein, und wenn das Modell etwas nicht weiß, antwortet es womöglich trotzdem im Brustton der Überzeugung.

Retrieval-Augmented Generation, kurz RAG, ist die übliche Abhilfe. Statt nur aus dem Gedächtnis zu antworten, sucht das Modell zuerst relevante Informationen in einer externen Bibliothek und schreibt seine Antwort dann auf Grundlage des Gefundenen.

Prüfung mit geschlossenem und offenem Buch

Stellen Sie sich vor, Sie bitten eine Anwältin, einen Vertrag zu prüfen. Nach den Regeln des geschlossenen Buchs muss sie jede Klausel aus dem Gedächtnis abrufen, und selbst Profis zitieren dann mal ein Detail falsch oder stützen sich auf eine veraltete Fassung. Nach den Regeln des offenen Buchs reichen Sie ihr einen geordneten Aktenschrank. Sie findet das richtige Dokument, liest die genaue Klausel und erklärt sie dann.

Sprachmodelle verhalten sich genauso:

Closed-book approach:

Question
   |
   v
LLM's internal memory
   |
   v
Possible outdated or invented answer
Open-book RAG approach:Question
   |
   v
Search external documents
   |
   v
Retrieve relevant passages
   |
   v
LLM uses those passages to answer

Das Verstehen und Erklären übernimmt weiterhin das Modell. Das Retrieval-System liefert nur die Belege.

Parametrisches Gedächtnis und seine Grenzen

Was ein Modell intern weiß, nennt man parametrisches Gedächtnis. Beim Training verarbeitet es riesige Datenmengen und passt seine Parameter an, heraus kommt aber keine ordentliche Faktentabelle. Informationen landen als Muster, verteilt über das gesamte Netz. Das macht das Modell flexibel, bringt aber Probleme mit sich:

• Einen einzelnen Fakt zu ändern ist schwer.
• Oft lässt sich nicht sagen, woher eine Antwort stammt.
• Wissen veraltet.
• Richtige und falsche Muster können sich vermischen.
• Interne Unternehmensinformationen sind nicht automatisch verfügbar.

RAG fügt eine zweite Art von Gedächtnis hinzu, meist nicht-parametrisch genannt. Es liegt außerhalb des Modells, in Dokumenten, Datenbanken, Suchindizes oder Vektorspeichern. Die ursprüngliche RAG-Forschung beschrieb das als Kombination eines vortrainierten Modells mit einem externen dichten Dokumentindex.

So funktioniert ein einfaches RAG-System

Die meisten Systeme durchlaufen vier Phasen.

1. Dokumente vorbereiten

Dokumente werden gesammelt, bereinigt und in Abschnitte zerlegt, sogenannte Chunks. Ein Chunk sollte groß genug sein, um seine Bedeutung zu behalten, und klein genug, um präzise gefunden zu werden. Eine Unternehmensrichtlinie etwa teilt man besser nach Abschnitten, als sie wahllos mitten im Satz zu zerhacken.

2. Text durchsuchbar machen

Jeder Abschnitt wird zu einem Embedding, einer numerischen Darstellung seiner Bedeutung. Texte mit ähnlicher Bedeutung ergeben ähnliche Embeddings, sodass ein System relevante Abschnitte auch dann findet, wenn die Formulierung abweicht. Jemand fragt vielleicht, wie viele Tage er von zu Hause arbeiten darf, während in der Richtlinie steht, dass Beschäftigte bis zu zwei Tage pro Woche remote arbeiten dürfen. Gutes Retrieval verbindet beides trotz unterschiedlichem Vokabular.

3. Das Relevante abrufen

Kommt eine Frage herein, wandelt das System auch sie in ein Embedding um und sucht nach nahe gelegenen Abschnitten. Die besten Treffer kommen in den Kontext des Modells.

User question
      |
      v
Search document index
      |
      v
Retrieve relevant passages
      |
      v
Add passages to the model prompt

4. Eine belegte Antwort erzeugen

Das Modell sieht nun sowohl die Frage als auch das abgerufene Material. Es kann dieses Material zusammenfassen, Quellen vergleichen oder die Antwort verständlich erklären. Ein sorgfältig gebautes System weist das Modell außerdem an, Quellen zu nennen und offen zu sagen, wenn die Dokumente nicht genug Informationen enthalten.

RAG oder Fine-Tuning

Wenn ein Unternehmen will, dass ein Modell internes Wissen nutzt, denkt es oft zuerst an Fine-Tuning. Das kann helfen, ist aber ein schlechter Ort für Fakten, die sich ändern. Fine-Tuning verändert das Verhalten des Modells durch Training mit zusätzlichen Beispielen, eine Richtlinie auf diese Weise jede Woche zu überarbeiten wäre also langsam, teuer und schwer nachprüfbar.

RAG geht einen anderen Weg. Ändern sich Informationen, aktualisieren Sie die Dokumentensammlung, und schon die nächste Anfrage kann die neue Version abrufen. Es ist der Unterschied, ob man jemandem das Gedächtnis umschreibt oder ihm ein aktualisiertes Nachschlagewerk in die Hand drückt.

Anforderung	Fine-Tuning	RAG
Schreibstil ändern	Sehr gut geeignet	Eingeschränkt
Ein bestimmtes Antwortformat beibringen	Sehr gut geeignet	Möglich, aber weniger direkt
Häufig wechselnde Fakten hinzufügen	Schlecht geeignet	Sehr gut geeignet
Interne Dokumente nutzen	Möglich, aber teuer	Sehr gut geeignet
Quellmaterial zeigen	Schwierig	Selbstverständlich
Informationen schnell aktualisieren	Erfordert erneutes Training	Dokumentindex aktualisieren

Studien, die beide Ansätze vergleichen, kommen zu dem Ergebnis, dass RAG besonders gut darin ist, seltenere oder neu hinzugekommene Fakten einzubringen. Ein Vergleich zwischen Wissensinjektion per Training und per Retrieval ist auf arXiv erschienen, und eine Folgeanalyse kommt zu einer ähnlichen Einschätzung.

Nicht in jeder Situation konkurrieren die beiden. Ein Team kann für Tonfall und Verhalten feinjustieren und aktuelle Fakten dann per RAG liefern.

RAG ist kein Allheilmittel

RAG senkt die Fehlerquote, garantiert aber keine richtigen Antworten. Ein System kann trotzdem scheitern, wenn:

• das richtige Dokument nie hinzugefügt wurde.
• das Dokument veraltet ist.
• die Suche den falschen Abschnitt liefert.
• wichtige Informationen über schlecht geschnittene Chunks verstreut sind.
• das Modell den abgerufenen Text falsch versteht.
• sich widersprechende Dokumente ohne klare Priorität auftauchen.

Die Qualität hängt also von mehr als dem Modell ab. Dokumentstruktur, Suchqualität, Metadaten, Berechtigungen, Quellenangaben und Evaluierung zählen alle. Als Merksatz: RAG verbessert den Zugang des Modells zu Belegen, aber die Belege müssen trotzdem gut sein.

Wo es sich in Unternehmen bezahlt macht

RAG passt am besten, wenn Informationen intern, spezialisiert oder häufig aktualisiert sind. Denken Sie an Personal- und Reiserichtlinien, Produkthandbücher, Support-Wissensdatenbanken, Verträge und anderes juristisches Material, Finanzberichte, API- und technische Dokumentation, medizinische Leitlinien und Unterlagen zu einzelnen Projekten.

Angenommen, ein Mitarbeiter fragt nach der aktuellen Obergrenze für die Reisekostenerstattung. Ein Allzweckmodell gibt vielleicht eine generische Antwort oder rät. Ein RAG-System durchsucht die aktuelle Reiserichtlinie und antwortet mit dem genehmigten Betrag, und es kann Dokumenttitel, Version der Richtlinie und den betreffenden Abschnitt dazuschreiben, damit sich die Antwort leicht prüfen und auditieren lässt.

Eine neue Arbeitsteilung

RAG verändert, wofür das Sprachmodell da ist. Es muss nicht mehr jeden Fakt speichern, den es brauchen könnte, sondern kann als Schicht für Schlussfolgern und Kommunikation dienen, die an externes Wissen angeschlossen ist.

External documents
        |
        v
Search and retrieval system
        |
        v
Relevant context
        |
        v
Language model
        |
        v
Answer with explanation and sources

Das Modell interpretiert, das Retrieval-System spielt den Bibliothekar, und die Dokumente sind das Nachschlageregal. Wer diese Rollen trennt, kann Systeme leichter aktualisieren und oft auch leichter steuern.

Was Retrieval noch nicht kann

Zugang zu Informationen ist nicht dasselbe wie die Fähigkeit zu handeln. Ein Modell weiß vielleicht, dass ein Reiseantrag genehmigt werden muss, kann ihn aber nicht genehmigen. Es kann eine Erstattungsrichtlinie erklären, ohne eine Erstattung auslösen zu können, weil es keinen Zugang zum Geschäftssystem hat. Um diese Lücke zu schließen, verbindet man Modelle über Function Calling und APIs mit Tools, damit sie vom Textproduzieren zu nützlicher Arbeit übergehen. Das Modell hat aus der Welt gelernt, und RAG lässt es nachschlagen. Ihm beizubringen, auf Basis seines Wissens zu handeln, ist das nächste Problem.

Paper, die sich lohnen

• Das ursprüngliche RAG-Paper von der NeurIPS 2020 kombiniert einen vortrainierten Generator mit einem Retrieval-Index.
• Eine Few-Shot-Studie zu Retrieval-gestützten Sprachmodellen zeigt, wie weit Retrieval mit nur einer Handvoll Beispielen kommt.