Startseite / Artikel

Warum RAG existiert: Parametrische Speicherung, dichte Suche und die Veröffentlichung von 2020

Warum RAG existiert: Die Grenzen der parametrischen Speicherung, wie BM25 und Embeddings zu einer dichten Suchfunktion führten, sowie welche Kompromisse RAG-Sequence und RAG-Token im Paper eingehen.

Verlag: REACTAPP.TOP7 Min. Lesezeit1677 Wörter

Quellen: What Is RAG? The Story Behind Retrieval-Augmented Generation and Why It Changed AI Forever

Es gibt keinen einzigen richtigen Weg, um ein RAG-System zu entwickeln. Jedes Geschäftsproblem erfordert eine eigene Architektur, um skalierbar zu sein, und jede Suchstrategie hat ihre Vor- und Nachteile – daher kann ein Design, das für einen Support-Bot geeignet ist, bei rechtlichen Recherchen versagen. Zudem entwickelt sich dieses Feld sehr schnell. Im Jahr 2020, als Retrieval-Augmented Generation erstmals auftauchte, waren Sprachmodelle viel schwächer als heute. Seitdem haben sich Fähigkeiten wie Schlussfolgerungsvermögen, Befehlsbefolgung, multimodales Verständnis, Kontextfenster sowie die Nutzung von Tools erheblich verbessert. RAG bleibt weiterhin eine zentrale Technik für zuverlässige KI-Anwendungen, denn selbst das stärkste Modell kann nicht alles wissen oder immer die neuesten Informationen einsehen. Das Abrufen relevanter Kenntnisse aus externen Quellen verringert Halluzinationen und sorgt dafür, dass Antworten auf zuverlässigem Material beruhen.

Heute bildet diese Technologie die Grundlage für Support-Plattformen und Unternehmens-Chatsbots, Programmierhilfen, Recherchetools für Juristen, klinische Anwendungen, Finanzsysteme sowie interne Wissenshilfen. Dennoch gehen viele Tutorials direkt zu Vektordatenbanken, Embeddings oder LangChain-Code und fragen nie, warum RAG überhaupt erfunden wurde. Die Beantwortung dieser Frage beginnt mit der ursprünglichen Forschung und geht weiter zu den ingenieurtechnischen Konzepten hinter modernen Produktionsystemen – einschließlich der Gründe für bestimmte Gestaltungsentscheidungen, ihrer Kosten sowie der Art und Weise, wie sich diese entwickelt haben.

Die Grenzen dessen, was ein Modell weiß

Als Modelle im Stil von GPT erstmals eine beeindruckende Sprachverständnisfähigkeit zeigten, nahmen viele an, sie könnten fast alles beantworten. In gewissem Maße konnten sie das tatsächlich. Das Training mit riesigen Datensätzen lehrte sie Fakten über Geschichte, Wissenschaft, Programmierung, Mathematik und Literatur. Doch alles, was das Modell „wusste“, wurde während des Trainings in seine Parameter komprimiert, und mit Ende des Trainings erstarrte dieses Wissen.

Menschen arbeiten mehr oder weniger auf ähnliche Weise. Experten verlassen sich nicht allein auf ihr Gedächtnis. Ein Kardiologe, der auf eine seltene Krankheit oder eine neu zugelassene Behandlung stößt, prüft zunächst die aktuellen klinischen Leitlinien oder die medizinische Literatur. Ein erfahrener Python-Entwickler, dem die Umstellung einer großen Anwendung auf Java übertragen wird, kennt nicht automatisch alle Java-Frameworks oder besten Praktiken, um dies ohne Beeinträchtigung der Leistung oder des Benutzererlebnisses zu bewerkstelligen. Er liest die Java-Dokumentation, wählt je nach Umfang der Anwendung ein Framework wie Spring aus und konsultiert dabei ständig Migrationsanleitungen sowie Projektdokumentationen. Die Fähigkeiten sind bereits vorhanden, doch externe Materialien liefern den Kontext für eine genaue Problemlösung.

Sprachmodelle stehen vor dem gleichen Problem. Ihr allgemeines Wissen ist ausgeprägt, doch wenn man nach etwas fragt, das nach dem Ende ihrer Trainingsphase eingetreten ist – wie ein internes Firmendokument oder die neueste Richtlinie einer Organisation – haben sie keine Informationen dazu. Noch schlimmer: Während ein Mensch seine Unsicherheit zugibt, liefert ein Modell oft eine fließende, selbstsichere, aber faktisch falsche Antwort, was heute weitgehend als Halluzination bezeichnet wird.

Auch das erneute Trainieren jedes Mal, wenn neue Informationen auftauchten, war unrealistisch, da state-of-the-art-Modelle enorme Rechenleistung, Kosten und Zeit erfordern. Die Forscher suchten nach einer Möglichkeit, dass ein Modell zum Zeitpunkt der Antwort relevante externe Informationen abrufen kann, ohne neu trainiert werden zu müssen. Dieser Bedarf führte zur Retrieval-Augmented Generation und legte den Grundstein für viele der heutigen Techniken zur Kontextgestaltung, deren Ziel es ist, dem Modell zur richtigen Zeit die richtigen Informationen zur Verfügung zu stellen.

Zwei Arten von Speicher

Um zu verstehen, warum RAG wichtig war, hilft es, zwei Arten von Speicher zu unterscheiden. Parametrischer Speicher ist das Wissen, das in den gelernten Parametern eines Modells gespeichert ist: Muster, Konzepte, Sprachfähigkeiten sowie Fakten, die während des Trainings erworben wurden. Er weist echte Grenzen auf:

  • Er kann nicht leicht aktualisiert werden.
  • Er kann veraltet sein.
  • Seltene Fakten können in Vergessenheit geraten.
  • Kein Modell kann jedes je geschriebene Dokument merken.

RAG fügte nicht-parametrischen Speicher hinzu: Wissen, das außerhalb des Modells in Dokumenten, Datenbanken oder einem indizierten Korpus gespeichert wird und während der Antwortgebung des Modells abgerufen wird. Anstatt sich nur auf das zu verlassen, was Monate zuvor memorisiert wurde, holt das Modell vor dem Verfassen einer Antwort auf Anfrage relevante Materialien ab. Diese einfache Idee veränderte die Art und Weise, wie KI-Systeme mit ständig wechselndem Wissen umgehen können.

Datenabruf vor Sprachmodellen

Die Informationsabrufung existiert bereits vor den großen Sprachmodellen. Suchmaschinen hatten schon lange ein ähnliches Problem: Bei Millionen von Dokumenten – welche sind am relevantesten für die Anfrage eines Benutzers? Frühe Systeme verglichen Wörter und zählten, wie oft Suchbegriffe in einem Dokument vorkamen. TF-IDF (Term Frequency-Inverse Document Frequency) verbesserte dies, indem es informativere Wörter stärker und häufigere weniger gewichtete. BM25 wurde später zum Branchenstandard für die Rangliste, mit einer weiter verfeinerten Bewertungsfunktion, die sowohl die Worthäufigkeit als auch die Dokumentlänge berücksichtigt, und bleibt weiterhin ein zentraler Bestandteil vieler produktiver Suchsysteme.

Diese Ansätze funktionieren gut, wenn die genauen Schlüsselwörter in einem Dokument vorkommen. Sie haben Schwierigkeiten, wenn zwei Abschnitte dieselbe Idee in unterschiedlichen Worten ausdrücken – und genau diese Lücke ebnete den Weg für die semantische Informationsabrufung.

Als neuronale Netze sich weiterentwickelten, begannen Forscher, Texte als dichte Vektoren darzustellen, die als Embeddings bekannt sind. Ein Embedding ist eine numerische Darstellung eines Wortes, Satzes oder Dokuments in einem hochdimensionalen Raum, der oft als Embedding- oder Latenzraum bezeichnet wird. Einzelne Zahlen bedeuten für sich genommen wenig. Gemeinsam fangen sie Bedeutungen ein, sodass Texte mit ähnlicher Bedeutung nah beieinander liegen und unverwandte Konzepte weit voneinander entfernt sind. Aufgrund dieser Clusterung kann die Suche nach Bedeutungen erfolgen, anstatt auf exakten Schlüsselwortübereinstimmungen.

Nehmen wir einen Benutzer, der fragt, wie die Leistung eines neuronalen Netzwerks verbessert werden kann. Mit Embeddings kann diese Anfrage dennoch ein Dokument mit dem Titel „Techniques for optimizing deep learning models“ finden, obwohl weder „neuronales Netzwerk“ noch „Leistung“ darin vorkommen. Nachdem sowohl die Anfragen als auch die Dokumente eingebettet wurden, besteht die Suche darin, die Dokumentenvektoren zu finden, die dem Anfragenvektor am nächsten liegen. Diese Idee bildete die Grundlage für Dense Passage Retrieval (DPR), das 2020 eingeführt wurde. DPR zeigte, dass dichte semantische Suche bei vielen Benchmarks für die Beantwortung von Fragen im offenen Bereich besser abschneidet als traditionelle Schlüsselwortsuche, und es wurde zu einem der Bausteine, die RAG möglich machten.

Von der Dokumentensuche zur Fragebeantwortung

Die semantische Suche deckte nur die Hälfte der Aufgabe ab. Die Menschen wollen keine Liste von Dokumenten, sie wollen Antworten – und das führt zu Open-Domain-Fragebeantwortung. Ein geschlossenes Domänesystem bezieht seine Antworten aus einer festen Wissensbasis oder Datensammlung. Bei der Open-Domain-Fragebeantwortung muss das System vor der Beantwortung in Millionen von Dokumenten nach nützlichem Material suchen. Bei einer Frage wie „Wer hat den Nobelpreis für Physik 2024 gewonnen?“ scannt das System zunächst eine riesige Sammlung nach den besten Beweisen und formuliert anschließend seine Antwort darauf.

Das ergibt einen zweistufigen Prozess:

  1. Auswählen der relevantesten Dokumente.
  2. Erstellen einer Antwort aus diesen Dokumenten.

Dieses Muster von Abrufen und anschließendem Erzeugen ist die konzeptionelle Grundlage des modernen RAG. Die 2020 veröffentlichte Arbeit Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks formalisierte es, indem sie einen dichten Abrufmechanismus mit einem Sequenzgenerierungsmodell in einer end-to-end-Architektur verband. Die zentrale Idee war einfach: Man sollte ein Sprachmodell nicht dazu auffordern, ausschließlich aufgrund seiner internen Parameter zu antworten. Zuerst sollten die relevantesten externen Dokumente abgerufen werden, anschließend sollte die Generierung anhand dieser Passagen gesteuert werden. Das Abrufen ersetzte die Sprachmodelle nicht – es stärkte sie vielmehr, führte zu höherer faktischer Genauigkeit, besseren Ergebnissen bei kennenzentrierten Aufgaben sowie zu Wissen, das durch den Austausch der Dokumentensammlung ohne Neutraining des Modells aktualisiert werden kann.

RAG-Sequence versus RAG-Token

Der Artikel schlug zwei Suchstrategien vor. RAG-Sequence holt einmal zu Beginn der Generierung eine feste Anzahl relevanter Dokumente ab, und diese bleiben während der gesamten Antwort unverändert. Sie ist rechenintensiv effizient und einfach umzusetzen und bildet weiterhin die Grundlage für die meisten produktiven RAG-Systeme.

RAG-Token ist dynamischer. Das Modell kann bei der Erstellung unterschiedlicher Teile der Antwort unterschiedliche Dokumente abrufen, was es theoretisch ermöglicht, immer dann aktuelle Informationen zu sammeln, wenn mehr Kontext benötigt wird, und somit besser informierte Antworten liefern kann.

Bild einer Person, die einen Forschungsbericht schreibt. Mit RAG-Sequence wird das gesamte Referenzmaterial bereits vor dem ersten Satz gesammelt. Bei RAG-Token hingegen stoppt der Verfasser mitten im Bericht, um bei jedem neuen Fragepunkt etwas nachzuschlagen. Der zweite Ansatz ist flexibler, erfordert jedoch viele mehr Suchvorgänge, verursacht höhere Rechenausgaben und führt zu Verzögerungen. Deshalb wählen die meisten Produktionsysteme das einfachere RAG-Sequence-Design und konzentrieren ihre Anstrengungen auf den Suchprozess selbst, indem sie hybride Suchverfahren, Neubewertung der Ergebnisse, Umformulierung von Abfragen sowie Filterung von Metadaten nutzen.

Wo das ursprüngliche Design versagte

Auch wenn die ursprüngliche Architektur revolutionär war, wiesen sie Mängel auf, die bereits bei der Einführung in echten Umgebungen zum Vorschein kamen:

  • Die Qualität der Erzeugung wurde durch die Qualität der Suche begrenzt.
  • Schlechtes Aufteilen des Textes beeinträchtigte die Genauigkeit der Suche.
  • Die Kontextfenster beschränkten die Menge an Informationen, die bereitgestellt werden konnten.
  • Dichte Abfragen überließen manchmal wichtige, exakte Termübereinstimmungen unberücksichtigt.
  • Die Abfrage fand vor der Generierung statt, was zu Verzögerungen führte.
  • Die Unterstützung für strukturierte, tabellarische und multimodale Daten war eingeschränkt.

Diese Probleme führten zu jahrelanger weiterer Forschung, und die letzten fünf Jahre haben RAG neu geformt. Sprachmodelle sind weitaus leistungsfähiger geworden, Embedding-Modelle haben sich verbessert und Vektordatenbanken sind weiter entwickelt. Hybride Suchverfahren kombinieren lexikale und semantische Suche, während Cross-Encoder-Reranker die Auswahl der Dokumente präzisieren. Neuere Systeme bieten zusätzlich Filterung von Metadaten, Umformulierung von Abfragen, Komprimierung des Kontexts, adaptive Suche sowie agierende Arbeitsabläufe. Zudem haben Forscher Ansätze wie GraphRAG, Self-RAG, Corrective RAG (CRAG), RAPTOR und multimodale Suche vorgeschlagen. Diese Erweiterungen beheben einen Großteil der Fehler des ursprünglichen Verfahrens, doch keines ersetzt den zentralen Schritt der Informationsbeschaffung zuerst.

Die heutigen Produktarchitekturen unterscheiden sich stark vom einfachen Pipeline-Modell von 2020, teilen aber dessen grundlegendes Prinzip: Erst relevante Informationen beschaffen, bevor eine Antwort erzeugt wird.

Die Denkweise ändert sich

Am auffälligsten ist, dass RAG die Sprachmodelle nicht in erster Linie intelligenter gemacht hat. Es hat vielmehr die Art und Weise verändert, wie Menschen sie nutzen. Anstatt zu erwarten, dass ein Modell einen stetig wachsenden Wissensschatz auswendig lernt, betrachtet RAG externe Informationen als etwas, das jederzeit bei Bedarf abgerufen werden kann. Diese Veränderung hat es ermöglicht, Systeme zu entwickeln, die genauer, zuverlässiger sind und mit ständig wechselnden Informationen umgehen können.

Die Kenntnis der Ursprünge von RAG ist mehr als nur eine Lektion in Geschichte. Sie erklärt, warum moderne Systeme so aussehen, wie sie sind, und warum bestimmte architektonische Entscheidungen in der Praxis von Bedeutung sind. Ein Team, das die ursprüngliche Motivation versteht, kann erkennen, welche neuen Techniken eine echte Schwäche beheben und welche lediglich Komplexität hinzufügen.

Weitere Literatur

  • Acht Ideen der Linearen Algebra hinter Embeddings, LoRA und PCA — Vektoren, Matrizen, Eigenvektoren, Kosinusähnlichkeit, Normen, SVD und Rang werden anhand kleiner Beispiele zu Hauspreisen sowie der darauf beruhenden KI-Techniken erläutert.