Wie RAG Halluzinationen von LLMs reduziert: Retrieval, Embeddings und Unternehmensanwendungen

Nehmen wir an, ein Fintech-Unternehmen stellt Kunden einen KI-Assistenten zur Verfügung, um Transaktionsstreitigkeiten zu erklären. Ein Kunde tippt eine einfache Frage ein: Warum wurde meine Zahlung abgelehnt?

Der Assistent antwortet sofort und nennt in selbstbewusstem Ton „internationale Transaktionslimits“. Das klingt plausibel – ist aber falsch. Der eigentliche Grund war ein kurzfristig ausgelöster Betrugsalarm, von dem der Assistent nichts wissen konnte.

Das ist der stillschweigende Fehler vieler KI-Systeme: Sie versagen nicht lautstark, sondern überzeugend. Eine falsche Antwort, die mit voller Sicherheit gegeben wird, schadet mehr als ein System, das seine Unwissenheit zugibt – schließlich denkt niemand daran, sie zu überprüfen. Retrieval-Augmented Generation, kurz RAG, existiert genau dazu, dieses Problem zu lösen.

Was RAG eigentlich ist

RAG ist ein Ansatz, der Informationsabruf mit Textgenerierung verbindet. Ein herkömmliches Sprachmodell antwortet auf der Grundlage dessen, was es während des Trainings aufgenommen hat. Ein RAG-System holt zunächst relevante Materialien aus externen Quellen wie Datenbanken, Dokumenten oder APIs ab und erst danach formuliert es seine Antwort.

Das ist für unternehmensinterne Sprachsysteme von Bedeutung, bei denen Genauigkeit, Relevanz und aktuelle Informationen Pflichtanforderungen sind und keine Zusatzfunktionen. Der Unterschied besteht zwischen einer KI, die auswendig das wiederholt, was sie vor einigen Monaten gelernt hat, und einer KI, die vor dem Sprechen die aktuellen Fakten abruft.

Eine Analogie hilft. Stellen Sie sich ein gewöhnliches LLM wie einen begabten, gut gebildeten Mitarbeiter vor, der seit Ende der Ausbildung in einem Raum eingesperrt ist, ohne Telefon, ohne E-Mail und ohne Nachrichten von außen. Alles, was er sagt, stammt aus seinem Gedächtnis. RAG verschafft diesem Mitarbeiter kurz vor jeder Antwort Zugang zu den aktiven Systemen des Unternehmens, wie zum Beispiel dem Ticketing-Tool, der Richtlinien-Wiki und der Kundendatenbank. Er spricht weiterhin selbst, hat aber nun aktuelle, überprüfbare Informationen vor sich.

Warum Sprachmodelle halluzinieren

Unter Halluzination versteht man die Erstellung fließender, selbstbewusster Texte, die falsch oder erfunden sind. Es gibt drei strukturelle Ursachen dafür.

• Eingefrorene Trainingsdaten. Was auch immer das Modell gelernt hat, hörte zu einem bestimmten Zeitpunkt auf, sich weiterzuentwickeln. Wenn man nach den Änderungen der letzten Woche fragt, hat ein vor einem Jahr trainiertes Modell keine Informationen dazu.
• Kein Zugriff auf Echtzeit- oder vertrauliche Informationen. Ereignisse nach der Schulung sowie alles, was in privaten Systemen gespeichert ist, sind für es unsichtbar. Ihre internen HR-Richtlinien, die Kontohistorie eines Kunden oder die heutige Bestandsanzahl existieren nicht in seinem Speicher.
• Vorhersage durch Wahrscheinlichkeit und nicht durch Überprüfung. Ein Modell gibt die statistisch am wahrscheinlichsten erscheinenden nächsten Wörter aus und nicht die genauesten. Es optimiert danach, was richtig klingt – was in der Regel in die Nähe der richtigen Antwort führt, aber manchmal auch nicht – und verfügt nicht über eine interne Möglichkeit, die beiden voneinander zu unterscheiden.

In einem Geschäftsumfeld führen diese Blindstellen zu falschen Entscheidungen, verlorenem Vertrauen und echten Betriebsrisiken. Eine erfundene Antwort in einem informellen Chatbot ist peinlich. Eine erfundene Antwort bezüglich einer Medikamentendosis, einer Vertragsklausel oder einer Finanztransaktion stellt hingegen ein Haftungsrisiko dar.

Kurz gesagt antwortet ein gewöhnliches LLM aus dem Gedächtnis, während ein RAG-System aus dem Gedächtnis sowie aus Belegen antwortet.

Wie die Informationsabrufung das Problem löst

RAG stellt den Informationsabruf vor die Generierung. Anstatt zu raten, führt das System drei Schritte durch:

1. Es sucht in zuverlässigen Datenquellen nach relevantem Material.
2. Es zieht die Dokumente oder Einträge heran, die am besten zur Frage passen.
3. Es verfasst eine Antwort, die auf dem gerade abgerufenen Material beruht.

Die Ausgabe bezieht sich auf etwas Reales und nicht nur auf etwas Plausibles, wodurch das System den Kontext besser wahrnimmt. Zudem ist es überprüfbar. Die abgerufenen Dokumente sind bekannt, sodass eine Antwort auf ihre Quelle zurückverfolgt werden kann. Ein rein generatives Modell kann das nicht bieten, egal wie gut es klingt.

Die zweiteilige Architektur

Ein typisches LLM-plus-RAG-Design weist zwei Kernkomponenten auf, die nacheinander ausgeführt werden.

Der Retriever. Seine Aufgabe besteht darin, Material in externen Speichern zu suchen – beispielsweise in Unternehmensdatenbanken, Wissensbasen oder Vektordatenbanken, die semantische Suche unterstützen. Er antwortet selbst nicht. Stattdessen reduziert er die Menge an Dokumenten auf die wenigen, die am ehesten die Antwort enthalten.

Der Generator. In der Regel ist dies das LLM selbst, das das gesuchte Material nimmt und es in eine kohärente, genaue Antwort umwandelt. Seine Aufgabe besteht darin, Flüssigkeit und Synthese zu gewährleisten, indem es den rohen, gesuchten Text in eine direkte, klare Antwort auf die Frage des Benutzers umwandelt.

Zusammen erzeugen sie ein System, das nicht nur eine Anfrage interpretiert, sondern seine Antwort in realen Daten verankert. Gerade diese Kombination macht RAG für zuverlässige Sprachanwendungen in großem Maßstab so wichtig.

Embeddings, Vektordatenbanken und semantische Suche

Die meisten Retriever-Modelle verlassen sich auf semantische Suche, die auf Embeddings beruht. Ein Embedding wandelt Text in eine lange Reihe von Zahlen um, die die Bedeutung eines Satzes erfassen und nicht nur seine genaue Formulierung. Zwei Sätze mit derselben Bedeutung, aber unterschiedlichen Worten, liegen in diesem numerischen Raum nah beieinander.

Zur Abfragezeit wird auch die Frage in ein Embedding umgewandelt, und eine Vektordatenbank gibt die gespeicherten Dokumente zurück, deren Embeddings am nächsten liegen. So kann eine Frage wie „Warum wurde meine Zahlung abgelehnt?“ auf ein Support-Ticket mit dem Titel „Transaktion aufgrund einer Betrugsprüfung blockiert“ verweisen. Die Formulierung unterscheidet sich, doch die Bedeutung überschneidet sich – etwas, was eine Schlüsselwortsuche nicht erkennen kann.

Die abgerufenen Dokumente gelangen anschließend zusammen mit der ursprünglichen Frage in das Kontextfenster des Generators, der dem Modell anstelle nur der eigenen Erinnerung offene Notizen zur Beantwortung zur Verfügung stellt.

RAG und Feinabstimmung lösen unterschiedliche Probleme

Eine häufige Verwechslung besteht darin, anzunehmen, RAG mache das Feintunieren überflüssig. Beide Ansätze adressieren unterschiedliche Bedürfnisse.

Feintunieren ändert die internen Gewichte eines Modells mithilfe eines sorgfältig ausgewählten Trainingsdatensatzes, um einen bestimmten Stil, Ton oder fachliches Wissen beizubringen. Es ist nützlich, wenn das Modell konsistent handeln muss – beispielsweise in der Sprache einer Marke schreiben oder ein strukturiertes Ausgabeformat befolgen. Allerdings ist es kostspielig und bietet keinen Zugriff auf täglich wechselnde Fakten.

RAG lässt die Gewichte unverändert. Es ändert vielmehr das, was das Modell zum Zeitpunkt der Antwort sieht, indem es aktuelle, relevante Kontexte bereitstellt. Dadurch ist es deutlich günstiger und schneller, auf dem neuesten Stand zu bleiben, da das Aktualisieren einer Wissensdatenbank nur Minuten dauert, während ein Neutraining Tage oder Wochen in Anspruch nimmt.

In der Praxis kombinieren die leistungsstärksten Unternehmenssysteme häufig beides: ein fein abgestimmtes Modell für Ton, Struktur und Denkweisen im jeweiligen Fachgebiet sowie RAG für schnell ändernde Fakten. Keines von beidem deckt alle Aspekte allein ab. Die Genauigkeit stammt von RAG, die Konsistenz vom Feinabstimmen.

Wo Unternehmen es nutzen

RAG wird schnell zu einem Standardbestandteil der UnternehmenskI. Vier Anwendungsbereiche sind besonders hervorzuheben.

Chatbots. Bots, die auf internen Wissensbasen beruhen, können präzise und aktuelle Antworten für Kundenservice, HR-Fragen und IT-Hilfdesk-Anfragen liefern. Anstelle einer allgemeinen Aufforderung wie „Bitte wenden Sie sich an den Support“ kann der Bot die genaue Richtlinie oder Tickethistorie abrufen und direkt beim ersten Mal antworten.

Unternehmenssuche. Semantische Abgleiche ersetzen unzuverlässige Schlüsselwortabfragen, sodass Mitarbeiter große Dokumentensammlungen in Alltagssprache durchsuchen können. Wenn man fragt, wie eine Geschäftsessenkostenabrechnung gestaltet werden soll, kann die entsprechende Richtlinienseite angezeigt werden – auch wenn sie den Titel „Leitlinien für die Erstattung von Mahlzeiten und Unterhaltung“ trägt.

Analysen. RAG-Systeme können gleichzeitig mehrere Datensätze nutzen und nützliche Erkenntnisse liefern, wodurch Teams schneller und mit besseren Informationen Entscheidungen treffen können. Analysten können einfache Fragen stellen und Antworten erhalten, die auf aktuellen Unternehmensdaten beruhen und nicht auf bereits veralteten statischen Berichten.

Dokumentverarbeitung. Verträge, Finanzberichte und ähnliche komplexe Dateien können genauer extrahiert, zusammengefasst und interpretiert werden als es mit Schlüsselwortwerkzeugen möglich ist. Die Prüfung von Hunderten von Lieferantenverträgen auf eine bestimmte Haftungsklausel wird zu einer Frage, auf die innerhalb von Sekunden – und nicht Stunden – eine zitierbare Antwort gegeben wird.

Was Sie gewinnen

Die Einbindung von RAG in ein Unternehmenssprachsystem bringt klare Vorteile mit sich:

• Bessere Genauigkeit. Die Antworten stammen aus überprüften Quellen und nicht aus der Schätzung des Modells.
• Aktuelles Wissen. Die KI bleibt ohne Neutraining auf dem neuesten Stand, da ein Aktualisieren der Wissensbasis ausreicht.
• Weniger Halluzinationen. faktenbasierte Erstellung reduziert erfundene Antworten, und jede Aussage kann auf ein Queldokument zurückverfolgt werden.

Entwicklungspotenzial. Das Hinzufügen einer neuen Datenquelle bedeutet, sie in den Abrufprozess einzubinden. Das Modell selbst bleibt unverändert.

Besseres Verständnis des Kontexts. Durch echte Materialien, über die nachgedacht werden kann, interpretiert das System die Anfrage des Benutzers genauer.

Ein weiterer Vorteil, der leicht übersehen wird, ist die Transparenz. Wenn eine Antwort auf einem abgerufenen Dokument beruht, können Sie dem Benutzer den Ursprung dieses Dokuments anzeigen – und kaum eine Funktion stärkt das Vertrauen so sehr.

Wo RAG noch Nachteile hat

Es handelt sich nicht um eine Allheilmethode, und seine Grenzen sollten ehrlich anerkannt werden.

• Die Qualität der Antworten hängt von der Abrufleistung ab. Wenn der Abrufmechanismus das falsche Dokument liefert, basiert die Erzeugung zuverlässig auf einer schlechten Grundlage. Schlechte Eingaben ergeben schlechte Ausgaben.
• Veraltete oder doppelte Inhalte sind genauso schlimm wie kein Inhalt überhaupt. Das System kann nur so aktuell sein wie die damit verbundenen Daten. Ohne regelmäßige Bereinigung kann es alte Informationen abrufen und diese selbstbewusst präsentieren.
• Es kommt zu Latenzansammlungen. Jeder Abrufvorgang dauert Zeit, und Anwendungen, die Antworten in unter einer Sekunde benötigen, müssen mit diesem Aufwand umgehen.
• Die Schwächen in der Logik bleiben bestehen. Die Verknüpfung mit Fakten stärkt die mehrstufige Logik oder Mathematik eines Modells nicht. Wo es zuvor schwach war, bleibt es schwach.

Das alles spricht nicht gegen RAG. Es spricht dafür, es bewusst zu entwickeln – mit derselben Disziplin, die man für jeden Produktionsdatenfluss anwendet.

Gewohnheiten, die ein RAG-System zuverlässig halten

Einige Gewohnheiten unterscheiden gesunde RAG-Systeme von solchen, die allmählich das Vertrauen der Nutzer verlieren:

• Halten Sie die Wissensdatenbank ordentlich. Löschen Sie regelmäßig veraltete, wiederholte oder widersprüchliche Dokumente, denn die Qualität der Suche hängt vollständig von der Qualität der Quellen ab.
• Teilen Sie sorgfältig ein. Zu große oder unangemessen kleine Abschnitte beeinträchtigen die Genauigkeit, daher sollten die Grenzen natürlichen Abschnitten wie Absätzen und Überschriften folgen.
• Zeigen Sie die Quellen an. Das Anzeigen des gefundenen Dokuments neben der Antwort stärkt das Vertrauen und macht es möglich, fehlerhafte Ergebnisse frühzeitig zu erkennen, bevor Schaden entsteht.
• Achten Sie auf die Suche, nicht nur auf die Ausgabe. Überwachen Sie, was das Suchsystem zurückgibt, und nicht nur, was der Generierer ausspricht, da die meisten Fehler bereits in der Vorstufe entstehen.
• Verwenden Sie einen Vertrauensschwellenwert. Wenn das gefundenen Ergebnis unsicher erscheint, ist es besser, das System antworten zu lassen, dass es keine zuverlässige Antwort gefunden hat, anstatt den Generierer dazu zu bringen, etwas Fiktives zu erfinden.

Überprüfung der Funktionsfähigkeit

Das Starten ist noch nicht das Ziel. Entscheidend ist, ob das System hilft. Einige Metriken sind am wichtigsten:

• Präzision der Informationsauswahl. Von allen abgerufenen Informationen – welcher Anteil bezieht sich tatsächlich auf die gestellte Frage? Eine geringe Präzision führt dazu, dass der Generator hauptsächlich Rauschen liefert.
• Genauigkeit der Antwort. Vergleichen Sie die Antwort mit ihren Quellen: Sagt sie das, was diese besagen, oder entwickelt das Modell eigene Behauptungen, die von niemandem gestützt werden? Halluzinationen können in einem scheinbar fundierten System weiterbestehen, und diese Messgröße macht sie sichtbar.
• Abdeckung. In welchem Anteil der Anfragen liefern die abgerufenen Informationen etwas Relevantes? Lücken in der Wissensbasis zwingen das Modell stillschweigend dazu, weiterhin zu raten.

Rate der Benutzerkorrekturen. Zählen Sie Umformulierungen, Nachfragen sowie Markierungen falscher Antworten. Da diese Daten aus der tatsächlichen Nutzung stammen und nicht aus einem Testset, liefern sie die aussagekräftigsten Informationen.

Teams, die nur überprüfen, ob der Benutzer eine Antwort erhalten hat, übersehen die wichtigere Frage, nämlich ob die Antwort richtig war und ob man sie nachweisen kann. Ein einfacher Feedbackkreislauf, selbst ein Daumen hoch oder runter in Verbindung mit der abgerufenen Quelle, lohnt sich schnell.

Wohin die kontextbewusste KI unterwegs ist

Da Organisationen zunehmend auf KI für Entscheidungen setzen, wird die Nachfrage nach zuverlässigen, kontextbewussten Systemen weiter wachsen. RAG ist ein bedeutender Schritt in diese Richtung und verbindet statische Modelle mit dynamischem, lebendigem Wissen.

Man kann erwarten, dass in der nächsten Phase RAG mit intelligentereren Suchverfahren kombiniert wird – beispielsweise mit mehrstufigem Reasoning über mehrere Dokumente, einer Suche, die sich an der Gewissheit des Modells anpasst, sowie einem engeren Feedbackkreislauf zwischen den Fragen der Nutzer und dem Inhalt der Wissensdatenbank. Einfache, statische Antworten weichen zunehmend Systemen aus, die wie ein gut informierter Kollege handeln, Quellen überprüfen, diese zitieren und angeben, dass die Antwort vor einem Raten überprüft werden muss.

Was letztendlich zählt

Für Unternehmen, die generative KI einsetzen, besteht die Herausforderung nicht mehr darin, schnell Antworten zu liefern. Vielmehr geht es darum, Antworten zu erzeugen, die präzise, kontextbezogen, aktuell und vertrauenswürdig sind. RAG löst dieses Problem, indem es einem Modell ermöglicht, seine Antworten auf echten Informationen statt nur auf statischen Trainingsdaten zu stützen – was dazu beiträgt, Halluzinationen zu verringern, die Genauigkeit zu verbessern, quellenbasierte Antworten zu liefern und sich ohne kostspielige Neutraining-Prozesse an sich ändernde Informationen anzupassen.

Die wertvollsten Systeme sind wahrscheinlich nicht die mit den größten Modellen. Es sind vielmehr jene, die zum Zeitpunkt einer Entscheidungsfindung Zugang zu den relevantesten und überprüfbaren Kenntnissen haben. Egal ob es um Suchfunktionen, Automatisierung von Support-Diensten, Dokumentanalyse, Wissensmanagement oder Echtzeit-Analysen geht – RAG wird zu einem grundlegenden Muster für produktive KI-Systeme.