Sieben RAG-Muster jenseits des grundlegenden Chatbots und wann jedes davon geeignet ist.
Ein Feldführer zu naiven, hybriden, korrigierenden, selbstreflektierenden, mehrstufigen, grafischen und kontextuellen RAG-Methoden: Welchen Mangel jede Methode ausfüllt, ihre Komponenten sowie wie man sie wählt.
Quellen: Beyond the Chatbot: The Sophisticated Maturation of RAG Architectures
Die retrieval-augmented Generation hat ihre experimentelle Phase hinter sich gelassen. Anfangs bedeutete sie lediglich das Einfügen eines PDFs in eine Vektordatenbank und das Anfordern eines Zusammenfassungsberichts bei einem Chatbot. Heute bewegt sich die Branche in Richtung komplexer KI-Systeme, bei denen das Abrufen von Informationen Teil einer mehrschichtigen kognitiven Architektur ist und nicht nur ein einzelner Schritt. Im Unternehmensumfeld versagt der naive Ansatz weiterhin in Bezug auf Genauigkeit, Latenzzeit und mehrstufiges Denken, weshalb eine Reihe spezialisierter Ansätze entstanden ist. Hier finden Sie eine Übersicht dieser Ansätze sowie eine Methode, um zwischen ihnen zu wählen.
Warum die Designs weiterhin zunehmen
Basic RAG teilt Dokumente in feste Abschnitte auf, embeddet sie, wählt die k besten nach Kosinusähnlichkeit aus und übermittelt sie an ein LLM. Das reicht für einfache FAQs aus. Es versagt jedoch bei exakten Identifikatoren, langen Berichten voller mehrdeutiger Pronomen, Fragen, die mehrere Dokumente umfassen, sowie in kritischen Bereichen, in denen Halluzinationen inakzeptabel sind.
Jede neuere Variante behebt einen oder mehrere dieser Mängel:
- Schlechte Erinnerungskapazität bei wörtlichen Begriffen wie Policy-IDs, Teilenummern oder Abschnittsreferenzen.
- Lärmige oder themenfremde Abschnitte, die den Modell erreichen.
- Fehlende Alternative, wenn das interne Korpus keine Antwort hat.
- Keine Selbstüberprüfung, ob die Abfrage oder Generierung auf fundierten Informationen beruht.
- Keine Möglichkeit, über mehrere Dokumente in mehreren Schritten zu reasoningen.
- Ausfall des Dokumentkontexts in kleinen Abschnitten.
Die Grundlage: naives RAG
Dieses Muster dient als Ausgangspunkt und verringert bereits die Halluzinationen im Vergleich zu einem Modell ohne Zugriff auf externe Informationen, indem es Antworten an den abgerufenen Text bindet.
Dokumente werden in Blöcke fester Größe aufgeteilt, beispielsweise 512 Token. Ein dichtes Modell wie bge-large oder text-embedding-3-large embedt diese Blöcke, und die resultierenden Vektoren werden in Speicher wie Qdrant, Weaviate oder Pinecone gespeichert. Bei einer Abfrage wird der Abfragenvektor mithilfe der Kosinusähnlichkeit mit den Vektoren der Blöcke verglichen, wobei die drei bis fünf besten Blöcke zusammen mit der Frage an das LLM übermittelt werden.
Es eignet sich für internationale Wissensbasen mit einem einzigen Thema, einfache FAQ-Suchen sowie Prototypen, bei denen Geschwindigkeit wichtiger ist als Präzision. Die üblichen Komponenten sind das Aufteilen in Blöcke fester Größe mit wenig oder keinem Überschneidungsbereich, ein einziger dichter Vektorindex, kein oder nur ein einfacher Reranker sowie ein nach Anweisungen angepasster Generator.
Die Schwächen sind vorhersehbar. Genaue Schlüsselwortabfragen und Akronymen führen zu Fehlern, Grenzen zwischen Textabschnitten rauben dem System den Kontext, und es wird nichts festgestellt, was eine schlechte Ergebnisauswahl vor Beginn der Generierung verhindert.
Hybridsuche mit einem cross-Encoder-Reranker
Ein einziger dichter Index überseht zu viel, wenn Abfragen verschwommene Bedeutungen mit literalen Identifikatoren wie Policenummern, Abschnitts IDs, SKUs oder Verweisen auf Vorschriften kombinieren. Benchmarks zeigen, dass eine hybride Ergebnisauswahl in Kombination mit einem neuronalen Reranking gegenüber einstufigen Methoden bei gemischten Text- und Tabellendokumenten überlegen ist.
Zwei Retriever laufen Seite an Seite. Ein schwach lexikalischer Ansatz, wie BM25 oder SPLADE, ermittelt exakte Begriffe. Ein starker semantischer Ansatz erfasst konzeptionelle Ähnlichkeiten. Ihre gerankten Listen werden mithilfe von Reciprocal Rank Fusion oder einem kalibrierten gewichteten Verfahren zusammengeführt. Die besten fünfzig bis hundert resultierenden Kandidaten gelangen anschließend zu einem Cross-Encoder-Reranker, der jedes Abfragen-und-Chunk-Paar gemeinsam bewertet und eine präzisere Liste der besten fünf bis zehn Ergebnisse liefert. Diese Chunks sowie die Abfrage erreichen zusammen mit Zitiermetadaten das große Sprachmodell.
Es eignet sich für dokumentierte Konformitätsdokumente, in denen genaue Abschnittsreferenzen wichtig sind, für technische Handbücher voller Teilenummern und Fehlercodes, für Finanzdokumente mit Tabellen und präzisen numerischen Fragen sowie im Allgemeinen für jedes Produktionsystem, in dem die Qualität der Informationsabrufung die Qualität der Antworten bestimmt. Typische Komponenten umfassen feste oder semantische Aufteilung mit Metadaten, BM25 oder SPLADE in Kombination mit einem dichten Bi-Encoder, RRF oder gelernte Fusionverfahren, einen Cross-Encoder wie bge-reranker, Cohere Rerank oder Jina Rerank sowie ein Instruction-LLM, das Zitierungen unterstützt.
Korrigierendes RAG
Ziel ist es hier, zu verhindern, dass ein System aufgrund schwacher oder irrelevanter Informationen selbstbewusst antwortet. Nach dem Informationsabruf wird eine Qualitätsprüfung durchgeführt, und es gibt einen Ersatzweg, falls das interne Korpus nicht ausreicht.
Nach der Abrufung bewertet ein leichtgewichtiger Evaluator die Fragmente im Vergleich zur Anfrage und gibt ein Vertrauenslevel an: korrekt, unklar oder falsch. Anschließend leitet ein Router weiter. Korrekte Ergebnisse werden zur Erstellung verwendet. Unklare Ergebnisse führen zu einer Neuformulierung der Anfrage, einer Aufteilung oder einer anderen Abrufstrategie. Falsche Ergebnisse auslösen eine Websuche oder einen Abruf aus einer anderen externen Quelle, sodass die fehlerhaften Fragmente niemals verwendet werden.
Kundensupport ist ein natürlicher Bereich, in dem fehlende Informationen nicht zu Erfindungen werden dürfen. Ebenso gilt das für häufig aktualisierte technische Dokumentationen mit Lücken. Jeder Bereich, in dem eine ehrliche Antwort „Ich weiß es nicht“ zusammen mit einem aus dem Internet stammenden Kontext besser ist als eine selbstsichere, falsche Antwort, fällt in diese Kategorie. Die Komponenten bestehen aus einem hybriden oder dichten Suchmechanismus, einem kleinen Klassifikator oder einem promptgesteuerten Modell zur Bewertung der Relevanz, einem auf Regeln basierenden oder auf großen Sprachmodellen beruhenden Router, einer Notlösung wie einer Web-Such-API oder einem sekundären Speicher sowie einem Generator, dem mitgeteilt wird, Quellen anzuführen und Unsicherheiten einzugestehen.
Selbstreflektierendes RAG
Dieses Design integriert die Suchfunktion sowie die Überprüfung der Belege direkt in den Generierungsprozess. Das Modell lernt, wann es suchen soll, ob das Gesuchte relevant ist und ob seine eigene Antwort durch Belege gestützt wird.
Es funktioniert als zyklischer Loop, der durch spezielle Token oder strukturierte Anfragen angetrieben wird. Das Modell entscheidet, ob eine Abfrage überhaupt eine Informationsbeschaffung erfordert, bewertet die Relevanz der abgerufenen Dokumente, formuliert eine Antwort unter Berücksichtigung dieser Dokumente, prüft diese Antwort hinsichtlich Begründetheit und Vollständigkeit und ändert sie gegebenenfalls oder weigert sich zu antworten, wenn die Untermauerung unzureichend ist. Training oder gezielte Anfragen lenken es dazu, begründete Aussagen zu bevorzugen und unbegründete Behauptungen zu kennzeichnen.
Rechtliche Vertragsanalyse und Vergleich von Klauseln sind hier relevant. Ebenso gelten dies für Zusammenfassungen medizinischer Berichte, klinische Leitlinien, Audits sowie Konformitätsprüfungen, die nachvollziehbar sein müssen, sowie für alle Situationen, in denen unbegründete Ansprüche kostspielig sind. Zu den Komponenten gehören ein hybrider oder branchenspezifischer Suchmechanismus, ein Generator, der zur Selbstkritik trainiert oder angesprochen wird, gegebenenfalls ein externer Überprüfer, der Zitate mit den gefundenen Inhalten abgleicht, sowie Bewertungskriterien für Grundlage, Treue und Vermeidungsverhalten.
Agierendes Mehrschritt- und Unterabfragen-RAG
Manche Fragen lassen sich nicht in einem einzigen Suchvorgang beantworten: Der Vergleich von Kennzahlen über verschiedene Unternehmen und Jahre, das Nachverfolgen von Abhängigkeiten zwischen Dokumenten oder die Zusammenführung von Eingaben aus mehreren Abteilungen.
Ein Agent erhält die komplexe Abfrage und unterteilt sie in mehrere Unterabfragen. Jede dieser Abfragen wird nacheinander oder parallel am Retrieval-System ausgeführt. Anschließend beseitigt der Agent Widersprüche, fügt die Ergebnisse zusammen und erstellt eine endgültige Antwort; falls Zwischenergebnisse Lücken aufweisen, kann der Prozess erneut durchlaufen werden.
Typische Anwendungsfälle sind der Vergleich von 10-K-Berichten mit Gewinnmitteilungen, die Analyse von Richtlinien in verschiedenen Dokumenten, Ermittlungen, die verschiedene Abteilungen eines großen Unternehmens betreffen, sowie Forschungshilfen, die Erkenntnisse aus vielen Quellen zusammenfassen. Das System benötigt einen Planungsagenten, der die Abfragen aufteilt, einen oder mehrere Indizes mit möglicherweise unterschiedlichen Suchbereichen, ein Kurzzeitgedächtnis für Zwischenergebnisse, einen Synthesizer, der die Unterantworten zusammenführt, sowie gegebenenfalls einen Schritt zur Überprüfung der Konsistenz dieser Antworten.
GraphRAG
Die reine Extraktion von Textblöcken überseht Beziehungen, die mehrere Verbindungen umfassen, wie beispielsweise das Verknüpfen verdächtiger Konten bei der Bekämpfung von Geldwäsche, das Nachverfolgen eines klinischen Behandlungsablaufs oder das Verständnis einer komplexen Lieferkette.
Ein LLM oder ein Extraktionsprozess findet in den Dokumenten Entitäten und Beziehungen. Diese werden in einen Wissensgraphen, entweder in Neo4j oder in einer im Speicher gehaltenen Struktur, eingefügt. Anschließend durchlaufen Abfragen den Graphen, um mehrstufige Verbindungen aufzudecken – beispielsweise dass eine bestimmte Entität eine bestimmte Erkrankung in einer spezifischen Klinik behandelt. Die extrahierten Teilgraphen werden mit Textblöcken kombiniert und an das LLM übergeben.
Es findet Anwendung bei der Betrugserkennung und Einhaltung von Vorschriften im Finanzkriminalitätsbereich, bei der Unterstützung klinischer Entscheidungen, bei der Kartierung von Organisationen oder Lieferketten sowie in jedem Bereich, in dem die Verbindungen zwischen Entitäten genauso wichtig sind wie der Text selbst. Die Grundbausteine sind ein Extraktor für Entitäten und Beziehungen, ein Graphen-Speicher wie Neo4j oder NetworkX sowie eine verwaltete Graph-Datenbank, ein Suchmechanismus, der sowohl das Durchlaufen des Graphen als auch eine optionale Vektorsuche in den Beschreibungen der Knoten kombiniert, und ein Generator, der sowohl den Text- als auch den Graphenkontext berücksichtigt.
Kontextuelles oder spätes Chunking
Ein aus seinem Umfeld gerissenes Stück kann an Bedeutung verlieren. Der Satz „Der Umsatz stieg um 15 Prozent“ gibt nicht an, welche Firma, welches Jahr oder welcher Segment damit beschrieben wird.
Die Lösung besteht darin, dass ein LLM vor dem Einbetten jedem Chunk fünfzig bis hundert Tokens des gesamtdokumentenweiten Kontexts voransetzt. Dieser Header kann den Dokumententitel, die Abschnittsbezeichnung, das Geschäftsjahr, den Namen der Einheit sowie weitere wichtige Metadaten enthalten. Jeder so bereicherte Chunk wird eingebettet und indiziert, sodass die abgerufenen Chunks mit ihrem Kontext geliefert werden und dem Generator weniger Rätselraten überlassen bleiben.
Das lohnt sich bei langen PDF-Berichten mit Tabellen, Abbildungen und unklaren Pronomen, mehrjährigen Finanzberichten sowie regulatorischen Unterlagen sowie bei technischen Standards mit wiederkehrenden Abschnittsmustern. Kurz gesagt: in jedem Korpus, in dem Ausdrücke wie „das Unternehmen“, „diese Bedingung“ oder „sie“ ohne klaren lokalen Bezug auftauchen. Dazu gehören ein Chunker – sei es lernbasiert oder regelbasiert – der Überschriften hinzufügt, ein hybrider oder dichter Suchmechanismus, optional ein Cross-Encoder zur Neubewertung der Ergebnisse sowie ein Generator, der die zusätzlichen Kontext-Token nutzen kann.
Muster auswählen
Betrachten Sie die folgenden Punkte als Ausgangspunkt und passen Sie diese anschließend anhand der Bewertungsergebnisse an.
- Einfache interne Suche und Prototypen: bleiben Sie bei einem naiven RAG-Ansatz.
- Produktionsysteme, insbesondere bei genauen Begriffen und Tabellen: wechseln Sie zu einer hybriden Suche mit Cross-Encoder zur Neubewertung der Ergebnisse.
Reife Systeme kombinieren in der Regel mehrere dieser Ansätze. Ein starkes, gängiges Stack-Setup im Jahr 2026 verbindet hybride Suchverfahren mit RRF-Fusion, erneutem Rangieren durch Cross-Encoder sowie kontextbasiertem Chunking und bietet zudem eine Korrekturmöglichkeit für Anfragen mit geringer Zuverlässigkeit.