Vergleich von 16 RAG-Architekturen: Welches Muster passt zu welchem Problem

Chatbots, die erfundene Fakten behaupten, alles zwischen den Nachrichten vergessen oder das richtige Dokument nicht finden können, leiden in der Regel am gleichen grundlegenden Problem: einem zu einfach konzipierten Abrufprozess für diese Aufgabe. Es existieren sechzehn RAG-Architekturen, die von den einfachsten Abrufprozessen bis hin zu datenschutzorientierten federierten Systemen reichen, wobei jede eine bestimmte Schwäche behebt. Im Folgenden wird erläutert, was jede dieser Architekturen ist, wann sie geeignet sind und was sie voneinander unterscheidet.

Die drei Probleme hinter RAG

Große Sprachmodelle sind beeindruckend, doch drei grundlegende Mängel machen sie in praktischen Anwendungen unzuverlässig.

Zuerst die Halluzination: Ein Modell gibt mit Überzeugung falsche Informationen weiter – und das nicht gelegentlich, sondern regelmäßig –, weil es kein Bewusstsein dafür hat, was es nicht weiß. Zweitens der Wissenszeitpunkt: Jedes Modell bleibt am Ende seiner Trainingsphase stehen und weiß nichts über Ereignisse danach. Drittens die Blindheit gegenüber Privatdaten: Interne Dokumente, Produktdatenbanken und Kundenverträge gehörten niemals zu seinem Training.

RAG begegnet all diesen Problemen, indem es dem Modell vor der Antwort eine Übersicht mit echten Dokumenten zur Verfügung stellt. Vergleichen Sie das Verhalten beider Ansätze. Ohne Informationsabruf:

Without RAG:
  User: "What's our refund policy?"
  LLM:  "I believe you offer a 14-day return..." (guessing)

Und dazu:

With RAG:
  User: "What's our refund policy?"
  → Step 1: Search internal docs → Finds: "Refunds within 30 days..."
  → Step 2: LLM reads the doc and answers accurately
  LLM:  "Your refund policy allows returns within 30 days..."

Das Konzept ist einfach und die Ergebnisse überzeugend, obwohl das System mit zunehmenden Anwendungsfällen komplizierter wird. Der vierstufige Ablauf hinter jeder Variante besteht aus Indexieren, Abrufen, Erweitern und Erzeugen.

Sechzehn Muster in vier Ebenen

Durch die Sortierung der Muster nach ihrem praktischen Einfluss entstehen vier Ebenen. Die erste umfasst das, was etwa 80 % der Produktionsysteme benötigen, während die späteren Ebenen spezialisierte Probleme behandeln.

Ebene 1: unbedingt wissen

1. Standard-RAG – die Grundlage

Schwierigkeitsgrad: Anfänger. Am besten geeignet, wenn man gerade anfängt. Jedes RAG-Projekt beginnt hier, und der Ansatz umfasst vier Phasen:

1. Indexieren: Dokumente in Blöcke aufteilen, sie in Embeddings umwandeln und in einer Vektordatenbank speichern.
2. Abrufen: Die Anfrage des Benutzers in ein Embedding umwandeln und nach ähnlichen Blöcken suchen.
3. Erweitern: Die abgerufenen Blöcke in die Prompt-Texte einfügen.
4. Erstellen: Der LLM gibt Antworten auf der Grundlage dieses tatsächlichen Kontexts.

Der zentrale Schleifencode passt in etwa zehn Zeilen:

# The core loop in ~10 lines
query_embedding = embed(user_query)
relevant_docs = vector_store.search(query_embedding, top_k=5)
context = "\n".join(relevant_docs)
prompt = f"Answer using this context:\n{context}\n\nQuestion: {user_query}"
answer = llm.generate(prompt)

Es ist unkompliziert, es bewältigt die meisten tatsächlichen Anwendungsfälle, und alles Weitere baut darauf auf. Nutzen Sie es beim Erstellen eines ersten Frage-Antwort-Bots für Unternehmensdokumente, PDFs, Support-Tickets oder jede Art von statischer Wissensdatenbank.

2. Hybrid RAG – der größte Qualitätszuwachs

Schwierigkeitsgrad: Anfänger. Am besten geeignet, wenn die Qualität der Informationsabrufung wichtig ist. Semantische Suche über Embeddings verpasst genaue Schlüsselwortübereinstimmungen, und Schlüsselwortsuche mit BM25 ignoriert die Bedeutung, daher führt die hybride Informationsabrufung beides durch.

User: "React useState hook"
→ Semantic search finds: "state management in React components"
→ BM25 finds: docs with exact string "useState"
→ Hybrid (RRF fusion): gets the best of both

Die rekursive Rangfusionsmethode (RRF) verschmilzt die beiden gerankten Listen, ohne die entsprechenden Werte normalisieren zu müssen, was sie elegant und effektiv macht. Viele Teams berichten bereits allein durch diesen Wechsel von einer Genauigkeitssteigerung von 10 bis 20 Prozent. Sie eignet sich für jedes Produktionsystem, insbesondere für Code-Dokumentationen, technische Handbücher und rechtliche Dokumente, bei denen sowohl genaue Begriffe als auch ihre Bedeutung von Bedeutung sind.

3. Kontextbasierte Suche RAG – entwickelt für Dialoge

Schwierigkeitsgrad: mittel. Wählen Sie diese Methode, sobald weitere Fragen auftauchen. Ein häufiges Problem sieht so aus: Jemand fragt nach dem Premium-Plan und danach, wie viel er kostet. Eine herkömmliche RAG-Suche nach „es kostet“ ergibt keine nützlichen Ergebnisse. Diese Variante formuliert die Anfrage mithilfe der Konversationsgeschichte neu, bevor eine Suche durchgeführt wird.

User turn 1: "Tell me about the Premium plan"
User turn 2: "How much does it cost?"

Before search, rewrite → "How much does the Premium plan cost?"
Now retrieve → finds the pricing document ✓

Dieser Schritt der Umformulierung, oft als Abfragedeutungskontextualisierung bezeichnet, ist in jedem mehrteiligen Chatbot unerlässlich, da das Gespräch im Moment zusammenbricht, in dem jemand ein Pronomen verwendet. Wenn Nutzer Nachfragen stellen können, ist dies erforderlich.

Stufe 2: Wettbewerbsvorteil

4. Agentic RAG – die heiße Trendrichtung von 2025 und 2026

Schwierigkeitsgrad: mittel. Am besten geeignet, wenn Ihr Bot mehr tun muss als nur suchen. Standard-RAG lädt lediglich Dokumente herunter, während agentic RAG dem Modell ein Set an Werkzeugen zur Verfügung stellt und es diese auswählen lässt.

User: "What was NVDA's stock return last quarter vs its historical average?"

Agentic RAG decides:
  → Use web_search tool for current stock data
  → Use calculator tool for return calculation
  → Use document_retrieval tool for historical reports
  → Synthesize all three into one answer

Der Agent folgt dem ReAct-Muster, das aus Denken und Handeln besteht: Man überlegt, was zu tun ist, führt es aus, beobachtet das Ergebnis und denkt erneut nach. Das entspricht einer planenden und abrufenden Schleife. Es eignet sich für Finanzassistenten, Forschungstools und Entwicklerwerkzeuge, überall dort, wo mehrere Datensätze oder aktuelle Informationen eine Rolle spielen.

5. Self-RAG – für Fälle, in denen Fehler inakzeptabel sind

Schwierigkeitsgrad: fortgeschritten. Am besten geeignet, wenn Genauigkeit von entscheidender Bedeutung ist. Die Qualitätskontrolle ist direkt in den Prozess integriert, und das System gibt nach der Suche nicht blind eine Antwort ab. Es durchläuft vier Kontrollschritte. Die Suche-Kontrolle prüft, ob überhaupt eine Suche für diese Anfrage notwendig ist. Die Relevanz-Kontrolle prüft, ob das heruntergeladene Dokument tatsächlich relevant ist. Die Treue-Kontrolle prüft, ob die Antwort sich an den gefundenen Fakten hält, und die Nützlichkeitskontrolle prüft, ob die Antwort hilfreich ist. Ein Scheitern bei einer dieser Kontrollen bedeutet, dass das System erneut sucht, die Antwort überarbeitet oder ablehnt. Medizinische Systeme, juristische KI-Systeme und Finanzberater sind ideale Anwendungsbereiche – überall, wo eine falsche Antwort echten Schaden anrichten kann.

6. HyDE RAG, die Wortschatzbrücke

Schwierigkeitsgrad: fortgeschritten. Am besten geeignet, wenn die Sprache der Nutzer von der in den Dokumenten verwendeten abweicht. HyDE steht für Hypothetical Document Embeddings. Stellen Sie sich vor, ein Nutzer fragt, warum Dinge herunterfallen, während die Dokumente von der Schwerkraftbeschleunigung von 9,81 m/s² sprechen. Beide haben fast kein gemeinsames Vokabular, wodurch eine Suche mittels Embeddings wahrscheinlich fehlschlägt. Der Trick bei HyDE besteht darin, zunächst eine falsche Antwort zu generieren und anschließend mit dieser zu suchen.

User: "Why do things fall down?"
→ LLM generates hypothesis: "Objects fall due to gravitational force..."
→ Search with the hypothesis (technical vocabulary)
→ Find the actual document about gravitational acceleration
→ Answer using the real document

Es ist keine Schulung erforderlich, und es funktioniert sofort mit jedem LLM. Es eignet sich für kundenorientierte Produkte, in denen Laien technische Dokumentation abrufen.

Kategorie 3: hochspezialisierte Anwender

7. Graph RAG für relationales Denken

Schwierigkeitsgrad: mittel. Am besten geeignet, wenn man wissen muss, wie X mit Y in Beziehung steht. Die Vektorsuche findet ähnliche Dokumente, kann aber keine Fragen beantworten wie zum Beispiel, welche Unternehmen über mindestens zwei Vorstandsmitglieder mit einer bestimmten Person verbunden sind – was eine Durchquerung des Graphen erfordert. Graph RAG erstellt aus den Dokumenten einen Wissensgraphen, wobei Entitäten als Knoten und Beziehungen als Kanten fungieren, und Abfragen durchlaufen diesen Graphen.

Text: "Dr. Chen collaborated with Dr. Patel on a 2022 study funded by NIH."

Graph nodes: Dr. Chen, Dr. Patel, 2022 study, NIH
Graph edges: COLLABORATED_WITH, FUNDED_BYQuery: "Who funded Dr. Chen's work?" → traverse: Chen → study → NIH

Rechtliche Konformität, Wissensmanagement, wissenschaftliche Literatur und organisatorische Netzwerke profitieren am meisten.

8. Memory-Augmented RAG – ein Bot, der sich an Sie erinnert

Schwierigkeitsgrad: mittel. Am besten geeignet, wenn ein Chatbot seine Nutzer über verschiedene Sitzungen hinweg kennen muss. Bei einem Standardbot beginnt jedes Gespräch von vorne. Diese Variante bietet drei Arten von Speicherung: Gesprächsspeicher für das aktuelle Gespräch, semantischen Speicher für Fakten über den Nutzer wie beispielsweise die Präferenz für technische Erklärungen sowie episodischen Speicher für frühere Sitzungen, wie beispielsweise eine Frage zu einem bestimmten Thema vor zwei Wochen.

user_profile = memory.get_user_facts(user_id)
recent_context = memory.get_recent_conversations(user_id, k=3)
answer = rag_with_context(query, user_profile, recent_context)
memory.update(user_id, query, answer)

Unterrichts-Apps, Kundenservice-Bots und persönliche Produktivitätsassistenten profitieren am meisten.

9. Modulares RAG – jedes Teil austauschen ohne Neuimplementierung

Schwierigkeitsgrad: mittel. Am besten geeignet, wenn Sie schnell iterieren müssen. Es handelt sich dabei um eine Architekturphilosophie, bei der jedes Komponenten eines Pipelines unabhängig ausgetauscht werden kann. Der Wechsel von FAISS zu ChromaDB erfordert nur eine Zeile Code, und das A/B-Testing von BM25 gegen dichte Suchverfahren benötigt keine Refaktorisierung.

Standard RAG:   [fixed retriever] → [fixed reranker] → [fixed LLM]

Modular RAG:    [pluggable retriever] → [pluggable reranker] → [pluggable LLM]
                     ↑ swap anytime         ↑ swap anytime        ↑ swap anytime

Zielgruppe sind Teams, die aktiv experimentieren, Setup-Strukturen erforschen, sowie alle Projekte, bei denen mit einer Weiterentwicklung der verwendeten Technologien zu rechnen ist.

10. branchenspezifisches RAG, speziell für eine Branche entwickelt

Schwierigkeitsgrad: fortgeschritten. Wählen Sie diese Variante für Medizin, Recht oder Finanzen. Die Abkürzung MI steht bei Kardiologen für einen Herzinfarkt, wird jedoch von Chatbots ohne Fachwissen als der Bundesstaat Michigan interpretiert. Generisches RAG versagt in spezialisierten Bereichen – und das nicht, weil die Informationsabrufung fehlerhaft ist. Das System versteht einfach keinen Fachjargon, keine regulatorischen Anforderungen oder Sicherheitsbeschränkungen. Drei Ergänzungen machen den Unterschied: ein Fachwortschatz mit den eigenen Begriffen, Abkürzungen und Synonymen des Bereichs; Konformitätsregeln wie das Hinzufügen von Haftungsausschlüssen und das Stellen von Quellenangaben bei jeder Antwort; sowie Sicherheitsmechanismen, beispielsweise das Verweigern von Vorschlägen zu spezifischen Dosen und die Verleitung des Nutzers an einen Fachmann. Typische Anwendungsbereiche sind die klinische Entscheidungsunterstützung, die Rechtsforschung, die Finanzanalyse sowie die Konformitätsüberwachung.

11. Erweitertes RAG – drei Quellen und eine Antwort

Schwierigkeitsgrad: fortgeschritten. Am besten geeignet, wenn sowohl strukturierte als auch unstrukturierte Daten benötigt werden. Eine einzige Abfrage kombiniert SQL oder andere strukturierte Datenbanken für präzise Zahlen, Wissensgraphen für Beziehungen sowie Dokumenteinschübe für den narrativen Kontext.

Query: "Tell me about the Mars Exploration Program"

→ SQL: "Mars: 1.52 AU from sun, 687-day orbit"
→ Graph: Mars → explored_by → Curiosity Rover, Perseverance
→ Text: "Mars is the fourth planet... known as the Red Planet..."→ Fused Answer: Combines all three for comprehensive, expert-level response

Wissenschaftliche Forschungstools, Finanzanalyseplattformen sowie Unternehmenswissensdatenbanken mit gemischten Datentypen profitieren davon.

12. Rekursives oder mehrstufiges RAG für komplexe Fragen

Schwierigkeitsgrad: fortgeschritten. Wählen Sie diese Methode, wenn eine einzige Abfrage die Frage nicht beantworten kann. Einige Fragen erfordern eine Kette von Wissensschritten. Um zu erklären, wie die Erfindung des Transistors zur modernen KI führte, sind mindestens fünf Schritte notwendig: Transistor, integrierte Schaltung, CPU, GPU, tiefes Lernen, LLMs. Rekursives RAG holt Informationen ab, lernt daraus und holt erneut Informationen ab.

Round 1: Retrieve about transistors → learn about miniaturization
Round 2: Retrieve about integrated circuits → learn about computing power
Round 3: Retrieve about GPUs → learn about parallel processing
Round 4: Retrieve about deep learning → learn about compute requirements
Round 5: Synthesize the full chain into a coherent answer

Forschungshilfen, akademische Werkzeuge, strategische Analyse sowie alle mehrstufigen Fragestellungen erfordern dies.

Kategorie 4: spezialisierte Anwendungsfälle

13. ODQA RAG – auf jede Frage eine Antwort

Schwierigkeitsgrad: mittel. Am besten geeignet, wenn die Wissensbasis riesig und offen ist. Die Beantwortung von Fragen aus offenen Domänen erfolgt mit RAG in großem Umfang und umfasst Wissenschaft, Geschichte, Geografie und Kultur. Die Herausforderung liegt nicht in der Qualität der Informationsbeschaffung, sondern darin, den Umfang zu bewältigen und zu erkennen, wann keine Antwort vorhanden ist. ODQA fügt eine Zuverlässigkeitsbewertung hinzu, sodass das System bei fehlenden guten Antworten zugibt, dass es sich nicht sicher ist, und keine Falschinformationen erzeugt. Allgemeine Assistenten, Trivia-Bots, Forschungsplattformen sowie interne Wissensbasen unterschiedlicher Domänen nutzen dieses Verfahren.

14. Multi-Modales RAG – Text, Bilder und Audio zusammen

Schwierigkeitsgrad: fortgeschritten. Am besten geeignet, wenn die Wissensbasis Bilder, Diagramme oder Audio enthält. Die meisten RAG-Systeme verarbeiten nur Text, doch echtes Wissen kommt auch in Form von anatomischen Diagrammen, Produktfotos, Aufnahmen und Diagrammen vor. Ein multimodales System erstellt einen gemeinsamen Embedding-Raum für alle Modalitäten, sodass eine Textanfrage ein Bild finden und eine Bildanfrage ein Dokument finden kann.

User (text): "Show me the anatomy of the heart"
→ Retrieves both: text descriptions AND anatomical diagrams
→ Response includes both text explanation and relevant image

Medizinische Ausbildung, Produktkataloge, E-Learning-Plattformen und Medienarchive eignen sich hervorragend.

15. Streaming RAG – Echtzeitwissen

Schwierigkeitsgrad: mittel. Am besten geeignet, wenn sich die Informationen alle paar Minuten ändern. Eine Frage, die um 9 Uhr morgens gestellt wird und erneut um 11 Uhr morgens, verdient unterschiedliche Antworten, sobald sich die zugrunde liegenden Daten geändert haben. Streaming RAG hält eine ständig aktualisierte Wissensdatenbank bei und indiziert neue Dokumente, sobald sie eintreffen.

Time 9:00 AM: "What's happening with NVDA?"
→ Retrieves this morning's earnings report

Time 11:30 AM (after news breaks): "What's happening with NVDA?"
→ Retrieves the breaking news from 11:15 AM

Finanznachrichten-Assistenten, Live-Support-Bots, Ereignisüberwachungssysteme sowie Betriebs-Dashboards sind darauf angewiesen.

16. Federated RAG, Datenschutz an erster Stelle und mehrere Quellen

Schwierigkeitsgrad: fortgeschritten. Am besten geeignet, wenn Daten ihre Quelle nicht verlassen dürfen. Es löst ein grundlegendes Dilemma in der UnternehmenskI: Mehrere Datenbesitzer möchten ein gemeinsames System, doch keiner darf Rohdaten teilen. Typisch sind Krankenhäuser, die an einem medizinischen Assistenten mitwirken, da Patientenakten nicht zentralisiert werden können. Jede Quelle betreibt ihren eigenen lokalen Datenabrufmechanismus, Anfragen werden gleichzeitig an alle Quellen gesendet, und nur abgerufte Auszüge – niemals Rohdaten – erreichen das zentrale System.

Central Query: "What's the survival rate for treatment X?"

→ Hospital A retriever: returns relevant anonymized snippets
→ Hospital B retriever: returns relevant anonymized snippets
→ Hospital C retriever: returns relevant anonymized snippets
→ Central LLM synthesizes — never saw raw patient recordsResult: HIPAA/GDPR compliant, collaborative AI

Gesundheitsnetzwerke, Finanzkonsortien, Rechtsdatenbanken sowie jede mehrere Organisationen umfassende Struktur mit Anforderungen an die Datengovernance sind das Ziel.

Monat für Monat: Aufbauplan

Nicht alle sechzehn Komponenten sind bereits am ersten Tag erforderlich. Die meisten Produktionsysteme entwickeln sich schrittweise weiter.

Month 1:  Standard RAG           ← Get something working
Month 2:  + Hybrid RAG            ← Biggest retrieval quality win
Month 3:  + Contextual Retrieval  ← Multi-turn conversations work now
Month 4:  + Self-RAG              ← Stop hallucinations
Month 5:  + Agentic capabilities  ← Tools beyond just search

This covers 80-90% of production RAG needs.

Kombination von Mustern

Produktionsysteme mischen fast immer mehrere Muster. Einige Beispiele:

• Ein Unternehmens-Chatbot kombiniert Standard-, Hybrid-, Kontext- und Gedächtnismuster für mehrstufige Gespräche, eine gute Informationsabrufung sowie Personalisierung.
• Ein medizinischer Assistent nutzt domänenspezifische, selbstständige RAG-Systeme sowie erweiterte Muster, da Genauigkeit wichtig ist und strukturierte Daten im Spiel sind.
• Ein Forschungstool setzt auf agierende, hybride sowie rekursive Muster für komplexe Fragen, mehrere Schritte sowie verschiedene Werkzeuge.
• Kundenservice-Systeme kombinieren Standard-, Kontext- und Streaming-Muster für Nachforschungen sowie Echtzeit-Updates.
• Rechtsforschung nutzt domänenspezifische, grafische sowie hybride Muster für die Darstellung von Entitätsbeziehungen sowie genaue Zitierungen.
• Ein Nachrichtenanalyse-Tool verwendet Streaming-, ODQA- sowie multimodale Muster für Echtzeitdaten, breite Themenbereiche sowie Bilder.

Schnelle Auswahlhilfe

Für einen ersten Fragen-und-Antwort-Bot für Dokumente sollte man mit Standard RAG beginnen. Für eine bessere Suche in der Produktion kommt Hybrid zum Einsatz. Ein mehrteiliger Chatbot benötigt Contextual Retrieval, und ein Bot, der Tools oder APIs aufruft, benötigt die agente Variante. Hochpräzise Arbeiten in Medizin oder Recht deuten auf Self-RAG hin, während alltägliche Nutzer, die mit technischer Dokumentation zu tun haben, auf HyDE zurückgreifen. Relationale Fragen erfordern Graph RAG, ein personalisierter Assistent für Memory-Augmented, Experimente mit verschiedenen Technologienkomplexen für Modular sowie regulierte Bereiche für Domain-Specific. Gemischte strukturierte und unstrukturierte Daten eignen sich für Enhanced RAG, mehrstufige Fragen für Recursive RAG und allgemeine Q&A-Fälle für ODQA. Bilder und Audio erfordern Multi-Modal, Echtzeitdaten erfordern Streaming, und mehrere Organisationen unter HIPAA oder GDPR benötigen Federated.

Die Beispiele ausführen

Jede Implementierung soll direkt ausgeführt werden: Klonen Sie ein Repository, installieren Sie die erforderlichen Komponenten, legen Sie einen OpenAI-API-Schlüssel fest und beginnen Sie mit dem ersten Muster.

# Clone the repo
git clone https://github.com/Manjunadh86/RAG-Materials.git
cd RAG-Materials

# Install dependencies
pip install -r requirements.txt# Set your OpenAI API key
export OPENAI_API_KEY="sk-your-key-here"# Run your first RAG system
cd 01-Standard-RAG
python hands_on.py

Jedes Modul enthält eine README-Datei, die das Konzept, die Architektur sowie den Einsatzfall erläutert, sowie ein ausführbares Skript zur Anpassung, das Schritt für Schritt kommentiert ist.

RAG entwickelt sich rasant weiter. Agierende Systeme werden leistungsfähiger, die multimodale Informationsabrufung reift weiter, und federierte Ansätze gewinnen an Bedeutung, da die Anforderungen an die Regulierung von KI strenger werden. Der beste Weg, RAG zu lernen, besteht darin, es selbst zu entwickeln.