Startseite / Artikel

Vom Prototypen zur produktiven RAG-Lösung: Hybride Suche, Agenten und Bewertungsmethoden.

Eine Referenzarchitektur für RAG in der Produktion mit .NET: Chunking, hybride und grafbasierte Suchverfahren, Neubewertung, Abfragenplanung, typisierte Ausgaben und kontinuierliche Bewertung.

Verlag: REACTAPP.TOP8 Min. Lesezeit1936 Wörter

Quellen: Why Production RAG Needs More Than Vector Search

Viele RAG-Prototypen scheinen nach fünf Schritten fertig zu sein: Dokumente laden, Embeddings berechnen, Vektoren speichern, einige Fragmente abrufen und das Modell anweisen. Um das Konzept zu beweisen, ist das ausreichend. Die Probleme beginnen erst später, wenn das Korpus wächst, Anfragen nicht mehr vorhersehbar sind, eine Antwort mehrere Quellen erfordert oder jemand Zahlen haben möchte, die zeigen, dass sich die Recherche verbessert. Diese Referenzarchitektur, dargestellt anhand einer .NET- und Blazor-Anwendung, umfasst alles, was in der Produktion hinzukommt. Sie beginnt mit der Aufnahme und Aufteilung in Fragmente, geht dann zur Recherche, die Schlüsselwörter, Vektoren und Graphensignale kombiniert, über zur Neubewertung, zu einem Agenten, der Anfragen plant, zu strukturierten Ausgaben sowie zu einer kontinuierlichen Bewertung.

Das erste Diagramm zeigt den Unterschied zwischen einem Prototypen und den in der Produktion benötigten Phasen der Recherche, Rangfolgebestimmung, Verknüpfung mit Kontextinformationen und Bewertung.

Drei Möglichkeiten, einem Modell Ihre Daten zur Verfügung zu stellen

Ein Modell antwortet auf der Grundlage seiner Trainingsdaten sowie auf die Informationen, die Sie zum Zeitpunkt der Anfrage liefern. Interne Berichte, Verträge, Support-Tickets, Richtlinien und Projektunterlagen sind nur dann nützlich, wenn die Anwendung die relevanten Teile finden und in den Kontext des Modells einfügen kann. Das ist einfach, solange die Daten in einen einzigen Prompt passen – es gibt dabei drei gängige Ansätze.

Der einfachste ist das Kontextfenster: Der Text einer Datei wird extrahiert, in den Prompt eingefügt und abgefragt. Dies eignet sich für kleine Mengen an Inhalt und kurzfristige Aufgaben, wird jedoch verschwenderisch, wenn derselbe umfangreiche Inhalt immer wieder übermittelt wird oder die Anwendung in vielen Dokumenten suchen muss.

Die zweite Methode ist die Abrufung aus Projekten oder Sitzungen. Die Anwendung hält einen kleineren Arbeitsbereich für wiederholte semantische Abfragen bereit, was sich bei einem Assistenten, der an ein bestimmtes Projekt, eine Arbeitsumgebung oder eine aktive Sitzung gebunden ist, eignet.

Dritt kommt die retrieval-augmented Generation, abgekürzt RAG. Die Anwendung erstellt im Voraus einen Index, wodurch bei jeder Frage nur die relevanten Abschnitte abgerufen werden, anstatt das gesamte Korpus an das Modell gesendet zu werden. Microsofts Übersicht zu RAG beschreibt es genauso: Eine Abfrageschicht liefert Grunddaten, sobald eine Anfrage eintrifft, und das Modell muss nie neu trainiert werden.

Das nächste Diagramm vergleicht die drei Ansätze hinsichtlich ihres Anwendungsbereichs, ihrer Lebensdauer sowie der Menge an durchsuchbaren Daten, die sie verarbeiten können.

Was Retrieval tatsächlich beinhaltet

Der größte Teil der Ingenieursarbeit steckt hinter dem Begriff „Abfrage“. Die lexikalische Suche ist dann vorteilhaft, wenn der Benutzer den genauen Begriff kennt: Produktcodes, Kundennamen und Versicherungsnummern reagieren gut auf das Abgleichen mit Schlüsselwörtern. Die Vektor Suche adressiert ein anderes Anliegen – sie findet Passagen, die mit anderen Worten dasselbe bedeuten. Das Prinzip ist einfach zu erklären: Ein Embedding-Modell wandelt Text in numerische Vektoren um, die Frage wird durch dasselbe Modell geleitet, und die Suchschicht gibt die nächstgelegenen Ergebnisse zurück.

Die Entscheidung, was in einen Vektor umgewandelt wird, ist schwieriger. Ein einzelnes Embedding für ein ganzes langes Dokument ist in der Regel zu grob, um präzise Abfragen durchzuführen. In Produktionsumgebungen werden Dokumente in kleinere, selbstständige Abschnitte aufgeteilt, es wird etwas Überschneidung eingefügt, damit der Kontext nicht verloren geht, und Quellmetadaten werden beibehalten, damit jeder abgerufene Abschnitt zurückverfolgt werden kann.

Daher handelt es sich bei der Einpflegung um einen Pipeline-Prozess statt um einen einzelnen API-Aufruf. Jedes Datei wird analysiert, normalisiert, in Teile aufgeteilt, eingebettet und indiziert; je nach Konzeption können dabei auch Metadaten, Felder, Entitäten und Beziehungen extrahiert werden.

Das untenstehende Diagramm verfolgt die Quelldateien von der Textextraktion über das Aufteilen in Blöcke, die Erstellung von Embeddings, die Extraktion von Metadaten bis hin zu suchbaren Indizes.

Eine richtige Entscheidung zahlt sich später aus: Es sollten ausreichend Metadaten gespeichert werden, damit jede Antwort ihre Quelle angeben kann. Eine produktive RAG-Lösung sollte es dem Benutzer ermöglichen, jeder Aussage bis zum entsprechenden Dokument und zu den dahinterliegenden Abschnitten zu folgen.

Mischung von Suchstrategien

Die Vektorsuche ist nützlich, wirkt sich aber bei jeder Abfrage nicht gleichermaßen stark aus. Semantische Ähnlichkeit hilft, wenn sich die Formulierung ändert. Die exakte Schlüsselwortabgleich bleibt für Namen, Daten, Codes, Akronymen und Fachbegriffe aus dem Bereich Domänen wichtig. Die Graphenabfrage liefert ein weiteres Signal, wenn die Antwort von Beziehungen zwischen Entitäten statt von Ähnlichkeiten zwischen Textabschnitten abhängt. Die Informationsbeschaffung sollte daher am besten als Kombination verschiedener Strategien und nicht als einzelner Suchaufruf betrachtet werden.

Die Schlüsselwortsuche trägt zur lexikalischen Präzision bei, während die Vektorsuche zur semantischen Erinnerung beiträgt. Die hybride Suche führt gerankte Methoden gemeinsam aus und fügt ihre Ergebnislisten zusammen. Azure AI Search verwendet dabei die Reciprocal Rank Fusion (RRF), um die gerankten Ausgaben paralleler Suchen zu kombinieren. Die Graphenabfrage geht noch einen Schritt weiter: Das System nutzt extrahierte Entitäten und Beziehungen, um Verbindungen innerhalb des Inhalts nachzuvollziehen, was bei Fragen hilft, deren Antwort über mehrere Dokumente verteilt ist.

Anschließend kann ein semantischer Neuranker die Kandidaten erneut nach ihrer Passgenauigkeit zur Anfrage bewerten und die stärksten Ergebnisse an die Spitze bringen. Diese zweite Phase ist wichtig, da das Zusammenführen gerankerter Listen nicht verrät, welches Ergebnis die Anfrage am besten beantwortet.

Das folgende Diagramm zeigt, wie Schlüsselwort-, Vektor- und Graphensuchungen über RRF miteinander kombiniert und vor dem Erreichen des Modells neu gerankt werden.

Anfragenplanung

Ein fester Ablauf setzt voraus, dass eine Suche ausreicht, was vielen tatsächlichen Fragen widerspricht. Stellen Sie sich vor, ein Benutzer fragt, wie sich die alte Richtlinie von der neuen unterscheidet und was das für Auftragnehmer bedeutet. Hierfür sind mehrere Schritte notwendig: Zwei Dokumente finden, die relevanten Abschnitte daraus extrahieren, die Beweise abwägen und anschließend eine Zusammenfassung verfassen.

Bei der agierenden Informationsbeschaffung wird diese Planung in den Informationsbeschaffungsprozess integriert. Ein Agent prüft die Anfrage, teilt sie in gezielte Unterabfragen auf, nutzt den Gesprächsverlauf als Kontext, führt die Suchen parallel durch, rangiert die Ergebnisse neu und fügt die Beweise zu einer fundierten Antwort zusammen. Der architektonische Unterschied besteht darin, dass die Informationsbeschaffung nicht mehr eine einzige, stets identisch ablaufende Suche ist. Die Anwendung entscheidet, wie viele Suchen erforderlich sind und welche Beweise vor dem Erstellen der Antwort gesammelt werden müssen.

Der Planer ist unten dargestellt: Er teilt eine komplexe Frage in parallele Suchaufgaben auf und fügt die gefundenen Informationen zu einer zitierten Antwort zusammen.

Bewertung

Ein RAG-System kann auch dann eine gut formulierte Antwort liefern, wenn die Suche schwach war, weshalb gelegentliche manuelle Überprüfungen nicht das einzige Qualitätsverfahren sein können. Drei separate Fragen helfen dabei:

  • Qualität der Suche: Haben die Suchergebnisse Teile geliefert, die zur Anfrage passen?
  • Begründetheit: Unterstützen diese Teile die erzeugte Antwort?
  • Relevanz: Beantwortet die endgültige Antwort die gestellte Frage?

Sie isolieren unterschiedliche Fehlerquellen. Eine schwache Suche lässt sich nicht durch das Umformulieren der Endantwort beheben, eine gut begründete Antwort kann dennoch das Wesentliche verfehlen, und eine relevante Antwort kann ununtermauerte Behauptungen enthalten. Microsoft Foundry bietet Bewertungstools für diese Qualitätsaspekte von RAG-Systemen.

Das nächste Diagramm zeigt, wie die drei Methoden verschiedene Fehlerpunkte in einer RAG-Antwort bewerten.

In der Produktion laufen die Bewertungen kontinuierlich ab: Es werden Bewertungsscores gesammelt, und es wird ein Alarm ausgelöst, wenn diese unter das erwartete Niveau sinken. Dadurch wird Qualität nicht mehr nur zu einem einmaligen Test, sondern wird zu einem Bestandteil der Anwendungsüberwachung.

Die Komponenten zusammenfügen

Durch die getrennten Verantwortlichkeiten ist das System leichter zu verstehen. Es ergeben sich drei Abläufe:

  • Offline-Ablauf: Erstellt das Korpus, indem es Quellen analysiert, in Blöcke aufteilt und sie einbettet, Metadaten oder Entity-Beziehungen hinzufügt und anschließend alles in die Suchindizes schreibt
  • Online-Ablauf: Bedient eine Anfrage, wobei ein Planer entscheidet, wonach gesucht werden soll, die Suche die relevanten Strategien verwendet, die Ergebnisse zusammengeführt und neu rangiert werden und die ausgewählten Belege an das Modell übergeben werden
  • Feedbackschleife: Sie bewertet die Qualität, Fundiertheit und Relevanz der Abfragen und zeigt auf, wie Veränderungen bei der Eingabe, dem Ranking, den Anfragen oder den Daten die Nutzer beeinflussen
  • Microsofts Leitfaden zur Konzeption und Bewertung von RAG-Lösungen teilt diese Aspekte in separate Konstruktionsprobleme auf, was eine praktische Art und Weise ist, den Entwicklungsprozess zu organisieren.

    Als Nächstes wird das Gesamtbild dargestellt, das Offline-Eingabe, Online-Abfrage und -Generierung sowie kontinuierliche Bewertung umfasst.

    Diese Trennung zeigt auch, warum die Produktivumsetzung über das hinausgeht, was ein Prototyp vermuten lässt. Im System sind Dokumentparsing, Indizes, vektorbasierte und lexikalische Suchfunktionen, Graphenverbindungen, Ranking-Algorithmen, Modellaufrufe, Zitate, Bewertungsmechanismen sowie eine Benutzeroberfläche enthalten. Managed Services oder Plattformen können mehrere dieser Komponenten bereitstellen, doch jede Verantwortung existiert weiterhin, nur unter der Verantwortung eines anderen Anbieters.

    Ein praktisches Beispiel mit Finanzberichten

    Zur Anwendung der Architektur in einer Anwendung eignen sich Finanzberichte hervorragend als Ausgangsmaterial. Sie enthalten lange Dokumente, genaue Zahlen sowie wiederkehrende Begriffe, wodurch ein falscher Wert sofort auffällt.

    Die Anwendung verfügt über vier Schichten. Eine Blazor Server-Frontend nutzt Telerik UI for Blazor für Chats, Diagramme, Tabellen und das Layout. Sie ruft das Nuclia .NET SDK zur Datenabfrage auf, während ein RAG-Dienst für die Eingabeverarbeitung, hybride sowie grafische Suchverfahren, die Neubewertung und die Auswertung zuständig ist.

    Die Schichten sind in diesem Diagramm dargestellt: Blazor Server, Telerik UI, das Nuclia SDK und der RAG-Dienst.

    Die finanziellen PDFs wurden verarbeitet, damit suchbarer Inhalt sowie strukturierte Felder extrahiert werden konnten. Dadurch erhielten die Daten zwei Überprüfungsmechanismen: eine standardmäßige Abfrage für Fragen in natürlicher Sprache sowie eine strukturierte Ausgabe für Werte, die in der Benutzeroberfläche verwendet werden sollten. Eine Testanfrage nach den Nettoumsätzen des Geschäftsjahres lieferte die Zahl zusammen mit der entsprechenden Quelle. Finanzielle Antworten benötigen genauso wie die Sätze eine Quellenangabe, da sie dem Benutzer direkt auf die entsprechende Dokumentation verweisen.

    Die App nutzt den AskAsync-Flow des SDKs, und praktisch ist dabei, dass eine Antwort mehr als nur Text sein kann. Zusammen mit der Anfrage wird ein C#-Typ namens ChartAugmentedAnswer übermittelt. Das SDK wandelt diesen Typ in ein JSON-Schema um, der Abfrager folgt bei der Antwortgebung diesem Schema, und das zurückgegebene JSON wird wieder in ein typisiertes C#-Objekt umgewandelt.

    Dieses Diagramm verfolgt diesen Weg von einer C#-Klasse bis zu einem Schema, anschließend wird Beweismaterial abgerufen und schließlich werden die Daten für den Chart typisiert.

    Dadurch entfällt ein anfälliger Schritt – es muss nichts in Prosa analysiert werden, um herauszufinden, welche Diagrammelemente zu einem Chart gehören. Text und strukturierte Werte kommen in einem einzigen Objekt zurück, und der Chart-Component bindet sich direkt daran.

    Die richtige Ebene wählen

    Eine kleine, kurzlebige Quelle kann allein durch das Kontextfenster verarbeitet werden. Ein größeres Korpus mit direkten Faktensuchen wird als Grundlage klassisches RAG genutzt: gute Aufteilung in Abschnitte, Vektor- sowie Schlüsselwortsuche, Zitierungen und Bewertung. Mehrteilige, konversationelle Fragen oder solche, die von Verknüpfungen zwischen Quellen abhängen, rechtfertigen eine geplante Abfrageverarbeitung sowie agierende Informationsabrufverfahren. Graph-basierte Abfragen sind sinnvoll, wenn Beziehungen zwischen Entitäten Teil der Frage sind, doch sie erhöhen die Komplexität – daher reicht allein die Verfügbarkeit nicht aus, um sie zu verwenden.

    Das gilt auch für verwaltete Plattformen. Sie reduzieren die Infrastruktur zur Informationsabrufung, die ein Team warten muss, während das Selbstkomponieren von Diensten mehr Kontrolle über Indexierung, Orchestrierung, Ranking und Integration bietet. Die richtige Entscheidung hängt davon ab, welche Schicht das Team selbst steuern möchte.

    Etwas darf nicht warten: die Bewertung. Sobald Nutzer auf die Antworten vertrauen, ist es unerlässlich, eine wiederholbare Methode zu haben, um zu überprüfen, ob die Informationsabrufung und -erstellung weiterhin wie erwartet funktionieren.

    Ein Prototyp zeigt, dass die Informationsabrufung funktionieren kann. In der Produktion muss jedoch etwas Schwierigeres nachgewiesen werden: Die richtigen Belege tauchen weiterhin auf, während sich die Daten, Fragen und Nutzer ändern. Das ist erreichbar, sobald die Verantwortlichkeiten aufgeteilt sind. Erstellen Sie einen ordentlichen Eingabepipeline, speichern Sie Zitate und Quellmetadaten, kombinieren Sie Informationsabrufmethoden, wenn ein einzelner Ansatz nicht ausreicht, rangieren Sie die Ergebnisse erneut vor der Erstellung, planen Sie Abfragen, wenn eine Frage mehrere Suchvorgänge erfordert, und überwachen Sie die Qualität, Fundiertheit und Relevanz der Informationsabrufung, damit Veränderungen als messbare Werte und nicht als Vermutungen sichtbar werden. Eine sinnvolle Bauabfolge lautet: Beginnen Sie mit dem kleinsten Informationsabrufmuster, das das aktuelle Problem löst, und fügen Sie nur dann eine weitere Schicht hinzu, wenn die Anwendung zeigt, dass sie benötigt wird. Dadurch sind die Ergebnisse einfacher zu erklären, zu testen und zu verbessern.

    Verwandte Literatur

  • RouteRAG: Wie man einem kleinen Modell beibringt, wann und wie es mit RL suchen soll — Wie RouteRAG ein zweistufiges GRPO-Training nutzt, um zwischen Passagen-, Graphen- und hybriden Suchverfahren zu wechseln, wodurch die Suchzeit verkürzt wird und kleine Modelle bei mehrstufigen QA-Aufgaben unterstützt werden.
  • Praktische Anleitungen: Vektor Suche, semantische Suche und RAG: Wie KI etwas findet — Eine verständliche Schritt-für-Schritt-Anleitung zu den praktischen Anleitungen „Vektor Suche, semantische Suche und RAG: Wie KI etwas findet“, inklusive Vorlagen, Überprüfungen und Code-Blöcken für Teams, die dieses Muster einsetzen möchten.