rag fine-tuning ai-agents llm architecture

RAG, Feintuning oder Agenten: Die richtige Schicht sowie die richtige Reihenfolge bei der Implementierung auswählen

RAG gegen Feintuning gegen KI-Agenten: Was jede Methode leistet, Kosten, Latenzzeiten und Fehlermöglichkeiten, Faustregeln sowie ein HR-Assistent, der die Reihenfolge zur Implementierung zeigt.

Verlag: REACTAPP.TOPAuf dieser Website hinzugefügt 28. Okt. 202612 Min. Lesezeit2836 Wörter

Quellen: RAG vs Fine-Tuning vs AI Agents: When to Use What in Real-World AI Systems

In fast jedem LLM-Projekt tauchen früher oder später zwei Fragen auf. Die eine ist, ob Dokumente abgerufen werden sollen oder ob das Modell feinjustiert werden muss. Die andere ist, ob das Produkt einen Agenten benötigt oder nur einen intelligenteren Prompt. Überraschenderweise werden beide Fragen häufig falsch beantwortet – und das nicht nur von Anfängern. Erfahrene Ingenieure haben wochenlang daran gearbeitet, ein Modell so anzupassen, dass es Fakten auswendig lernt, die bei einer Abfrage in einem Nachmittag zur Verfügung gestanden hätten. Andere Teams haben um ein Framework für Agenten herum etwas gebaut, das eigentlich nur ein Endpunkt zur Beantwortung von Fragen war, einfach weil Agenten in jedem Standup des Quartals das Thema waren.

Die weniger aufregende Realität ist, dass Retrieval, Feinabstimmung und Agenten keine Konkurrenten für dieselbe Aufgabe sind. Jeder beantwortet ein eigenes Problem, und Systeme, die vor echten Nutzern laufen, kombinieren in der Regel zwei davon oder alle drei, wobei jedes Element das tut, wofür es am besten geeignet ist. Im Folgenden wird erläutert, wie jedes Element im Hintergrund funktioniert, was es kostet, wie Teams es missbrauchen, wie die Elemente zusammenpassen, sowie ein kleines Projekt, das die Reihenfolge ihrer Implementierung zeigt.

Was jedes Element tatsächlich tut

Retrieval-augmented Generation

Retrieval lässt das Modell unverändert. Es ändert lediglich das, was das Modell vor der Beantwortung lesen kann.

Wenn eine Frage eintrifft, wandelt das System sie in ein Embedding um – eine numerische Darstellung ihrer Bedeutung – und sucht in einer Vektordatenbank wie Pinecone, Qdrant, FAISS oder Azure AI Search nach den gespeicherten Abschnitten, die inhaltlich am nächsten liegen. Diese Abschnitte werden als Kontext im Prompt platziert, und das Modell antwortet auf dieser Grundlage statt auf dem, was es während des Vortrainings aufgenommen hat.

Der Wert liegt in den Fehlern, die es verhindert. Modelle erfinden am leichtesten Details, wenn sie gezwungen sind, aus dem internen Speicher zu antworten – insbesondere zu aktuellen Themen, obskuren Inhalten oder solchen, die einer bestimmten Firma vorbehalten sind. Wenn dem Modell bei jedem Aufruf Referenztexte zur Verfügung gestellt werden, kann es auf aktuellen Materialien berücksichtigen und muss nicht raten.

Der Pipeline hat eine feste Struktur: Dokumente werden eingeholt, in Blöcke aufgeteilt, diese Blöcke eingebettet, die Vektoren gespeichert, eine Ähnlichkeitssuche durchgeführt (oft in Kombination mit einer Schlüsselwortsuche), gegebenenfalls die Ergebnisse neu rangiert und schließlich der Prompt zusammengestellt sowie das Ergebnis erzeugt.

Fine-Tuning

Fine-Tuning unterscheidet sich in seiner Art, nicht nur in seinem Grad. Ein vortrainiertes Modell wird mit einer sorgfältig ausgewählten Sammlung eigener Beispiele weiter trainiert – in der Regel Paare aus Eingabe und gewünschtem Ausgabe, die das genau gewünschte Verhalten demonstrieren. Dabei ändern sich die Gewichte, oder bei LoRA und QLoRA ändert sich eine kleine Anzahl an Adaptergewichten auf einer eingefrorenen Basis.

Es eignet sich gut zum Unterrichten von Verhaltensweisen: einer Stimmlage, einem festen Ausgabeformat, einer bestimmten Vorgehensweise bei der Lösung einer Problemart oder der Handhabung von Randfällen in einem Bereich, in dem es Tausende von beschrifteten Beispielen gibt. Ziel ist es, das Standardverhalten umzustrukturieren, sodass dieselben Anweisungen in jedem Prompt nicht wiederholt werden müssen, anstatt Fakten hinzuzufügen.

Es funktioniert schlecht bei allem, was sich ständig ändert. Ein Produktkatalog, der wöchentlich aktualisiert wird, kann nicht sinnvoll in den Gewichten gespeichert werden, denn das Wissen gefriert, sobald das Training beendet ist, und jede Aktualisierung erfordert einen neuen Trainingslauf.

Agenten

Ein Agent setzt das Modell in einen Schleifenprozess ein: Beobachten, überlegen, handeln, das Ergebnis beobachten, erneut überlegen und so weiter, bis ein Ziel erreicht ist oder eine Stoppschranke ausgelöst wird. Das Modell liefert nicht mehr nur eine einzige Antwort. Es entscheidet, was als Nächstes getan werden soll, oft indem es Werkzeuge wie APIs, Funktionen, Datenbanken und andere Dienste aufruft, und verwendet deren Ausgabe für seine weitere Entscheidung.

Genau dieser Schleifenprozess verwandelt ein System, das Fragen beantwortet, in eines, das Aufgaben erledigt. LangGraph, CrewAI sowie eine manuell geschriebene ReAct-Schleife implementieren alle eine Variante davon: Das Modell formuliert einen Gedanken, wählt ein Werkzeug aus, das Werkzeug wird ausgeführt, das Ergebnis wird in den Kontext eingefügt, und der Kreislauf wiederholt sich, bis der Agent entscheidet, dass er fertig ist, oder eine Schrittanzahl erreicht ist. Eine Schrittanzahl sollte stets festgelegt werden.

Eine kompakte Art, die drei Ansätze voneinander zu unterscheiden:

Retrieval stellt die richtigen Informationen bereit.
Durch Feinabstimmung wird das richtige Verhalten erzielt.
Agenten gewährleisten das richtige Maß an Autonomie.

Nebeneinander

Die Unterschiede zeigen sich in mehreren Dimensionen:

Wissensaktualisierungen. Das Abrufen erfolgt in Echtzeit, da ein Aktualisieren des Vektorstores ausreicht. Das feinabgestimmte Wissen bleibt bis zum nächsten Trainingslauf unverändert. Bei Agenten hängt es davon ab, was sie abrufen oder aufrufen.
Kosten. Das Abrufen ist moderat: Embeddings, Speicherung und zusätzliche Eingabetoken. Die Feinabstimmung ist aufgrund von Datenbereinigung, Rechenleistung, GPU-Zeit und Bewertung kostspielig. Bei Agenten liegen die Kosten zwischen moderat und hoch, da jede Aufgabe mehrere Modellaufrufe sowie Tool-Kosten beinhaltet.
Komplexität. Für die Informationsabrufung sind Chunking, Embedding sowie die Anpassung der Suche erforderlich. Für die Feinabstimmung sind Datenvorbereitung, Trainingsinfrastruktur, Bewertungsschleifen sowie Schutzmaßnahmen gegen Überanpassung notwendig. Agenten benötigen Planung, Integration von Tools, Fehlerbehandlung sowie Steuerung von Schleifen.
Zeit bis zur Einrichtung. Tage für die Informationsabrufung, Wochen für die Feinabstimmung sowie je nach Arbeitsablauf Tage bis Wochen für Agenten.
Am besten geeignet für. Fragebeantwortung, Dokumentensuche sowie die Grundlage für die Informationsabrufung. Ton, Formatierung und domänenspezifisches Denken für die Feinabstimmung. Mehrschrittige Aufgaben, Automatisierung und Nutzung von Tools für Agenten.
Verzögerung. Die Informationsabrufung erfordert einen zusätzlichen Schritt, typischerweise 50 bis 300 Millisekunden. Bei der Feinabstimmung ändert sich im Vergleich zum Basismodell bei der Inferenz nichts. Agenten benötigen oft mehrere Schritte und können pro Aufgabe Sekunden in Anspruch nehmen.
Wartung. Das Abrufen bedeutet, die Wissensdatenbank auf dem neuesten Stand zu halten. Die Feinabstimmung bedeutet, periodisch neu zu trainieren, da sich die Anforderungen ändern. Agenten beinhalten das Aktualisieren von Arbeitsabläufen, Tools und Anweisungen.
Typischer Fehler. Ein schlechtes Abrufen führt zu irrelevanten Kontexten und einer schlechten Antwort. Überanpassung macht ein angepasstes Modell angesichts unbekannter Eingaben anfällig. Agenten laufen in Schleifen, rufen das falsche Tool auf oder verursachen unbegrenzte Kosten.

Drei Situationen, jeweils eine Lösung

Ein Support-Chatbot, der auf Produktdokumenten basiert, eignet sich hervorragend für die Informationsabrufung. Ein Softwareunternehmen mit 400 Seiten an Dokumentation, Änderungsprotokollen und Richtlinien könnte ein Modell an diesen Texten anpassen, doch dieses angepasste Modell wäre bereits bei der nächsten Veröffentlichung veraltet. Durch das Einbetten jedes Textabschnitts in einen Vektor-Speicher wird das vermieden. Wenn ein Kunde fragt, ob die API Batch-Anfragen unterstützt, zieht das System die drei relevantesten Abschnitte heran, das Modell antwortet daraufhin und gibt die entsprechende Seite an. Ändern sich die Dokumente nach dem nächsten Entwicklungszyklus, aktualisiert das erneute Einbetten die Antworten ohne erneutes Trainieren des Modells.

Ein Hausstil-Schreibassistent eignet sich hervorragend für Feinabstimmungen. Ein Medienunternehmen wünscht Zusammenfassungen in einem bestimmten Stil: ein bestimmter Satzrhythmus, keine Erstperson und eine festgelegte Anzahl von Schlusspunkten am Anfang. Das Anfordern von Antworten kommt der gewünschten Qualität nahe, verschlechtert sich jedoch bei langen Sitzungen. Das Training mit etwa 2.000 von Menschen bearbeiteten Zusammenfassungspaaren sorgt dafür, dass das Modell zuverlässig texte im gewünschten Stil erzeugt – ohne dass der Stilguide bei jeder Anfrage eingefügt werden muss.

Die Kandidatenprüfung ist auf einen Agenten zugeschnitten. Ein Rekrutierungs-Startup möchte, dass dieser Kandidat geprüft wird und ein Anruf vereinbart wird, falls er qualifiziert ist, und anschließend alles Weitere abläuft. Der Agent liest das Lebenslauf, prüft es anhand der Anforderungen der Stelle mithilfe einer internen Bewertungs-API, schaut sich den Kalender des Personalmanagers an, schreibt und sendet die Terminvereinbarungse-Mail sowie dokumentiert das Ergebnis im Anwärterverfolgungssystem. Eine einzige Anweisung umfasst all das, und niemand greift die einzelnen Schritte direkt an.

In der Praxis zeigt sich diese Aufteilung immer wieder. Designs, die stark auf Datenerfassung ausgerichtet sind, kümmern sich um die Grundlagen, die Agenten um die Koordination, und Feinabstimmungen werden nur dann angewandt, wenn Anweisungen das Verhalten nicht stabil halten können.

Wie sie zusammenpassen

Die drei sind keine ausschließlichen Schichten. Die leistungsfähigsten Systeme verknüpfen sie miteinander, wobei eine Anfrage vom planenden Agenten ausgeht, über die Abrufung von Fakten weitergeleitet wird, bis schließlich ein angepasstes Modell die Ausgabe formuliert.

User Query
    ↓
   Agent (decides what needs to happen — plan the steps)
    ↓
   RAG (retrieves relevant knowledge, if the step needs facts)
    ↓
   LLM (fine-tuned, if tone/format/behavior consistency matters)
    ↓
   Action (respond to user, call a tool, trigger a downstream workflow)
    ↓
   Agent (evaluates result → loop again or stop)

In einem Support-Umfeld verläuft der Prozess wie folgt: Eine Nachricht trifft ein, und der Agent klassifiziert die Absicht und kommt zu dem Schluss, dass Produktinformationen benötigt werden. Die Dokumentensuche holt die relevanten Dokumententeile ab. Ein fein abgestimmtes Modell formuliert die Antwort im Stil der Marke. Anschließend beurteilt der Agent, ob das Vertrauen in die Antwort hoch genug ist, um sie automatisch zu senden, oder ob ein Mensch eingreifen sollte, und protokolliert schließlich den Austausch im CRM.

Entfernt man einen der Bestandteile, entsteht eine Lücke. Die Dokumentensuche ohne Agent kann nicht entscheiden, wann etwas nachgeschlagen und wann gehandelt werden soll. Ein Agent ohne Dokumentensuche ist bezüglich allem außerhalb seiner Trainingsdaten ahnungslos. Ein fein abgestimmtes Modell ohne Dokumentensuche liefert zuverlässige, gut formatierte Antworten, die jedoch veraltet sein können.

Was was kostet

Die unten angegebenen Zahlen geben nur eine Orientierung, da die tatsächlichen Werte je nach Umfang und Anbieter variieren.

Zur Abrufung besteht die anfängliche Kostenbelastung darin, das Korpus einzubetten – entweder einmalig oder schrittweise, je nachdem, wie das Dokumentenvolumen wächst. Die laufenden Kosten umfassen die Hosting-Kosten für die Vektordatenbank nach einem bestimmten Preismodell sowie zusätzliche Token für den abgerufenen Kontext bei jeder Anfrage. Es handelt sich dabei um das günstigste Mittel für den erbrachten Wert, weshalb die meisten Teams dort anfangen sollten.

Beim Feintunen ist oft das Datenmaterial die größte anfängliche Kostenquelle: Das Sammeln und Beschriften geeigneter Trainingsbeispiele ist teuer. Danach kommen die Rechenkosten für die Trainings- und Evaluierungszyklen. Später ist ein Neutraining erforderlich, sobald sich das Verhalten ändern muss, sowie Hosting-Kosten für ein maßgeschneidertes Modell – es sei denn, es wird LoRA auf einer gemeinsamen Basis verwendet. Dies erfordert die größte anfängliche Investition und toleriert Fehler am wenigsten, da schlechte Trainingsdaten direkt schlechtes Verhalten in die Gewichte schreiben.

Für Agenten beinhaltet die Einrichtung die Gestaltung von Workflows, die Integration von Tools sowie das Testen von Fehlern. Die laufenden Kosten sind besonders heimtückisch, da jeder Schritt des Agenten eine weitere Modellaufruf bedeutet. Eine fünfstufige Aufgabe kann fünf bis zehn Mal so teuer sein wie eine einzelne Abfrage, und eine Schleife ohne Obergrenze für die Anzahl der Iterationen kann völlig außer Kontrolle geraten. Die Kosten spiegeln die Komplexität der Aufgabe wider und nicht nur das Volumen der Nutzung.

Praktisch gesehen ist die Abfrage in der Regel der günstigste Weg, um die Halluzinationen am stärksten zu reduzieren. Eine Feinabstimmung lohnt sich nur dann, wenn ein konsistentes Verhalten eine echte Produktanforderung ist und nicht nur ein zusätzlicher Vorteil. Agenten rechtfertigen den Preis pro Aufgabe nur dann, wenn die Aufgabe mehrere Entscheidungen und Aktionen erfordert – und nicht, wenn ein gut begründeter Modellaufruf ausreichen würde.

Grundregeln zur Auswahl

Wählen Sie das Abrufen, wenn sich die Daten häufig ändern. Dokumente, Richtlinien, Kataloge, Preise und Bestände, die wöchentlich oder täglich aktualisiert werden, eignen sich gut dafür, während eine Feinabstimmung weniger geeignet ist.
Wählen Sie die Feinabstimmung, wenn das Verhalten wichtiger ist als das Wissen. Wenn das Modell das Fachgebiet kennt, aber trotz guter Anweisungen weiterhin den falschen Ton, die falsche Formatierung oder das falsche Denkmuster verwendet, liegt das Problem im Verhalten.
Wählen Sie einen Agenten, wenn die Aufgabe mehrere Schritte oder Aktionen in der realen Welt erfordert. Das Beantworten einer Frage erfordert das nicht. Die Planung dessen, was geschehen muss, und die Umsetzung dieser Schritte über verschiedene Systeme hinaus schon.
Kombinieren Sie Abrufen und Feinabstimmung, wenn sowohl fundierte Fakten als auch eine konstante Ausdrucksweise erforderlich sind – was in kundenorientierten Produkten sehr häufig der Fall ist.
Kombinieren Sie Abrufen und einen Agenten, wenn die Aufgabe Fakten sowie Entscheidungen erfordert, wobei der Agent entscheidet, was gesucht werden soll und wann darauf reagiert werden muss.

Vermeiden Sie den Agenten, wenn er nur modisch ist. Wenn eine gut formulierte Anfrage sowie ein einziger Abruf ausreichen, fügt ein Agent lediglich Verzögerungen, Kosten und Fehlermöglichkeiten hinzu, ohne einen Vorteil zu bringen.

Die gleiche Logik lässt sich in zwei kurzen Flussdiagrammen darstellen. Das erste prüft, ob die Antwort von häufig wechselnden Informationen abhängt.

Does the answer depend on information that changes often?
   YES → RAG
   NO  ↓

Die zweite Frage bezieht sich auf die Konsistenz des Verhaltens sowie darauf, ob die Aufgabe mehrere Schritte oder tatsächliche Handlungen umfasst.

Does the model need to consistently behave/sound a certain way,
and prompting alone isn't holding that consistency?
   YES → Fine-tuning
   NO  ↓Does the task require multiple steps, tool calls, or real actions
(not just answering a question)?
   YES → Agent (likely combined with RAG, and fine-tuning if voice matters)
   NO  → A single well-prompted LLM call is probably enough

Ein kleines Projekt zur Demonstration der Funktionsweise

Nehmen wir einen internen HR-Assistenten.

Beginnen Sie mit dem Abrufen von Informationen. Embedden Sie das Mitarbeiterhandbuch, die Kündigungsrichtlinien sowie die Dokumente zu Leistungen in einen Vektor-Speicher. Die Mitarbeiter können anschließend fragen, wie viele Krankheitstage sie erhalten, und erhalten eine fundierte, belegte Antwort. Dadurch werden etwa 70 Prozent der Anwendungsfälle abgedeckt, und die Umsetzung dauert einige Tage.
Fügen Sie nur dann Feinabstimmungen hinzu, wenn Lücken auftreten. Angenommen, das HR-Team möchte, dass jede Antwort einen bestimmten, einfühlsamen Ton sowie ein strenges Format hat – mit Angaben wie „Hier sind die Richtlinien“ und „Hier ist, was das für Sie bedeutet“ –, doch die Anfragen weichen ständig davon ab. Ein kleines Modell, das mit einigen hundert sorgfältig ausgewählten Frage-Antwort-Paaren in diesem Stil trainiert wurde, schließt diese Lücken.

Fügen Sie einen Agenten für mehrstufige Fälle hinzu. Ein Antrag auf freien Tag nächsten Freitag ist keine Abfrage. Es bedeutet vielmehr die Überprüfung des Urlaubsrests, die Prüfung des Teamkalenders auf Konflikte, die Einreichung des Antrags sowie die Bestätigung an den Mitarbeiter – alles als separate Tool-Aufrufe. Der Agent nutzt die Abfrageschicht für Fragen zu Richtlinien und das angepasste Modell für den Ton der endgültigen Nachricht.

Die Reihenfolge ist bewusst gewählt. Zuerst erfolgt die Abfrage, weil sie am günstigsten ist und den größten Teil der Arbeit abdeckt. Die Feinabstimmung erfolgt erst, wenn sich ein echter verhaltensbedingter Unterschied zeigt. Die Agenten kommen zuletzt zum Einsatz, und zwar nur dann, wenn die Aufgabe tatsächlich mehrstufige Handlungen erfordert.

Häufige Fehler

Feinabstimmung dort, wo eine Informationsabrufung notwendig ist. Teams versuchen, Wissen in die Gewichte des Modells einzubauen, wenn das eigentliche Problem darin besteht, keinen Zugriff auf aktuelle Informationen zu haben. Das Ergebnis ist langsamer, weitaus teurer und bereits bei der Veröffentlichung veraltet.
Agenten ohne definierten Arbeitsablauf. Ein vager Zielvorgabe zusammen mit unbegrenzten Werkzeugen lässt einen Agenten ziellos umherirren, in Schleifen geraten und unvorhersehbar handeln. Eingeschränkte Werkzeuge, klare Stoppsbedingungen sowie eine feste Obergrenze für die Anzahl der Überlegungsschritte halten ihn auf Kurs, während das Auftragen, Probleme selbst zu lösen, kein Ersatz für einen definierten Prozess ist.
Ignorieren von Latenz und Kosten. Jeder Informationsabruf sowie jeder Schritt des Agenten erfordert weitere Reisezeiten und mehr zu bezahlende Token. Eine Demo kann hervorragend aussehen, in der Produktion jedoch für eine Antwort 12 Sekunden sowie sechs Modellaufrufe benötigen.

Die Optionen als Leiter betrachten. Keine der drei Methoden ist fortgeschrittener als die anderen. Das beste System ist das einfachste, das die Aufgabe erledigt – meist allein die Informationsabrufung oder die Informationsabrufung in Kombination mit einem leicht angepassten Modell, lange bevor ein Agent-Stack notwendig wird.

Die Bewertung überspringen. Alle drei Methoden verschlechtern sich stillschweigend: schwache Ergebnisse bei der Informationsabrufung, überangepasste Einstellungen oder Agenten, die falsche Aktionen ausführen, ohne dass es jemand bemerkt. Bewertungssätze sollten bereits vorhanden sein, bevor eine dieser Methoden skaliert wird.

Entwicklungsrichtung

Die Branche bewegt sich eindeutig in Richtung agiler Arbeitsabläufe, also Systeme, die planen, handeln und nachfolgen können, ohne jedes Mal angesprochen zu werden. Der nächste Schritt ist der hybride Ansatz: Informationsabrufung zur Grundlage für Antworten, Anpassungen zur Stabilisierung des Verhaltens sowie langfristiges Gedächtnis, damit ein Agent frühere Austausche abrufen kann, anstatt bei jeder Sitzung von vorne anzufangen.

Es gibt einen deutlichen Wandel von Chatbots zu dem, was einige heute als KI-Mitarbeiter bezeichnen – Systemen, die kontinuierlich Aufgaben in verschiedenen Tools und über Zeit erledigen, anstatt auf eine Frage zu warten. Dorthin zu gelangen hat wenig mit der Wahl der auffälligsten Technik zu tun. Es hängt davon ab, zu verstehen, was jeder Bestandteil besonders gut kann, und diese bewusst miteinander zu kombinieren, beginnend mit der einfachsten Schicht, die das Problem löst.

Die Wahl lag niemals bei der Auswahl zwischen Abrufverfahren, Feinabstimmung oder Agenten. Die eigentliche Frage ist, welche Kombination ein bestimmtes System benötigt und in welcher Reihenfolge es aufgebaut werden soll.