Prompting, RAG oder Feinabstimmung: Diagnosieren Sie die jeweilige Ebene, bevor Sie wählen.
Eine praktische Methode, um im Jahr 2026 zwischen Prompting, RAG und Feinabstimmung zu wählen, unter Verwendung von drei Fragen, einem Entscheidungsfluss, Kostenstrukturen, Aktualität sowie häufigen Fehlern.
Quellen: Fine-Tuning vs RAG vs Prompting: How to Actually Choose in 2026
In der Anwendung von LLMs ist der teuerste wiederkehrende Fehler, dass man auf Feinabstimmung zurückgreift, obwohl das eigentliche Problem in einem Prompt oder einem Informationsdefizit liegt. In etwa neun von zehn Fällen verschwendet ein Team, das glaubt, Feinabstimmung benötigen zu müssen, drei Wochen sowie das Budget für eine GPU an dem falschen Problem. Dieser Fehler ist fast immer vermeidbar.
Die Verwirrung ist leicht nachvollziehbar. Feinabstimmung, retrieval-augmented Generation (RAG) und Prompt-Engineering verändern alle das, was ein Modell erzeugt, weshalb sie austauschbar erscheinen. Das sind sie jedoch nicht. Jede Methode wirkt auf eine separate Ebene des Systems ein, sodass, sobald klar ist, wo das Problem liegt, die richtige Wahl meist folgt.
Drei Fragen, keine drei Konkurrenten
Es hilft, diese nicht als konkurrierende Techniken zu betrachten, sondern als drei verschiedene Fragen, die an ein Modell gestellt werden:
- Prompting verändert die Art und Weise, wie dem Modell Fragen gestellt werden. Das Verhalten wird zum Zeitpunkt der Inferenz gelenkt, und es ist keine Schulung oder Bereitstellung erforderlich.
- RAG ändert, was das Modell zum jeweiligen Zeitpunkt weiß. Es platziert externe, aktuelle oder proprietäre Informationen im Kontextfenster, sobald eine Anfrage eintrifft.
- Fine-tuning verändert das Standardverhalten des Modells. Muster, Stil oder Fähigkeiten für bestimmte Aufgaben werden in die Gewichte des Modells integriert.
Im Grunde wirken Prompting und RAG auf den Kontext, also die Eingabe, während Fine-tuning auf die Parameter, also das Modell selbst, einwirkt. Wissensprobleme sind fast immer Kontextprobleme. Verhaltensprobleme sind manchmal Parameterprobleme. Wenn unklar ist, ob sich das Problem auf „das Modell kennt X nicht“ oder „das Modell verhält sich nicht wie Y“ bezieht, ist es noch nicht an der Zeit, eine Methode auszuwählen.
Wann eine Anweisung ausreicht
Die aktuellen State-of-the-Art-Modelle sind bereits aus der Box heraus erstaunlich leistungsfähig. Gehen Sie davon aus, dass das Modell die Aufgabe bereits bewältigen kann und Ihre Aufgabe darin besteht, seine Fähigkeiten zu aktivieren. Die meisten Beschwerden im Sinne von „das Modell ist darin schlecht“ bedeuten in Wirklichkeit, dass die Anweisung unklar ist.
Eine Anweisung ist sinnvoll, wenn:
- Das Basismodell bereits über das notwendige Wissen und die Fähigkeiten verfügt und nur Anleitung benötigt.
- Die Anforderungen häufig ändern, da eine Anweisung in Sekundenschnelle bearbeitet werden kann.
- Die Auslieferung noch heute stattfinden muss und nicht im nächsten Sprint.
- Die Aufgabe darin besteht, mit Informationen, die bereits in der Anweisung enthalten sind, zu reasoning, Klassifizierung, Extraktion, Zusammenfassung oder Erstellung vorzugehen.
Die Kosten sind nahezu null, die Iterationen erfolgen sofort, und das Einzige, was gepflegt werden muss, ist der Text. Das ist jedes Mal der richtige Ausgangspunkt.
Wann RAG die Lösung ist
RAG existiert für das Wissen. Wenn eine richtige Antwort von Informationen abhängt, die privat, urheberrechtlich geschützt, jünger als der Trainingszeitpunkt sind oder zu groß sind, um in einen Prompt zu passen, ist ein Abruf erforderlich.
Es ist die richtige Entscheidung, wenn:
- Die Antworten aktuelle Daten widerspiegeln müssen, wie z. B. die heutigen Preise, die Dokumentation dieser Woche oder der aktuelle Bestand.
- Das Wissen urheberrechtlich geschützt ist, wie z. B. eine interne Wiki-Seite, Kundendaten oder ein Produktkatalog.
- Das Korpus sowohl groß als auch ständig im Wandel ist. Das Einfügen einer 4.000-seitigen Wissensdatenbank in jede Anfrage ist unpraktisch, und ein erneutes Feintunen bei jeder Änderung eines Dokuments ist unsinnig.
- Die Nachvollziehbarkeit wichtig ist, d. h. die Möglichkeit, anzugeben, welche Quelle eine Antwort geliefert hat, was beim Aufbau von Vertrauen und bei der Fehlerbehebung enorm hilft.
Frische ist seine herausragende Stärke. Man bearbeitet ein Dokument im Vektorlager, und bereits die nächste Abfrage spiegelt die Änderung wider – ohne Neutraining und ohne erneute Bereitstellung.
Wann sich Feintuning lohnt
Das ist ein Werkzeug, das die Leute zu früh einsetzen. Feintuning eignet sich gut für Form, Stil und spezialisierte Aufgaben. Es ist jedoch ungeeignet, um neue Fakten beizubringen. Das Einfügen von Fakten durch Feintuning ist ein bekannter Fehlermechanismus: Das Modell übernimmt die Struktur der Antworten, lernt deren Inhalt jedoch nicht zuverlässig und erzeugt anschließend selbstbewusst Halluzinationen.
Es ist die richtige Wahl, wenn:
- ein einheitliches Ausgabeformat oder eine einheitliche Sprachweise erforderlich sind und es mühsam ist, dies in jedem Prompt auszuführen.
- die Aufgabe spezialisiert und in großem Umfang anfällt und ein kleineres, feingetuntes Modell die Qualität eines großen Modells zu einem Bruchteil der Kosten pro Aufruf erreichen kann.
Genau diese letzte Bedingung ist am wichtigsten. Feinabstimmung ist selten das erste Mittel. Sie wird eingesetzt, nachdem Prompting und RAG bereits den größten Teil des Weges zurückgelegt haben und eine hartnäckige, klar definierte Lücke verbleibt – meist in Bezug auf das Verhalten, die Latenz oder die Kosten pro Anfrage in großem Maßstab.
Vergleich der drei Methoden
Ein grober Vergleich zeigt, wie sich die Methoden voneinander unterscheiden:
- Prompting: keine Erstellungskosten, höhere Kosten pro Anfrage bei langen Prompts, sofortige Anpassbarkeit, keine eigene Handhabung von Aktualität.
- RAG: mäßige Erstellung- und Wartungskosten, etwas höhere Kosten pro Anfrage aufgrund des hinzugefügten Kontexts, beste Leistung in Bezug auf Aktualität.
Entscheidungsfluss
Gehen Sie die Fragen nacheinander durch und stoppen Sie bei der ersten, die das Problem löst.
- Könnte ein besseres Prompt es beheben? Klare Anweisungen, einige Beispiele sowie ein strukturiertes Ausgabeformat kommen vor allem anderen. Etwa 80 Prozent der Probleme werden hier gelöst. Wenn das Modell die Fähigkeit hat und nur Anleitung benötigt, ist die Arbeit erledigt.
- Braucht die Aufgabe Informationen, die dem Modell fehlen? Wenn die Richtigkeit von privaten, aktuellen oder umfangreichen Wissensbeständen abhängt, fügen Sie RAG hinzu. Fakten sollten abgerufen und nicht neu trainiert werden.
- Gibt es eine spezifische, messbare Lücke im Verhalten, Format oder Preis, die weder durch Anweisungen noch durch RAG überbrückt werden kann? Erst jetzt kommt das Feintunen ins Spiel, und es erfordert eine echte Bewertung, die diese Lücke aufzeigt, sowie gelabelte Daten, um sie zu schließen.
Viele Teams neigen dazu, genau eine dieser Methoden zu wählen. Die leistungsstärksten Produktionsysteme kombinieren sie: ein feintuniges Modell, das dem internen Stil folgt, das über ein RAG-System mit aktuellen Kenntnissen versorgt wird und das durch gut gestaltete Anweisungen koordiniert wird, die alles miteinander verbinden. Jede Schicht erfüllt ihre eigene Aufgabe.
Ein konkreter Fall: ein Support-Assistent
Nehmen wir einen Kundensupport-Assistenten, der mit drei verschiedenen Beschwerden konfrontiert wird.
- Er kann keine Fragen zum Produkt beantworten. Dafür ist RAG notwendig, da er auf Dokumentation angewiesen ist, die er noch nie gesehen hat. Das Feintunen würde lediglich den Ton der Antworten vermitteln, aber keine Fakten.
- Seine Antworten sind richtig, aber zu lang und nicht im Einklang mit dem Markenstil. Zunächst kommt die Anleitung, gefolgt von einer Stilrichtlinie und einem kurzen Beispiel. Falls dies in größerem Maßstab unzuverlässig wird, muss das Modell für die Sprachverarbeitung feingetuned werden.
- Es ist präzise und im Einklang mit dem Markenstil, doch fünf Millionen Anfragen pro Monat machen es zu teuer. Man sollte ein kleineres Modell anhand von Transkripten hochwertiger Ausgaben großer Modelle feingetuned werden, damit ein günstigeres Modell den hohen Aufkommen gewachsen ist.
Ein Produkt, drei Probleme, drei Werkzeuge. Die Fähigkeit besteht darin, die Schicht zu diagnostizieren, in der das Problem liegt, nicht darin, die entsprechenden Techniken zu kennen.
Die Kostenform, die niemand berechnet
Diese Ansätze unterscheiden sich nicht nur in den anfänglichen Aufwänden. Ihre Kostenverläufe sind völlig unterschiedlich, und die richtige Wahl hängt oft davon ab, wo das Geld eingesetzt wird.
Prompting kostet anfangs fast nichts und wird pro Anruf abgerechnet. Ein guter Prompt ist in der Regel lang und enthält detaillierte Anweisungen, Beispiele sowie abgerufenen Kontext; jeder Token wird bei jeder Anfrage berechnet. Bei Millionen von Anrufen wird ein Systemprompt mit 2.000 Tokenn zu einer erheblichen Kostenstelle. Das Caching von Prompts verringert diese Kosten erheblich, da das stabile Präfix gespeichert wird und nur zu einem Bruchteil der Rate abgerechnet wird – doch die Grundstruktur bleibt gleich: Es gibt keine Erstellungskosten, die stattdessen durch eine höhere Gebühr pro Anruf entstehen.
RAG verursacht Kosten in mittlerem Ausmaß – es umfasst einen Vektorlagers, einen Embedding-Prozess sowie Logik zur Informationsabrufung, zudem entstehen laufende Kosten, um den Index aktuell zu halten. Zum Zeitpunkt der Inferenz wird die Anfrage in Vektoren umgewandelt und der abgerufte Kontext wird als Prompt-Token berechnet. Daher sind RAG-Aufrufe in der Regel teurer als ein einfacher Prompt, da Kontext hinzugefügt und nicht entfernt wird. Dies wird in Kauf genommen, da die Alternative – ein Modell, das bezüglich der eigenen Unternehmensdaten fälschlicherweise Entscheidungen trifft – inakzeptabel ist.
Feintuning verändert die Situation grundlegend. Es erfordert eine hohe Anfangsinvestition für die Datenvorbereitung, die Nutzung von GPU-Ressourcen, die Bewertung sowie die technische Umsetzung, doch im Gegenzug können die Kosten pro Anfrage oft sinken. Anweisungen und Beispiele sind in den Gewichten enthalten, wodurch die Eingabefragen kürzer werden, und ein kleines, feingetuntes Modell kann ein großes, mit aufwendigen Anweisungen versehenes Modell ersetzen. Bei hohem Volumen summieren sich die Einsparungen pro Anfrage, bis sie die anfänglichen Kosten übersteigen. Bei niedrigem Volumen reichen sie niemals aus, um die Kosten wieder auszugleichen.
Die geltende Regel lautet: Feintuning ist eine Investition, die sich über das Anfragevolumen amortisiert. Ohne ausreichendes Volumen, um die Kosten für die Entwicklung und Wartung durch Einsparungen pro Anfrage wieder einzubringen, rechnen sich die Ausgaben nicht, und die meisten Projekte weisen kein solches Volumen auf. Eingabefragen und RAG bleiben insgesamt günstiger, bis tatsächlich eine große Skalierung erreicht wird.
Frische entscheidet leise über die Argumente
Ein Faktor beendet Debatten schneller als jeder andere: wie oft sich die richtige Antwort ändert und wie schnell das System dies widerspiegeln muss.
- Die Antwort ändert sich nie, wie bei allgemeinen Schlussfolgerungs- und Sprachaufgaben. Aktualität ist irrelevant, daher ist eine sofortige Antwort ausreichend.
- Die Antwort ändert sich ständig und muss umgehend sichtbar sein, wie bei Preisen, Lagerbeständen, aktuellen Nachrichten oder einem vor fünf Minuten bearbeiteten Dokument. Hier gewinnt RAG eindeutig. Wenn die Quelle aktualisiert wird, spiegelt die nächste Abfrage dies sofort wider. Feintunen ist hier eine Falle, da das Modell sofort veraltet, sobald sich die Daten ändern, und ein Neutraining kann nicht Schritt halten.
- Es geht um stabiles Verhalten und nicht um sich ändernde Fakten, wie zum Beispiel den Schreibstil eines Autors oder ein festes Ausgabeformat. Feintunen ist geeignet, da das ursprünglich eingebaute Wissen nicht veraltet.
Eine häufige Geschichte: Ein Team passt sein Modell anhand eines Zeitpunktsbildes seiner Wissensdatenbank an, stellt es bereit – und entdeckt drei Monate später, dass das Modell fröhlich Fragen zu einer Produktversion beantwortet, die nicht mehr existiert. Das ist kein Mangel beim Feintunen. Es handelt sich vielmehr um die falsche Methode für ein problem, das empfindlich auf Aktualität reagiert – und RAG war schon immer die richtige Lösung.
Wo Ingenieure Fehler machen
Mehrere Muster tauchen ständig auf:
- Feintunen zur Einführung neuer Kenntnisse. Dies ist unzuverlässig und veraltet sobald sich die Daten ändern. Verwenden Sie RAG.
- Zuerst zum Feintunen greifen, weil es ernster erscheint als das Prompting. Prompting ist kein Anfängertrick und liefert den größten Nutzen pro verbrachter Stunde.
Kurzfassung
Im Jahr 2026 gilt als Standard: Zuerst den Prompt erstellen, bei Bedarf Informationen abrufen und nur dann feinabstimmen, um einen gemessenen Leistungsunterschied auszugleichen. Entscheidend sollten Kosteneffizienz, Aufwand und Aktualität sein – nicht welche Technik in Präsentationen am beeindruckendsten klingt.
Teams, die schnell und kostengünstig arbeiten, analysieren zunächst die zugrundeliegenden Schichten, bevor sie die Tools nutzen. Wenn das richtig gemacht wird, verschwinden die meisten schwierigen Entscheidungen.
Weitere Literatur
- Von der Demo zur Produktionsumgebung RAG: Chunking, pgvector, Reranking und FastAPI — Was ein Produktions-RAG-Backend tatsächlich enthält: ETL-Verarbeitung und Chunking, Embeddings in pgvector, HNSW-Indizes, cross-encoder-basiertes Reranking sowie ein FastAPI-Orchestrator.
- Feinabstimmung eines Vision-Modells auf Apple Silicon mit MLX und Ollama — Reduzierung von Halluzinationen bei der Auswertung von Diagrammen durch Feinabstimmung von Qwen2-VL mithilfe von MLX LoRA auf einem Mac, anschließende Konvertierung in GGUF-Format und Bereitstellung über Ollama in einer bestehenden RAG-Anwendung.