Wer 2026 eine KI-Lösung bauen will, steht früh vor einer Grundsatzentscheidung: Soll das System auf Retrieval-Augmented Generation (RAG) setzen, das Modell per Fine-Tuning anpassen oder einen agentischen Ansatz wählen? Die drei werden oft in einen Topf geworfen, lösen aber unterschiedliche Probleme. Wer den Unterschied versteht, spart sich teure Irrwege. Dieser Artikel liefert klare Kriterien, statt eine pauschale Empfehlung auszusprechen.
Das Kernproblem: Was fehlt dem Modell?
Bevor man die Methode wählt, sollte man die Frage stellen: Woran scheitert das Modell bei meiner Aufgabe? Es gibt im Wesentlichen drei Mangelarten. Erstens fehlendes Wissen – das Modell kennt deine internen Dokumente, Preise oder den aktuellen Stand nicht. Zweitens fehlendes Verhalten – das Modell trifft zwar den Inhalt, aber nicht den gewünschten Stil, das Format oder die Fachsprache. Drittens fehlende Handlungsfähigkeit – das Modell soll nicht nur antworten, sondern eine mehrstufige Aufgabe ausführen. Jeder Mangel hat seine eigene Lösung.
RAG: wenn Wissen fehlt
Retrieval-Augmented Generation löst das Wissensproblem. Statt das Modell neu zu trainieren, legt man die relevanten Dokumente in einen Speicher und holt zur Laufzeit die passenden Passagen heraus, um sie dem Modell als Kontext mitzugeben. Das Modell antwortet dann auf Basis genau dieser Belege. Der Charme: Wissen bleibt aktuell, weil man nur die Dokumente austauscht, nicht das Modell. Halluzinationen sinken, weil die Antwort an konkrete Quellen gebunden ist, und man kann die Quelle sogar zitieren.
RAG ist die richtige Wahl für interne Wissensdatenbanken, Support auf Basis von Produktdoku, Recht- und Compliance-Auskünfte und überall dort, wo die Fakten sich häufig ändern. Wer die Grundlagen vertiefen will, findet dazu einen eigenen Beitrag zu Retrieval-Augmented Generation in unserer News-Sektion. Die laufenden Kosten lassen sich mit dem RAG-System-Kosten-Rechner abschätzen, der Embedding- und Abfragekosten zusammenführt.
Fine-Tuning: wenn Verhalten fehlt
Fine-Tuning passt das Modell selbst an, indem man es mit Beispielen nachtrainiert. Es ist nicht der richtige Weg, um neues Faktenwissen einzuspeisen – das gelingt mit RAG zuverlässiger und billiger. Fine-Tuning glänzt, wenn ein bestimmtes Verhalten gefragt ist: ein konstanter Markenton, ein striktes Ausgabeformat, eine Fachsprache oder eine Aufgabe, die sich schlecht in Worte fassen, aber gut an Beispielen zeigen lässt. Der Aufwand ist höher: Man braucht einen sauberen Trainingsdatensatz und muss bei jeder Modellaktualisierung neu trainieren.
Eine pragmatische Faustregel: Erst durch besseres Prompting versuchen, was man will. Reicht das nicht, RAG für Wissen ergänzen. Erst wenn das Verhalten partout nicht stabil wird, lohnt der Schritt zum Fine-Tuning. Ob sich der Aufwand gegenüber gutem Prompting rechnet, lässt sich mit dem Rechner Fine-Tuning gegen Prompting überschlagen.
Agenten: wenn Handlungsfähigkeit fehlt
Der agentische Ansatz ist die richtige Wahl, wenn die Aufgabe nicht in einer einzigen Antwort lösbar ist, sondern mehrere Schritte und Werkzeuge erfordert. Ein Agent kann recherchieren, rechnen, in Systeme schreiben und dabei seinen Plan an Zwischenergebnisse anpassen. Wichtig: Ein Agent schließt RAG nicht aus – im Gegenteil, viele Agenten nutzen RAG als eines ihrer Werkzeuge. Die drei Ansätze sind also keine Entweder-oder-Frage, sondern Bausteine, die man kombiniert.
Der Preis der Handlungsfähigkeit sind viele Modellaufrufe und höhere Komplexität. Ein Agent ist die teuerste und am schwersten zu kontrollierende Variante – man sollte ihn nur einsetzen, wenn die Aufgabe wirklich mehrstufig ist.
Die Entscheidungsmatrix
Als schnelle Orientierung:
- Das Modell weiß etwas nicht? → RAG.
- Das Modell verhält sich nicht wie gewünscht (Stil, Format)? → Erst Prompting, dann Fine-Tuning.
- Das Modell soll mehrere Schritte ausführen und handeln? → Agent (oft mit RAG als Werkzeug).
- Komplexe reale Aufgabe? → meist eine Kombination aus allen dreien.
Der häufigste Fehler ist, mit der teuersten Lösung anzufangen. Viele Probleme, die nach „wir müssen ein Modell trainieren" klingen, lösen sich mit gutem Prompting und ein bisschen RAG.
Ein durchgespieltes Beispiel
Stellen wir uns ein Unternehmen vor, das einen Support-Assistenten für sein Produkt bauen will. Die erste Frage: Woran scheitert ein nacktes Modell? Es kennt die spezifischen Produktdetails nicht – ein klares Wissensproblem. Die richtige Antwort ist also RAG: Man legt die Handbücher und FAQ in einen Speicher und gibt dem Modell die passenden Passagen mit. Schon das löst den Großteil der Fälle.
Stört nun, dass der Assistent zu förmlich oder zu ausschweifend antwortet, ist das ein Verhaltensproblem. Bevor man teures Fine-Tuning erwägt, versucht man es mit präziseren Anweisungen und ein paar Musterantworten im Prompt. Erst wenn der Ton trotz aller Mühe nicht stabil bleibt, lohnt das Fine-Tuning. Soll der Assistent schließlich nicht nur antworten, sondern bei einer Reklamation selbst einen Rückerstattungsvorgang anstoßen, kommt der agentische Ansatz ins Spiel – mit RAG als Wissenswerkzeug und einer menschlichen Freigabe für die Erstattung. So entsteht aus den drei Bausteinen eine stimmige Gesamtlösung, ohne dass man mit der teuersten Variante begonnen hätte.
Reihenfolge der Eskalation
Praktisch bewährt hat sich diese Reihenfolge: zuerst das Prompting ausreizen, dann RAG für fehlendes Wissen ergänzen, dann einen einfachen Agenten bauen, falls mehrere Schritte nötig sind, und Fine-Tuning ganz am Ende nur für hartnäckige Verhaltensprobleme. Wer von unten nach oben eskaliert, gibt nur so viel Geld und Komplexität aus, wie das Problem wirklich verlangt. Weitere Hintergrundartikel und passende Rechner gibt es in der Webtools-Sammlung.
Häufige Fragen
Kann ich mit Fine-Tuning neues Wissen ins Modell bringen?
Nur eingeschränkt und teuer. Für aktuelles oder häufig wechselndes Faktenwissen ist RAG zuverlässiger, günstiger und besser nachvollziehbar. Fine-Tuning ist für Verhalten gedacht, nicht für Wissen.
Schließen sich RAG und Agenten aus?
Nein. Viele Agenten nutzen RAG als eines ihrer Werkzeuge, um zur Laufzeit relevantes Wissen zu holen. Die Ansätze ergänzen sich.
Was ist die günstigste Lösung?
In der Regel gutes Prompting, gefolgt von RAG. Agenten und Fine-Tuning sind aufwendiger und sollten nur eingesetzt werden, wenn die einfacheren Wege das Problem nachweislich nicht lösen.
Wie entscheide ich, ob ich überhaupt einen Agenten brauche?
Frage, ob die Aufgabe in einer einzigen Antwort lösbar ist. Wenn ja, reicht Prompting oder RAG. Erst wenn mehrere voneinander abhängige Schritte und Werkzeuge nötig sind, ist ein Agent gerechtfertigt.