Sprachmodelle wissen erstaunlich viel – aber sie kennen weder deine internen Dokumente noch die aktuellsten Informationen, die nach ihrem Training erschienen sind. Genau hier setzt Retrieval-Augmented Generation, kurz RAG, an. Die Technik verbindet ein Sprachmodell mit einer durchsuchbaren Wissensbasis und ermöglicht damit faktenbasierte Antworten zu deinen eigenen Daten. RAG ist heute die meistgenutzte Methode, um KI für Unternehmen, Dokumentationen und Wissensdatenbanken nutzbar zu machen. Dieser Artikel erklärt, wie das funktioniert.
Das Problem, das RAG löst
Ein Sprachmodell wird auf einem festen Datenbestand trainiert. Sein Wissen hat zwei prinzipielle Grenzen: Es endet zu einem bestimmten Zeitpunkt (dem Wissensstichtag), und es enthält keine privaten oder unternehmensinternen Informationen, die nie öffentlich waren. Fragst du ein reines Modell nach den Urlaubsregelungen deiner Firma oder dem Inhalt eines internen Handbuchs, kann es nur raten – oft mit plausibel klingenden, aber falschen Antworten.
Man könnte versuchen, das Modell mit den eigenen Daten neu zu trainieren (Fine-Tuning). Das ist jedoch aufwendig, teuer und muss bei jeder Aktualisierung wiederholt werden. RAG geht einen eleganteren Weg: Statt das Wissen ins Modell einzubrennen, wird die passende Information zur Laufzeit herausgesucht und dem Modell als Kontext mitgegeben.
Die Grundidee in einem Satz
RAG bedeutet: Bevor das Modell antwortet, durchsucht das System deine Dokumentensammlung nach den relevantesten Textstellen zur Frage und reicht diese zusammen mit der Frage an das Modell weiter. Das Modell formuliert die Antwort dann auf Basis dieser konkret bereitgestellten Belege – nicht aus seinem allgemeinen Trainingswissen.
Das hat zwei große Vorteile: Die Antworten sind aktuell und faktenbasiert, und das Modell kann seine Quellen nennen, sodass du nachprüfen kannst, woher eine Aussage stammt.
Wie RAG technisch funktioniert
Ein RAG-System läuft in zwei Phasen ab: einer einmaligen Vorbereitung der Daten und der eigentlichen Abfrage.
Phase 1: Indexierung der Dokumente
Zunächst werden deine Dokumente für die Suche aufbereitet. Das geschieht in mehreren Schritten:
- Chunking: Lange Dokumente werden in kleinere, überschaubare Abschnitte zerlegt – etwa absatz- oder seitenweise. Diese Größe ist entscheidend: zu große Chunks verwässern die Relevanz, zu kleine reißen Zusammenhänge auseinander.
- Embeddings erzeugen: Jeder Chunk wird durch ein spezielles Embedding-Modell in einen Vektor übersetzt – eine lange Zahlenreihe, die die Bedeutung des Textes mathematisch repräsentiert. Texte mit ähnlicher Bedeutung erhalten ähnliche Vektoren.
- Speichern in einer Vektordatenbank: Alle Vektoren landen in einer spezialisierten Datenbank, die blitzschnell nach Ähnlichkeit suchen kann.
Phase 2: Abfrage zur Laufzeit
Stellt ein Nutzer eine Frage, passiert Folgendes:
- Die Frage wird mit demselben Embedding-Modell ebenfalls in einen Vektor umgewandelt.
- Die Vektordatenbank sucht die Chunks, deren Vektoren der Frage am ähnlichsten sind – das sind die thematisch passendsten Textstellen.
- Diese gefundenen Abschnitte werden zusammen mit der ursprünglichen Frage in einen Prompt verpackt.
- Das Sprachmodell erhält diesen angereicherten Prompt und formuliert die Antwort auf Basis der mitgelieferten Belege.
Embeddings: das Herzstück verstehen
Der Begriff Embedding klingt abstrakt, ist aber das Schlüsselkonzept. Stell dir vor, jeder Textabschnitt wird als Punkt in einem riesigen, mehrdimensionalen Raum platziert. Die Position dieses Punktes wird so berechnet, dass inhaltlich verwandte Texte nahe beieinander liegen. „Hund" und „Katze" landen dicht zusammen, „Hund" und „Steuererklärung" weit auseinander.
Die Suche funktioniert dann nicht über exakte Stichwörter, sondern über Bedeutungsähnlichkeit. Eine Frage nach „Erstattung von Reisekosten" findet auch einen Abschnitt, der von „Spesenabrechnung" spricht, obwohl kein Wort übereinstimmt. Diese semantische Suche ist der entscheidende Fortschritt gegenüber klassischer Volltextsuche.
Vektordatenbanken: wo das Wissen lebt
Klassische Datenbanken sind für exakte Treffer gebaut. Vektordatenbanken hingegen sind darauf optimiert, unter Millionen von Vektoren die ähnlichsten zu einer Anfrage zu finden – und das in Millisekunden. Bekannte Lösungen reichen von eingebetteten Bibliotheken für kleine Projekte bis zu skalierbaren Servern für große Datenmengen.
Für viele Einsteigerprojekte genügt eine leichtgewichtige Lösung, die sich problemlos lokal betreiben lässt. Wer ohnehin mit einer SQLite-basierten Datenhaltung arbeitet, findet inzwischen sogar Erweiterungen für die Vektorsuche. Für größere Vorhaben kommen spezialisierte Vektordatenbanken zum Einsatz.
RAG lokal und datenschutzfreundlich betreiben
Ein großer Reiz von RAG ist, dass sich die gesamte Verarbeitung lokal abbilden lässt. In Kombination mit einem lokalen Sprachmodell über Ollama entsteht ein System, das vertrauliche Dokumente verarbeitet, ohne dass je etwas das eigene Netzwerk verlässt. Gerade für Kanzleien, Praxen oder Unternehmen mit sensiblen Daten ist das ein entscheidender Vorteil gegenüber Cloud-Diensten – auch mit Blick auf die DSGVO.
Sowohl das Embedding-Modell als auch das antwortende Sprachmodell können vollständig auf eigener Hardware laufen. Die Vektordatenbank liegt ohnehin lokal. Damit hast du ein abgeschlossenes System, das Fragen zu deinem privaten Wissensbestand beantwortet.
Worauf es bei der Qualität ankommt
RAG ist mächtig, aber kein Selbstläufer. Die Antwortqualität hängt an mehreren Stellschrauben:
- Chunk-Größe und Überlappung: Gut gewählte Abschnittsgrößen mit leichter Überlappung verhindern, dass wichtiger Kontext an Schnittstellen verloren geht.
- Qualität des Embedding-Modells: Ein gutes Embedding-Modell trifft die Bedeutung präziser und liefert relevantere Treffer.
- Anzahl abgerufener Chunks: Zu wenige lassen Kontext fehlen, zu viele überfordern das Modell und verwässern die Antwort.
- Saubere Quelldaten: Schlecht strukturierte, veraltete oder widersprüchliche Dokumente erzeugen schlechte Antworten – das Prinzip „Müll rein, Müll raus" gilt auch hier.
Typische Einsatzgebiete
- Interne Wissensdatenbanken: Mitarbeitende fragen in natürlicher Sprache nach Richtlinien, Prozessen oder Produktdetails.
- Kundensupport: Ein Assistent beantwortet Fragen auf Basis der echten Produktdokumentation statt aus erfundenem Wissen.
- Recherche in großen Textmengen: Verträge, Studien oder Archive werden durchsuchbar und befragbar.
- Persönliche Notiz- und Dokumentensammlungen: Deine eigene Wissensbasis wird zum dialogfähigen Nachschlagewerk.
Grenzen und Stolperfallen
RAG verhindert Halluzinationen nicht vollständig. Findet das System keinen passenden Abschnitt, kann das Modell trotzdem versuchen, eine Antwort zu erfinden. Eine gute Praxis ist daher, das Modell explizit anzuweisen, nur auf Basis der gefundenen Belege zu antworten und andernfalls „dazu liegen mir keine Informationen vor" zu sagen. Auch sollte das System die verwendeten Quellen sichtbar machen, damit Nutzer Antworten überprüfen können.
Fazit
RAG verbindet das Sprachverständnis großer Modelle mit der Faktentreue durchsuchbarer Dokumente und löst damit eines der größten Probleme generativer KI: aktuelle, nachvollziehbare Antworten zu spezifischem Wissen. Die zentralen Bausteine – Chunking, Embeddings, Vektorsuche und Kontextanreicherung – sind verständlich und lassen sich heute auch lokal und datenschutzkonform umsetzen. Wer KI über Spielerei hinaus produktiv einsetzen will, kommt an RAG kaum vorbei.
Häufige Fragen
Was ist der Unterschied zwischen RAG und Fine-Tuning?
Fine-Tuning trainiert das Modell mit zusätzlichen Daten neu und verändert dauerhaft sein Verhalten. RAG lässt das Modell unverändert und liefert das benötigte Wissen erst zur Laufzeit als Kontext. RAG ist flexibler, günstiger und einfacher zu aktualisieren, während Fine-Tuning eher Stil und Verhalten prägt.
Brauche ich Programmierkenntnisse für RAG?
Für ein eigenes System hilft Programmiererfahrung. Es gibt jedoch fertige Werkzeuge und Frameworks, die viele Schritte abnehmen, sowie schlüsselfertige Anwendungen, in die du nur deine Dokumente hochlädst. Die Einstiegshürde ist deutlich niedriger als noch vor wenigen Jahren.
Kann RAG mit PDFs und Office-Dokumenten umgehen?
Ja. Vor der Indexierung wird der Text aus PDFs, Word-Dokumenten, Webseiten oder anderen Quellen extrahiert. Die meisten RAG-Werkzeuge bringen Konverter für gängige Dateiformate bereits mit.
Wie aktuell sind die Antworten eines RAG-Systems?
So aktuell wie deine indexierten Dokumente. Sobald du neue oder geänderte Dateien in die Vektordatenbank aufnimmst, fließen sie in die Antworten ein – ganz ohne erneutes Training des Modells.
Verhindert RAG, dass die KI falsche Antworten gibt?
Es reduziert das Risiko deutlich, weil Antworten auf echten Belegen beruhen. Vollständig ausgeschlossen sind Fehler aber nicht. Mit klaren Anweisungen, sichtbaren Quellen und sauberen Daten lässt sich die Zuverlässigkeit jedoch stark erhöhen.