Ein lokales Sprachmodell ist klug, aber es kennt deine Unterlagen nicht: deine Verträge, deine Studienskripte, das Handbuch deiner Maschine. Hier kommt RAG ins Spiel, die „Retrieval-Augmented Generation“. Sie verbindet ein Sprachmodell mit einer durchsuchbaren Sammlung deiner eigenen Dokumente, sodass das Modell Fragen anhand deiner Inhalte beantwortet, statt nur aus seinem Trainingswissen zu schöpfen. Das Beste: Das alles lässt sich vollständig lokal betreiben, ohne dass ein einziges Dokument die Cloud erreicht.
Das Problem, das RAG löst
Sprachmodelle haben zwei prinzipielle Schwächen, wenn es um spezifisches Wissen geht. Erstens kennen sie nur, was im Training enthalten war, also keine internen Firmendokumente und keine privaten Notizen. Zweitens erfinden sie bei Wissenslücken gerne plausibel klingende Antworten (Halluzinationen). RAG begegnet beidem: Statt das Modell raten zu lassen, sucht das System zuerst in deinen Dokumenten nach passenden Stellen und gibt diese dem Modell als Kontext mit. Das Modell antwortet dann auf Basis der gefundenen Belege, was die Antworten deutlich verlässlicher und nachprüfbar macht.
Wie RAG technisch funktioniert
Der Ablauf besteht aus zwei Phasen. Die erste, die Indizierung, läuft einmalig, wenn du Dokumente hinzufügst:
- Die Dokumente werden in kleine, sinnvolle Abschnitte zerlegt (Chunking), etwa Absätze oder einige Sätze.
- Jeder Abschnitt wird von einem Embedding-Modell in einen Zahlenvektor übersetzt, der seine Bedeutung erfasst.
- Diese Vektoren landen in einer Vektordatenbank, die ähnliche Inhalte schnell auffindbar macht.
Die zweite Phase, die Abfrage, läuft bei jeder Frage:
- Deine Frage wird ebenfalls in einen Vektor übersetzt.
- Die Datenbank findet die inhaltlich ähnlichsten Dokumentabschnitte.
- Diese Abschnitte werden zusammen mit deiner Frage an das Sprachmodell übergeben.
- Das Modell formuliert eine Antwort, gestützt auf die gefundenen Belege.
Entscheidend für den Datenschutz: Sowohl das Embedding-Modell als auch das Sprachmodell laufen lokal. Deine Dokumente werden nur auf deinem Gerät verarbeitet und gespeichert.
Wofür sich lokales RAG besonders eignet
- Wissensdatenbanken: Eine große Sammlung von Handbüchern, Richtlinien oder Anleitungen befragbar machen.
- Studium und Forschung: Skripte, Paper und Notizen durchsuchen und zusammenfassen lassen.
- Verträge und Recht: Sensible Dokumente befragen, ohne sie aus dem Haus zu geben.
- Persönliches Archiv: Jahre an Notizen, E-Mails oder Tagebüchern durchsuchbar machen.
- Technische Dokumentation: In umfangreichen Handbüchern gezielt Antworten finden.
Der gemeinsame Nenner: Du hast viele eigene Dokumente und willst sie in natürlicher Sprache befragen, ohne dieses Wissen einem Cloud-Anbieter anzuvertrauen.
So baust du ein lokales RAG-System
Du brauchst vier Bausteine, alle lokal lauffähig: einen Modell-Runner wie Ollama für das Sprachmodell, ein lokales Embedding-Modell, eine Vektordatenbank und eine Oberfläche, die alles verbindet. Es gibt fertige Open-Source-Anwendungen, die diese Bausteine bündeln und das Hinzufügen von Dokumenten per Drag-and-drop ermöglichen, sodass du nicht alles selbst programmieren musst.
Bei der Planung sind zwei Größen wichtig. Erstens passt der gefundene Kontext zusammen mit deiner Frage in das Kontextfenster des Modells? Mit dem Kontextfenster-Auslastungs-Rechner prüfst du, wie viel Platz die eingefügten Dokumentabschnitte belegen. Zweitens, wenn du den Aufwand und die Wirtschaftlichkeit einordnen willst, hilft der RAG-System-Kosten-Rechner, der die Bestandteile eines RAG-Systems durchrechnet.
Tipps für gute Ergebnisse
- Sinnvolle Chunk-Größe: Zu kleine Abschnitte verlieren Zusammenhang, zu große verwässern die Suche. Absätze sind oft ein guter Mittelweg.
- Sauberer Text: Schlecht gescannte PDFs oder Tabellen ohne Struktur liefern schlechte Ergebnisse. Eine saubere Textextraktion lohnt sich.
- Quellen anzeigen lassen: Ein gutes RAG-System zeigt, aus welchen Abschnitten die Antwort stammt. So kannst du nachprüfen und Halluzinationen erkennen.
- Passendes Embedding-Modell: Für deutsche Dokumente ein mehrsprachiges Embedding-Modell wählen, das Deutsch gut abbildet.
- Realistische Erwartungen: RAG findet, was in den Dokumenten steht. Fragen, deren Antwort nirgends enthalten ist, kann es nicht beantworten.
Lokal versus Cloud bei RAG
Cloud-RAG-Dienste sind bequem, aber sie laden deine Dokumente auf fremde Server. Gerade bei sensiblen Unterlagen ist das oft inakzeptabel. Lokales RAG hat hier seinen größten Vorteil: maximale Vertraulichkeit. Der Preis ist etwas mehr Einrichtungsaufwand und die Begrenzung durch die eigene Hardware. Für viele Anwender, gerade mit vertraulichen Dokumenten, ist genau das die richtige Wahl. Weitere Anleitungen rund um lokale KI findest du in unseren News, und passende Rechner gibt es in den Webtools.
Häufige Fragen
Brauche ich Programmierkenntnisse für lokales RAG?
Nicht zwingend. Es gibt fertige Open-Source-Anwendungen mit grafischer Oberfläche, bei denen du Dokumente einfach hinzufügst und sofort befragen kannst. Tiefer einsteigen und eigene Pipelines bauen kann man, muss man aber nicht. Für den Einstieg reicht eine fertige Lösung.
Bleiben meine Dokumente wirklich lokal?
Bei einem rein lokalen Aufbau ja. Embedding-Modell, Vektordatenbank und Sprachmodell laufen auf deinem Gerät, die Dokumente werden nur dort verarbeitet und gespeichert. Achte nur darauf, keine Cloud-Komponenten einzubinden, etwa ein Embedding-Modell, das über eine Online-API läuft.
Warum nicht einfach das ganze Dokument ins Modell geben?
Bei wenigen kurzen Dokumenten geht das. Doch das Kontextfenster ist begrenzt, und große Sammlungen passen nicht hinein. Zudem wird das Modell langsamer und teurer, je mehr Text du mitgibst. RAG löst das, indem es nur die relevanten Abschnitte heraussucht, statt alles auf einmal zu übergeben.
Wie groß darf meine Dokumentensammlung sein?
Vektordatenbanken skalieren gut und bewältigen auch große Sammlungen. Der begrenzende Faktor ist eher die Indizierungszeit beim Hinzufügen und der Speicherplatz der Vektoren, nicht die reine Abfrage. Selbst Tausende Dokumente lassen sich lokal handhaben, sofern genügend Speicher vorhanden ist.