Halluzination ist der Fachbegriff für eine der unangenehmsten Eigenschaften von Sprachmodellen: Sie geben falsche Informationen in einem völlig überzeugenden, sachlichen Ton wieder. Erfundene Quellen, falsche Jahreszahlen, nicht existierende Funktionen, ausgedachte Gesetzesparagrafen. Wer LLMs ernsthaft einsetzt, muss verstehen, warum das passiert und mit welchen Mitteln es sich verringern lässt. Ganz verschwinden wird es absehbar nicht, aber das Risiko lässt sich deutlich senken.
Warum Modelle überhaupt halluzinieren
Ein Sprachmodell ist im Kern ein System, das das jeweils wahrscheinlichste nächste Token vorhersagt. Es hat kein eingebautes Konzept von "wahr" und "falsch", sondern erzeugt Text, der zu seinen Trainingsdaten passt. Wenn die korrekte Information im Training selten oder gar nicht vorkam, füllt das Modell die Lücke mit etwas, das plausibel klingt. Genau dieser Mechanismus, der das Modell so flüssig macht, ist auch die Quelle der Halluzinationen.
Verschärfend kommt hinzu, dass viele Modelle darauf optimiert wurden, hilfreich zu wirken und eine Antwort zu liefern. Ein "Ich weiß es nicht" ist im Training oft unterrepräsentiert, deshalb rät das Modell lieber, als zuzugeben, dass ihm die Information fehlt.
Wann das Risiko besonders hoch ist
Halluzinationen sind nicht gleichmäßig verteilt. Besonders häufig treten sie auf bei:
- Spezifischen Fakten: exakte Zahlen, Daten, Namen, Zitate, Aktenzeichen.
- Sehr aktuellen Themen, die nach dem Trainingsstichtag liegen.
- Nischenwissen, das im Training kaum vorkam.
- Suggestivfragen, die eine falsche Annahme enthalten, der das Modell dann folgt.
- Quellen- und Literaturangaben, die Modelle besonders gern erfinden.
Wer diese Risikozonen kennt, kann seine Prüfung gezielt darauf richten, statt jeder Antwort blind zu vertrauen oder blind zu misstrauen.
Techniken, die messbar helfen
Es gibt mehrere bewährte Hebel, um Halluzinationen zu reduzieren:
- Quellen mitgeben: Statt das Modell aus dem Gedächtnis antworten zu lassen, legt man die relevanten Dokumente in die Eingabe und verlangt, dass die Antwort nur darauf basiert. Dieses Vorgehen über ein Retrieval-System senkt das Risiko erheblich.
- Quellenangabe erzwingen: Bittet man das Modell, jede Aussage mit einem Verweis auf die mitgelieferte Quelle zu belegen, fallen erfundene Aussagen schneller auf.
- Unwissen erlauben: Eine klare Anweisung wie "Wenn die Information nicht in den Quellen steht, sage, dass du es nicht weißt" wirkt oft erstaunlich gut.
- Niedrige Zufälligkeit: Bei faktischen Aufgaben sorgt eine niedrige Temperatur für berechenbarere, weniger fantasievolle Antworten.
- Zwei-Schritt-Prüfung: Ein zweiter Durchlauf, der die erste Antwort kritisch gegen die Quellen prüft, fängt viele Fehler ab.
Wer mit eigenen Wissensbeständen arbeitet, kombiniert diese Techniken am besten in einem durchdachten Retrieval-Aufbau. Die Kosten dafür lassen sich vorab mit dem RAG-System-Kosten-Rechner abschätzen.
Halluzinationen erkennen statt nur verhindern
Da sich Halluzinationen nicht vollständig ausschließen lassen, gehört eine Prüfschicht in jeden ernsthaften Einsatz. Praktisch bedeutet das: Faktische Ausgaben gegen verlässliche Quellen abgleichen, automatische Plausibilitätschecks einbauen und bei kritischen Anwendungen einen Menschen die Endkontrolle übernehmen lassen. Je höher der mögliche Schaden eines Fehlers, desto mehr Prüfung ist angemessen. Bei rechtlichen, medizinischen oder finanziellen Auskünften sollte man Modellantworten grundsätzlich nur als Entwurf behandeln.
Mehr zu zuverlässigen KI-Systemen findest du in unseren News, hilfreiche Rechner rund um KI in den Webtools.
Halluzination ist nicht gleich Lüge
Ein verbreitetes Missverständnis: Das Modell "lüge" oder wolle täuschen. Das trifft nicht zu. Eine Halluzination ist kein Vorsatz, sondern ein strukturelles Nebenprodukt der Funktionsweise. Das Modell hat keine Absicht und kein Wahrheitsbewusstsein; es erzeugt den statistisch plausibelsten Text. Wenn dieser zufällig falsch ist, klingt er trotzdem genauso überzeugend wie eine richtige Antwort. Genau das macht Halluzinationen so heimtückisch: Der Tonfall gibt keinen Hinweis darauf, ob die Aussage stimmt.
Diese Erkenntnis hat eine praktische Konsequenz. Man kann sich nicht auf das Selbstvertrauen des Modells verlassen. Ein "Ich bin mir sicher" bedeutet nichts, und auch Nachfragen wie "Stimmt das wirklich?" führen oft nur dazu, dass das Modell seine erste Aussage höflich bestätigt, ob richtig oder falsch. Verlässlichkeit entsteht nur durch externe Quellen und unabhängige Prüfung, nicht durch geschickteres Nachfragen.
Eine einfache Prüf-Checkliste
Für den Alltag hilft eine kurze Routine, bevor man einer Modellantwort vertraut:
- Enthält die Antwort konkrete Zahlen, Namen oder Daten? Diese gezielt gegenprüfen.
- Werden Quellen genannt? Existenz und Inhalt der Quelle stichprobenartig kontrollieren.
- Geht es um ein sehr aktuelles Thema, das nach dem Trainingsstand liegen könnte? Dann besonders skeptisch sein.
- Ist der mögliche Schaden eines Fehlers hoch? Dann die Antwort als Entwurf behandeln und fachlich absichern.
Diese wenigen Sekunden Prüfung fangen einen großen Teil der typischen Fehler ab und kosten weit weniger als die Korrektur einer falsch übernommenen Information.
Häufige Fragen
Verschwinden Halluzinationen mit besseren Modellen?
Neuere Modelle halluzinieren tendenziell seltener, aber das Problem ist grundsätzlicher Natur und verschwindet nicht vollständig. Auch ein sehr gutes Modell kann selbstbewusst Falsches behaupten, vor allem bei Nischen- und Detailfragen.
Hilft es, das Modell zu bitten, nicht zu halluzinieren?
Eine reine Bitte allein wirkt schwach. Wirksam wird sie erst in Kombination mit mitgelieferten Quellen und der ausdrücklichen Erlaubnis, mit "weiß ich nicht" zu antworten, wenn die Information fehlt.
Sind erfundene Quellenangaben ein häufiges Problem?
Ja, das ist eine der typischsten Halluzinationsformen. Modelle erzeugen oft realistisch aussehende, aber nicht existierende Titel, Autoren oder Aktenzeichen. Literatur- und Quellenangaben sollte man deshalb immer eigenständig überprüfen.
Senkt eine niedrige Temperatur Halluzinationen zuverlässig?
Sie macht die Ausgabe berechenbarer und reduziert spontane Erfindungen, beseitigt aber keine Fehler, die bereits im Wissen des Modells angelegt sind. Sie ist ein Baustein, kein Allheilmittel.