Wer ein Sprachmodell über die API anspricht, stößt schnell auf eine Reihe von Stellschrauben: Temperatur, Top-p, Top-k, max_tokens, Stop-Sequenzen. In Chat-Oberflächen bleiben sie meist verborgen, in der API entscheiden sie spürbar über das Verhalten des Modells. Wer sie versteht, bekommt verlässlichere oder kreativere Antworten, je nach Bedarf. Dieser Beitrag erklärt die wichtigsten Parameter ohne Mathematik und mit konkreten Einstellempfehlungen.
Wie ein Modell ein Wort wählt
Bevor die Parameter Sinn ergeben, hilft das Grundprinzip: Bei jedem Schritt berechnet das Modell für viele mögliche nächste Token eine Wahrscheinlichkeit. Statt immer das wahrscheinlichste zu nehmen, wird mit einer gewissen Zufälligkeit ausgewählt. Genau diese Auswahl steuern die Sampling-Parameter. Sie bestimmen, wie stark das Modell vom naheliegendsten Wort abweichen darf.
Temperatur: der Kreativitätsregler
Die Temperatur ist der bekannteste Parameter. Sie skaliert die Wahrscheinlichkeiten:
- Niedrige Temperatur (nahe 0): Das Modell wählt fast immer das wahrscheinlichste Token. Antworten werden berechenbar, konsistent und wiederholbar. Ideal für Faktenextraktion, Klassifikation, Code und strukturierte Ausgaben.
- Mittlere Temperatur (um die Mitte des Bereichs): ausgewogene Mischung aus Verlässlichkeit und Abwechslung, gut für normale Textantworten.
- Hohe Temperatur: mehr Variation, überraschendere Formulierungen, aber auch mehr Risiko für Abschweifen und Fehler. Sinnvoll für Brainstorming und kreatives Schreiben.
Faustregel: Je wichtiger Korrektheit, desto niedriger die Temperatur. Je wichtiger Vielfalt, desto höher.
Top-p und Top-k: die Auswahl begrenzen
Top-p (auch Nucleus Sampling) begrenzt die Auswahl auf die wahrscheinlichsten Token, die zusammen einen bestimmten Wahrscheinlichkeitsanteil ausmachen. Ein niedriger Top-p-Wert lässt nur sehr wahrscheinliche Token zu und macht die Ausgabe fokussierter. Top-k wirkt ähnlich, begrenzt aber auf eine feste Anzahl der wahrscheinlichsten Kandidaten.
Wichtiger Praxistipp: Temperatur und Top-p beeinflussen beide die Zufälligkeit. Man sollte in der Regel nur einen der beiden aktiv verändern und den anderen auf dem Standardwert lassen, sonst wird das Verhalten schwer vorhersehbar.
max_tokens und Stop-Sequenzen
Zwei weitere Parameter steuern nicht den Inhalt, sondern die Länge:
- max_tokens begrenzt die maximale Länge der Antwort. Das schützt vor ausufernden, teuren Ausgaben und ist ein direkter Kostenhebel, da Output-Token den größten Teil der Rechnung ausmachen.
- Stop-Sequenzen sind Zeichenfolgen, bei deren Auftauchen das Modell die Ausgabe beendet. Praktisch, um Antworten sauber abzuschneiden, etwa nach einem bestimmten Trennzeichen.
Da die Antwortlänge direkt auf die Kosten durchschlägt, lohnt es sich, ein sinnvolles max_tokens-Limit zu setzen und die Auswirkung mit dem LLM-API-Kosten-Rechner zu prüfen.
Empfohlene Einstellungen je Aufgabe
- Faktenextraktion, Klassifikation, JSON-Ausgabe: Temperatur sehr niedrig, max_tokens knapp setzen.
- Code schreiben: niedrige Temperatur für konsistente, korrekte Ergebnisse.
- Sachliche Texte und Zusammenfassungen: niedrige bis mittlere Temperatur.
- Kreatives Schreiben, Ideenfindung: höhere Temperatur, großzügigeres Längenlimit.
- Reproduzierbare Tests: möglichst niedrige Zufälligkeit, damit Ergebnisse vergleichbar bleiben.
Eine gute Vorgehensweise: Beginne mit den Standardwerten und ändere immer nur einen Parameter, bis das Verhalten passt. Weitere Grundlagen zu Prompts und Modellen findest du in den News, alle KI-Rechner in den Webtools.
Determinismus: warum gleiche Eingaben verschiedene Antworten ergeben
Ein häufiger Stolperstein: Man schickt zweimal exakt denselben Prompt und bekommt zwei unterschiedliche Antworten. Das liegt an der eingebauten Zufälligkeit der Wortauswahl. Setzt man die Temperatur auf null, wählt das Modell jeweils das wahrscheinlichste Token und wird weitgehend reproduzierbar. Allerdings garantiert auch das keine hundertprozentige Wiederholbarkeit, weil technische Faktoren auf der Anbieterseite kleine Abweichungen verursachen können. Für Tests, automatisierte Abläufe und alles, was vergleichbare Ergebnisse braucht, ist eine möglichst niedrige Temperatur dennoch der richtige Weg.
Umgekehrt ist die Zufälligkeit kein Fehler, sondern erwünscht, sobald man Vielfalt will. Lässt man sich zehn Überschriften vorschlagen, sorgt eine höhere Temperatur dafür, dass es nicht zehnmal fast dieselbe ist. Wer das Verhalten versteht, nutzt die Zufälligkeit gezielt, statt sich über sie zu wundern.
Häufige Missverständnisse
Rund um die Parameter halten sich einige Irrtümer hartnäckig:
- "Höhere Temperatur macht das Modell schlauer." Nein, sie macht es nur unberechenbarer. Bei faktischen Aufgaben schadet das eher.
- "Man muss Temperatur und Top-p gemeinsam einstellen." Im Gegenteil, man sollte meist nur einen der beiden verändern.
- "max_tokens legt die Länge der Antwort fest." Es legt nur die Obergrenze fest; das Modell kann auch früher fertig sein.
- "Standardwerte sind immer falsch." Oft sind sie ein guter Ausgangspunkt; man sollte erst bei einem konkreten Problem davon abweichen.
Häufige Fragen
Was ist der Unterschied zwischen Temperatur und Top-p?
Beide steuern die Zufälligkeit der Wortwahl, aber auf unterschiedliche Weise. Die Temperatur skaliert alle Wahrscheinlichkeiten, Top-p schneidet die unwahrscheinlichen Kandidaten ab. Man sollte meist nur einen der beiden verändern.
Welche Temperatur ist die beste?
Es gibt keine universell beste. Für faktische und strukturierte Aufgaben ist eine niedrige Temperatur richtig, für kreative eine höhere. Die optimale Einstellung hängt vollständig vom Ziel ab.
Macht eine niedrige Temperatur Halluzinationen unmöglich?
Nein. Sie reduziert spontane Erfindungen und macht Antworten berechenbarer, beseitigt aber keine Fehler, die bereits im Wissen des Modells stecken. Sie ist ein hilfreicher, aber kein vollständiger Schutz.
Warum unterstützen manche Modelle nicht alle Parameter?
Einige neuere Modelle, besonders solche mit eingebautem Schlussfolgern, schränken die klassischen Sampling-Parameter bewusst ein, weil sie ihre Ausgabe anders steuern. Die genaue Verfügbarkeit hängt vom jeweiligen Modell ab.
Was bewirkt eine Temperatur von genau null?
Bei einer Temperatur von null wählt das Modell bei jedem Schritt das wahrscheinlichste Token und verhält sich weitgehend reproduzierbar. Das ist ideal für Tests und Aufgaben, bei denen identische Eingaben möglichst identische Ausgaben liefern sollen. Eine vollständige Garantie für Wiederholbarkeit gibt es technisch dennoch nicht.
Sollte ich für ein Chatbot-Produkt die Temperatur anpassen?
Das hängt vom Zweck ab. Ein sachlicher Support-Bot profitiert von niedriger Temperatur, weil Antworten konsistent und korrekt bleiben sollen. Ein Bot für kreative Vorschläge darf höher eingestellt sein. Sinnvoll ist, je nach Aufgabentyp innerhalb derselben Anwendung unterschiedliche Werte zu verwenden.
Wie finde ich die richtige Einstellung am schnellsten?
Mit systematischem Ausprobieren: Standardwerte als Start, dann an einigen typischen Beispielen jeweils nur einen Parameter verändern und das Ergebnis vergleichen. Schon wenige Durchläufe zeigen, in welche Richtung man gehen muss, ohne dass man die Theorie im Detail beherrschen müsste.