„Wie schnell ist mein lokales Modell?“ – die ehrliche Antwort lautet: Es kommt darauf an, und die Maßeinheit dafür heißt Tokens pro Sekunde (tok/s). Diese Zahl entscheidet, ob sich ein lokales Sprachmodell wie ein flüssiges Gespräch oder wie eine zähe Diashow anfühlt. In diesem Artikel erklären wir, was tok/s genau bedeutet, welche Werte als gut gelten und mit welchen Stellschrauben du dein Modell ohne neue Hardware spürbar beschleunigen kannst.
Was Tokens pro Sekunde bedeutet
Ein Token ist die kleinste Einheit, in der ein Sprachmodell Text verarbeitet, meist ein Wortteil oder ein kurzes Wort. Tokens pro Sekunde gibt an, wie viele dieser Einheiten das Modell pro Sekunde erzeugt. Wichtig sind zwei Phasen: Die Prompt-Verarbeitung (das Einlesen deiner Eingabe) und die Generierung (das Schreiben der Antwort). Beide haben unterschiedliche Geschwindigkeiten. Für das Nutzererlebnis zählt vor allem die Generierungsgeschwindigkeit, weil sie bestimmt, wie schnell die Antwort auf dem Bildschirm erscheint.
Als grobe Orientierung gilt: Menschen lesen flüssig bei etwa 5 bis 8 Tokens pro Sekunde. Liegt dein Modell darüber, erscheint die Antwort schneller, als du lesen kannst, das Gespräch fühlt sich angenehm an. Unter 3 tok/s wird es spürbar zäh. Profis, die lange Texte generieren oder automatisiert arbeiten, wünschen sich deutlich höhere Werte.
Was die Geschwindigkeit bestimmt
- Modellgröße: Mehr Parameter bedeuten mehr Rechenarbeit pro Token. Ein 7B-Modell ist deutlich schneller als ein 70B-Modell auf derselben Hardware.
- Quantisierung: Niedrigere Bit-Breite (z. B. 4-Bit statt 16-Bit) reduziert die zu verschiebende Datenmenge und beschleunigt die Generierung.
- Speicherbandbreite: Bei der Generierung ist die Bandbreite oft der Flaschenhals, nicht die Rechenleistung. Karten mit schnellem Speicher sind hier im Vorteil.
- Vollständiges Laden in den VRAM: Sobald Teile des Modells in den langsameren Arbeitsspeicher ausgelagert werden, bricht die Geschwindigkeit ein.
- Kontextlänge: Je länger das bisherige Gespräch, desto mehr muss das Modell pro Token berücksichtigen, was die Generierung mit der Zeit verlangsamt.
Wenn du den erwarteten Durchsatz für eine Kombination aus Modell und Hardware abschätzen willst, hilft unser Tokens-pro-Sekunde-Rechner. Er liefert eine realistische Hausnummer, bevor du selbst misst.
So beschleunigst du dein Modell ohne neue Hardware
1. Kleineres oder stärker quantisiertes Modell
Der größte Hebel. Statt eines 14B-Modells, das knapp in den Speicher passt und auslagert, läuft ein 8B-Modell vollständig im VRAM oft doppelt so schnell, bei nur leicht geringerer Qualität. Ebenso bringt der Wechsel von 8-Bit auf 4-Bit-Quantisierung einen deutlichen Geschwindigkeitsschub.
2. Modell vollständig in den VRAM bringen
Prüfe in deinem Runner, wie viele Modellschichten auf der GPU liegen. Ziel ist, dass das gesamte Modell plus Kontext in den VRAM passt. Den Bedarf kannst du vorab mit dem GPU-VRAM-Bedarf-Rechner bestimmen und das Modell entsprechend wählen.
3. Kontextlänge realistisch halten
Ein unnötig großes Kontextfenster reserviert Speicher und verlangsamt lange Gespräche. Stelle es auf das, was du tatsächlich brauchst. Wie schnell sich ein Fenster füllt, zeigt der Kontextfenster-Auslastungs-Rechner.
4. Hintergrundlast reduzieren
Spiele, Browser mit vielen Tabs oder andere GPU-hungrige Programme konkurrieren um Speicher und Rechenleistung. Schließe sie, wenn das Modell läuft.
5. Aktuelle Treiber und Runner-Version
Die zugrundeliegenden Bibliotheken werden ständig optimiert. Eine aktuelle Version von Ollama oder LM Studio und ein frischer Grafiktreiber können ohne dein Zutun spürbar mehr Geschwindigkeit bringen.
Selbst messen statt raten
Verlasse dich nicht nur auf Gefühl. Die meisten Runner zeigen nach jeder Antwort die erreichten Tokens pro Sekunde an. So gehst du methodisch vor:
- Gib einen festen Test-Prompt ein, der eine längere Antwort erzeugt.
- Notiere die angezeigten tok/s der Generierung.
- Ändere eine Variable, etwa die Quantisierung oder die GPU-Schichten.
- Wiederhole den Test mit demselben Prompt und vergleiche.
So findest du heraus, welche Einstellung auf deiner konkreten Hardware den besten Kompromiss aus Geschwindigkeit und Qualität liefert. Weitere Praxisartikel zu lokaler KI findest du in unseren News, und passende Rechner gibt es in den Webtools.
Prompt-Geschwindigkeit versus Generierung
Ein oft übersehener Punkt: Die Verarbeitung deiner Eingabe und das Schreiben der Antwort sind unterschiedlich schnell. Die Prompt-Verarbeitung läuft meist deutlich flotter, weil das Modell alle Eingabe-Tokens parallel einlesen kann. Die Generierung dagegen erfolgt Token für Token nacheinander und ist daher langsamer. Das hat eine praktische Folge: Ein sehr langer Prompt verzögert vor allem den Start der Antwort (das „erste Token braucht länger“), während die eigentliche Schreibgeschwindigkeit konstant bleibt. Bei interaktiven Anwendungen ist die Zeit bis zum ersten Token deshalb genauso wichtig wie die reinen Tokens pro Sekunde.
Batch-Verarbeitung: mehr Durchsatz statt mehr Tempo
Wenn du nicht im Chat sitzt, sondern viele Anfragen automatisiert abarbeitest, zählt nicht die gefühlte Geschwindigkeit einer einzelnen Antwort, sondern der Gesamtdurchsatz. Hier hilft Batch-Verarbeitung: Mehrere Anfragen werden gebündelt, sodass die Grafikkarte besser ausgelastet wird. Der Durchsatz steigt deutlich, auch wenn jede einzelne Antwort nicht schneller fertig ist. Für nächtliche Stapelverarbeitung großer Textmengen ist das der wichtigste Hebel, während es für den interaktiven Chat keine Rolle spielt.
Häufige Fragen
Wie viele Tokens pro Sekunde sind gut?
Für ein angenehmes Chat-Erlebnis sollte die Generierung über der Lesegeschwindigkeit liegen, also etwa ab 8 tok/s aufwärts. Unter 3 tok/s wirkt es zäh. Wer lange Texte oder automatisierte Abläufe braucht, profitiert von deutlich höheren Werten. Die konkreten Zahlen hängen stark von Modell und Hardware ab.
Warum wird mein Modell mit der Zeit langsamer?
Mit jedem Austausch wächst der Kontext, den das Modell pro Token berücksichtigen muss. Lange Gespräche werden daher zunehmend langsamer. Ein Neustart des Gesprächs oder ein Zusammenfassen des bisherigen Verlaufs bringt die Geschwindigkeit zurück.
Bringt eine zweite Grafikkarte mehr tok/s?
Eine zweite Karte hilft vor allem, größere Modelle überhaupt zu laden, indem der Speicher kombiniert wird. Die reine Generierungsgeschwindigkeit eines Modells, das schon auf einer Karte passt, steigt dadurch meist nicht proportional, weil die Bandbreite der einzelnen Karte begrenzt.
Ist die CPU für die Geschwindigkeit wichtig?
Wenn das Modell vollständig auf der GPU läuft, spielt die CPU eine untergeordnete Rolle. Wichtig wird sie nur, wenn Teile des Modells in den Arbeitsspeicher ausgelagert sind und auf der CPU gerechnet werden, dann bestimmt sie maßgeblich die ohnehin niedrige Geschwindigkeit.