Die häufigste Frage von Einsteigern in lokale KI lautet: „Reicht meine Grafikkarte?“ Die Antwort hängt fast ausschließlich am Grafikspeicher, dem VRAM. Er entscheidet, ob ein Modell überhaupt vollständig geladen werden kann und wie schnell es antwortet. In diesem Guide erklären wir, wie sich der Speicherbedarf berechnet, welche Hardware-Klassen für welche Modellgrößen taugen und warum Apple-Silicon-Macs hier eine Sonderrolle spielen.
Warum VRAM der entscheidende Faktor ist
Ein Sprachmodell muss zur Laufzeit komplett im schnellen Speicher liegen, damit die Grafikkarte jeden Token zügig berechnen kann. Passt das Modell nicht ganz in den VRAM, wird ein Teil in den langsameren Arbeitsspeicher ausgelagert („Offloading“). Das funktioniert, bremst die Geschwindigkeit aber oft drastisch, weil Daten ständig zwischen GPU und RAM wandern müssen. Daher gilt die einfache Faustregel: Das Modell und sein Arbeitskontext sollten möglichst vollständig in den VRAM passen.
Die zweite Größe ist die Speicherbandbreite. Selbst wenn ein Modell in den VRAM passt, bestimmt die Bandbreite, wie viele Tokens pro Sekunde herauskommen. Deshalb sind ältere Karten mit viel, aber langsamem Speicher oft enttäuschend, während moderne Karten mit hoher Bandbreite spürbar flotter sind.
So schätzt du den Speicherbedarf ab
Der grobe Speicherbedarf ergibt sich aus Parameterzahl mal Bytes pro Parameter. Bei voller 16-Bit-Genauigkeit braucht jedes Milliarde Parameter rund 2 GB. Ein 7B-Modell läge damit bei etwa 14 GB. Durch Quantisierung lässt sich das stark senken: Bei 4-Bit-Quantisierung sinkt der Bedarf auf grob 0,5 bis 0,6 GB pro Milliarde Parameter, ein 7B-Modell passt dann in etwa 4 bis 5 GB. Dazu kommt der Speicher für den Kontext (KV-Cache), der mit der Länge des Gesprächs wächst und bei sehr langen Kontexten mehrere Gigabyte zusätzlich verschlingen kann.
Weil diese Rechnung schnell unübersichtlich wird, lohnt sich ein Werkzeug. Unser GPU-VRAM-Bedarf-Rechner kombiniert Parameterzahl, Quantisierungsstufe und Kontextlänge zu einer konkreten Gigabyte-Zahl, sodass du vor dem Kauf weißt, welche Karte du brauchst.
Hardware-Klassen für 2026
Einsteiger: 8 GB VRAM
Mit 8 GB Grafikspeicher laufen kleine bis mittlere Modelle bis etwa 8B in 4-Bit-Quantisierung flüssig. Das deckt Chat, Zusammenfassungen, einfache Code-Hilfe und deutschsprachige Textarbeit gut ab. Eine 8-GB-Karte ist der realistische Einstieg, mit dem die meisten Alltagsaufgaben gut funktionieren.
Mittelklasse: 12 bis 16 GB VRAM
Dieser Bereich ist der Sweet Spot für ambitionierte Privatanwender. Modelle bis etwa 14B laufen komfortabel, längere Kontexte sind möglich, und auch größere quantisierte Modelle sind in Reichweite. Wer regelmäßig mit lokaler KI arbeitet und nicht das Maximum braucht, ist hier am besten aufgehoben.
Enthusiast: 24 GB VRAM und mehr
Mit 24 GB lassen sich Modelle im 30B-Bereich quantisiert betreiben oder mittlere Modelle mit sehr langem Kontext. Wer noch größere Modelle möchte, kann zwei Karten kombinieren oder auf professionelle Karten mit 48 GB setzen, die allerdings deutlich teurer sind.
Apple Silicon: die Sonderrolle des Unified Memory
Macs mit Apple-Silicon-Chips (M-Serie) teilen sich CPU und GPU einen gemeinsamen Speicher (Unified Memory). Das bedeutet: Ein MacBook oder Mac Studio mit 32, 64 oder 128 GB Arbeitsspeicher kann fast den gesamten Speicher für das Modell nutzen, ohne dass es eine separate Grafikkarte braucht. Dadurch laufen auf gut ausgestatteten Macs erstaunlich große Modelle, die auf einer typischen Consumer-Grafikkarte nicht passen würden. Die Bandbreite der höheren Chip-Varianten ist zudem ordentlich. Wer ohnehin einen Mac mit viel Speicher besitzt, hat damit eine überraschend starke Plattform für lokale KI.
RAM-Offloading: wenn der VRAM nicht reicht
Reicht der VRAM nicht für das Wunschmodell, kann man einen Teil der Modellschichten in den normalen Arbeitsspeicher auslagern. Tools wie Ollama oder llama.cpp erledigen das automatisch. Der Preis ist Geschwindigkeit: Statt vieler Tokens pro Sekunde bleiben oft nur wenige übrig. Für kurze Tests oder seltene Aufgaben ist das vertretbar, für den täglichen Einsatz frustrierend. Eine Alternative ist, einfach ein kleineres oder stärker quantisiertes Modell zu wählen, das vollständig in den VRAM passt.
Worauf du beim Kauf achten solltest
- VRAM zuerst: Lieber eine etwas langsamere Karte mit mehr Speicher als eine schnelle mit zu wenig.
- Bandbreite beachten: Sie bestimmt die Antwortgeschwindigkeit bei Modellen, die in den VRAM passen.
- Stromverbrauch und Netzteil: Große Karten ziehen viel Leistung; das Netzteil muss passen. Den laufenden Energieverbrauch kannst du mit unserem KI-Energie- und CO2-Rechner abschätzen.
- Treiber und Ökosystem: NVIDIA hat die breiteste Software-Unterstützung; AMD und Apple holen auf, erfordern aber manchmal etwas mehr Einrichtung.
Mehr Praxiswissen rund um lokale Modelle findest du in unseren News, und die passenden Rechner sammeln wir in den Webtools.
Häufige Fragen
Kann ich lokale KI auch ohne dedizierte Grafikkarte nutzen?
Ja, kleine Modelle laufen auch rein auf der CPU, allerdings deutlich langsamer. Für gelegentliche Aufgaben und sehr kleine Modelle ist das machbar. Wer regelmäßig arbeiten will, profitiert stark von einer GPU oder einem Apple-Silicon-Mac mit viel Speicher.
Wie viel VRAM brauche ich für ein 7B-Modell?
In 4-Bit-Quantisierung passt ein 7B-Modell mit moderatem Kontext meist in etwa 5 bis 6 GB. Eine 8-GB-Karte bietet hier komfortablen Spielraum. Bei sehr langen Kontexten oder höherer Genauigkeit steigt der Bedarf, weshalb sich eine Abschätzung mit dem VRAM-Rechner lohnt.
Lohnt sich eine gebrauchte Grafikkarte?
Oft ja, weil der VRAM die wichtigste Größe ist und ältere Modelle mit viel Speicher günstig zu haben sind. Achte aber auf die Speicherbandbreite und darauf, dass die Karte von aktueller Software unterstützt wird. Sehr alte Karten ohne moderne Treiberunterstützung können Probleme machen.
Ist mehr Arbeitsspeicher (RAM) ein Ersatz für VRAM?
Nur eingeschränkt. Auf einer klassischen PC-Plattform dient RAM als Auslagerungsspeicher und ist deutlich langsamer als VRAM. Bei Apple Silicon hingegen teilen sich CPU und GPU denselben schnellen Speicher, dort ersetzt viel Unified Memory tatsächlich dedizierten VRAM.