Pro-Kopf-Lizenzen für KI-Dienste summieren sich schnell: Bei 20 Mitarbeitenden und einem monatlichen Preis je Nutzer kommt über das Jahr ein vierstelliger Betrag zusammen, Jahr für Jahr. Gleichzeitig wollen viele Betriebe ihre Daten nicht in fremde Clouds geben. Beides spricht dafür, KI im eigenen Haus zu betreiben: ein lokales Modell auf einem Server, das das gesamte Team über den Browser nutzt. Dieser Artikel zeigt, wie das praktisch funktioniert, welche Hardware nötig ist und wo die Stolpersteine liegen.
Das Grundprinzip: ein Server, viele Nutzer
Statt dass jeder Mitarbeitende ein eigenes Abo hat, läuft ein Sprachmodell zentral auf einer Maschine im Unternehmen. Eine Weboberfläche, etwa eine selbst gehostete Chat-Anwendung, macht das Modell im internen Netz für alle erreichbar. Die Nutzer öffnen eine Adresse im Browser und chatten wie gewohnt, doch das Modell rechnet auf der firmeneigenen Hardware und keine Eingabe verlässt das Haus.
Technisch besteht so eine Lösung aus drei Bausteinen: einem Modell-Runner wie Ollama, der das Sprachmodell bereitstellt, einer Weboberfläche für die Nutzer und einer Benutzerverwaltung. Alle drei sind als freie Open-Source-Software verfügbar, sodass keine Lizenzkosten anfallen, sondern nur Hardware und Betrieb.
Welche Hardware ein kleines Team braucht
Die nötige Hardware hängt davon ab, wie viele Personen gleichzeitig aktiv sind. Wichtig: Nicht alle 20 Mitarbeitenden schreiben in derselben Sekunde. In der Praxis sind oft nur ein bis drei Anfragen gleichzeitig aktiv. Eine Workstation mit einer Grafikkarte mit 24 GB VRAM kann ein mittelgroßes Modell betreiben und mehrere gleichzeitige Nutzer bedienen, indem Anfragen leicht versetzt verarbeitet werden.
Für größere Teams oder höhere Gleichzeitigkeit lohnt eine stärkere Grafikkarte oder zwei kombinierte Karten. Den Speicherbedarf des gewünschten Modells bestimmst du vorab mit dem GPU-VRAM-Bedarf-Rechner, die zu erwartende Geschwindigkeit mit dem Tokens-pro-Sekunde-Rechner. So vermeidest du teure Fehlkäufe.
Rechnet sich das? Die ehrliche Kostenrechnung
Self-Hosting hat hohe Anfangskosten (die Hardware) und niedrige laufende Kosten (vor allem Strom und Wartung). Cloud-Abos haben keine Anfangskosten, aber dauerhafte monatliche Gebühren pro Kopf. Der Break-even hängt von Teamgröße und Nutzungsintensität ab. Faustregel: Je größer das Team und je intensiver die Nutzung, desto schneller amortisiert sich eigene Hardware.
Bevor man investiert, sollte man die Zahlen durchspielen. Der Self-Hosting-vs-SaaS-Kostenvergleich stellt einmalige Hardwarekosten den laufenden Abo-Gebühren gegenüber und zeigt den Zeitpunkt, ab dem sich die eigene Lösung lohnt. Vergiss dabei nicht die oft unterschätzten Posten: Stromkosten der Hardware, Arbeitszeit für Einrichtung und Wartung sowie gelegentliche Updates.
Schritt für Schritt zur Team-Lösung
- Bedarf klären: Wofür soll die KI genutzt werden? Textarbeit, Recherche, Code? Wie viele Personen, wie intensiv?
- Modell wählen: Für die meisten Büroaufgaben reicht ein gutes Modell im 8B- bis 14B-Bereich mit solider deutscher Sprache.
- Hardware beschaffen: Eine Workstation oder ein Server mit ausreichend VRAM für das gewählte Modell plus Reserve für gleichzeitige Nutzer.
- Software aufsetzen: Modell-Runner installieren, Weboberfläche einrichten, Nutzerkonten anlegen.
- Pilotbetrieb: Mit einer kleinen Gruppe starten, Rückmeldungen sammeln, Modell und Einstellungen feinjustieren.
- Rollout und Schulung: Team einweisen, klare Regeln festlegen, welche Daten in die KI dürfen.
Worauf du beim Betrieb achten musst
- Verfügbarkeit: Fällt der Server aus, steht das Team. Ein klarer Ansprechpartner und ein Notfallplan gehören dazu.
- Updates: Modelle und Software entwickeln sich rasant. Plane regelmäßige Wartungsfenster ein.
- Zugriffsschutz: Die Oberfläche sollte nur im internen Netz erreichbar sein und Nutzerkonten haben.
- Backups: Konfigurationen und etwaige eigene Dokumentensammlungen sichern.
- Erwartungsmanagement: Ein lokales Modell ist nicht zwingend so stark wie das größte Cloud-Modell. Klare Kommunikation verhindert Enttäuschung.
Der oft entscheidende Nebeneffekt: Datenhoheit
Neben den Kosten ist die Datenhoheit für viele Betriebe das eigentliche Argument. Verträge, Kundendaten, interne Strategien: All das bleibt im Haus, wenn die KI lokal läuft. Das vereinfacht den Datenschutz erheblich und macht KI auch für Branchen nutzbar, in denen Cloud-Lösungen heikel sind. Wer diesen Aspekt vertiefen will, findet weitere Artikel zu lokaler KI und Datenschutz in unseren News und passende Rechner in den Webtools.
Eigenes Firmenwissen einbinden
Ein zentraler Mehrwert gegenüber generischen Cloud-Chats: Du kannst das lokale System mit eurem eigenen Wissen verbinden. Über ein lokales RAG-System lassen sich Handbücher, interne Richtlinien, Produktdatenblätter oder die FAQ-Sammlung des Supports einbinden. Mitarbeitende fragen dann in natürlicher Sprache nach, und die KI antwortet auf Basis eurer echten Dokumente, statt allgemein zu raten. Da alles lokal läuft, verlassen auch diese Dokumente das Haus nicht. Gerade für Onboarding, Support und interne Recherche ist das ein spürbarer Produktivitätsgewinn.
Akzeptanz im Team sicherstellen
Technik ist nur die halbe Miete. Der häufigste Grund für gescheiterte KI-Einführungen ist nicht die Hardware, sondern fehlende Akzeptanz. Drei Punkte helfen:
- Konkrete Anwendungsfälle zeigen: Statt „nutzt mal KI“ lieber zwei, drei klare Beispiele aus dem echten Arbeitsalltag demonstrieren.
- Grenzen offen kommunizieren: Das Modell macht Fehler und erfindet gelegentlich Inhalte. Wer das von Anfang an weiß, ist nicht enttäuscht und prüft Ergebnisse kritisch.
- Datenschutz als Pluspunkt verkaufen: Dass nichts das Haus verlässt, nimmt vielen die Scheu, die KI mit echten Inhalten zu füttern.
Häufige Fragen
Ab wie vielen Mitarbeitenden lohnt sich Self-Hosting?
Eine pauschale Zahl gibt es nicht, weil es stark von der Nutzungsintensität abhängt. Tendenziell rechnet sich eigene Hardware ab einer mittleren zweistelligen Nutzerzahl oder bei intensiver Dauernutzung schneller. Der Kostenvergleichsrechner liefert für deine konkreten Zahlen eine belastbare Antwort.
Brauche ich eigenes IT-Personal?
Für die Ersteinrichtung sind solide IT-Kenntnisse hilfreich, danach ist der laufende Betrieb überschaubar. Kleine Betriebe ohne eigene IT lassen die Einrichtung oft einmalig von einem Dienstleister machen und betreiben das System danach selbst. Updates und gelegentliche Wartung bleiben aber nötig.
Können mehrere Personen gleichzeitig arbeiten?
Ja. Der Modell-Runner verarbeitet Anfragen nacheinander, kann aber mehrere parallele Sitzungen verwalten. Bei vielen gleichzeitigen Nutzern sinkt die Geschwindigkeit pro Anfrage, weshalb man die Hardware auf die realistische Gleichzeitigkeit auslegt, nicht auf die Gesamtzahl der Mitarbeitenden.
Was passiert mit den Daten der Mitarbeitenden?
Bei einer rein lokalen Lösung bleiben alle Eingaben auf der firmeneigenen Hardware. Es empfiehlt sich, in der Weboberfläche festzulegen, ob und wie lange Gesprächsverläufe gespeichert werden, und das transparent zu kommunizieren. So profitiert das Team vom Datenschutzvorteil, ohne dass intern Unklarheit entsteht.