Lokales KI-Modell im Unternehmen: Gemma 4, Hardware und Kosten

Das Buchhaltungsbüro will keine Kundenrechnungen in ChatGPT einfügen. Die Kanzlei möchte Verträge lieber nicht in die Cloud schicken, und der Shop würde gern Hunderte Produktbeschreibungen schreiben, ohne für jede Anfrage zu zahlen. In jeder dieser Situationen lohnt es sich, ein lokales KI-Modell im Unternehmen in Betracht zu ziehen, also eine künstliche Intelligenz, die auf Ihrem Computer oder Server läuft und keine Inhalte an einen Anbieter sendet.

Ich zeige, was Gemma 4 von Google kann, welche Hardware ausreicht und was das im Vergleich zur Cloud kostet. Ich beschreibe den Stand von Anfang November 2026.

Was ein lokales KI-Modell ist und was Gemma 4 kann

ChatGPT oder Gemini laufen auf den Servern der Anbieter. Ein lokales Modell laden Sie einmal herunter, danach rechnet alles Ihr Computer. Der Inhalt einer E-Mail, eines Vertrags oder einer Rechnung verlässt das Unternehmen nicht, und für Anfragen zahlen Sie nichts.

Es genügen kostenlose Programme. Das einfachste ist Ollama (Windows, macOS, Linux): Sie installieren es, geben einen Befehl ein und unterhalten sich mit dem Modell. Für ein Team ergänzt man einen Chat im Browser, z. B. Open WebUI, der ohne Internet läuft und Konten für mehrere Personen sowie Wissensdatenbanken aus Dokumenten unterstützt.

Gemma 4 ist eine Familie offener Google-Modelle, die Anfang April 2026 erschienen ist. Es ist die erste Gemma unter der Lizenz Apache 2.0, die den Einsatz im Unternehmen ohne Lizenzgebühren erlaubt. Es gibt fünf Größen:

• E2B und E4B: kleine Modelle für Laptops und Telefone („E“ steht für effektive 2 bzw. 4 Mrd. Parameter),
• 12B: ein mittleres Modell für Computer mit Grafikkarte,
• 26B A4B: ein Modell vom Typ MoE (Mixture of Experts), das bei jedem Wort etwa 4 Mrd. Parameter nutzt und deshalb meist schneller antwortet als 31B, aber alles im Speicher hält,
• 31B: das größte Modell, in dem alle Parameter arbeiten.

Laut der Google-Dokumentation verstehen alle Größen Text und Bild, E2B, E4B und 12B zusätzlich Audio. Die kleinen Modelle lesen bis zu 128.000 Tokens auf einmal, die größeren bis zu 256.000, sodass auch lange Verträge hineinpassen. Die Modelle können angebundene Werkzeuge nutzen und haben für schwierigere Aufgaben einen Denkmodus. Laut Modellkarte wurde Gemma 4 mit mehr als 140 Sprachen trainiert und unterstützt „out of the box“ mehr als 35. Prüfen Sie die Qualität des Modells im Polnischen daher an Ihren eigenen Texten.

Die polnische Alternative: Bielik

Bielik ist ein polnisches Modell, das von der Stiftung SpeakLeash und dem ACK Cyfronet AGH entwickelt wird. Die neueste Linie ist Version 3, z. B. Bielik 11B v3.0 und das kleinere Minitron 7B v3.0. Es steht unter Apache 2.0 und ist auf Polnisch ausgerichtet, arbeitet aber nur mit Text; für Bilder und Audio ist Gemma besser geeignet. Details finden Sie auf bielik.ai. Es lohnt sich, beide Modelle an denselben Aufgaben zu testen.

Wofür lokale KI im Unternehmen und im Shop taugt

Ein lokales Modell eignet sich am besten für wiederkehrende Textarbeit, bei der die Daten nicht nach außen gelangen sollen:

• Chat für das Team: Entwürfe von Schreiben, Übersetzungen und Textkorrekturen, nur auf Ihrer Hardware.
• Antworten aus Firmendokumenten: Das Modell sucht in AGB, Verfahrensanweisungen und Preislisten.
• Produktbeschreibungen: Hunderte Beschreibungen aus Herstellerdaten ohne Gebühren pro Anfrage.
• Entwürfe für E-Mails und Antworten auf Reklamationen: Das Modell schreibt eine Rohfassung, ein Mensch prüft sie.
• Zusammenfassungen von Verträgen und Notizen: Fristen, Beträge und Pflichten in wenigen Stichpunkten.
• Auslesen von Rechnungen und Fotos: Daten aus der Rechnung in eine Tabelle, eine Beschreibung des Produktfotos.

Ein Prompt zum Testen:

Erstelle einen Entwurf für die Antwort auf die folgende Reklamation. Ton höflich und sachlich, höchstens 120 Wörter. Versprich keine Rückerstattung, bevor die Reklamation geprüft ist. Liste am Ende auf, was wir noch klären müssen. [Text der Reklamation]

Soll das Modell selbstständig handeln, etwa den Lagerbestand prüfen oder Aufgaben im CRM anlegen, ist das bereits Prozessautomatisierung.

Lokale KI als Wächter der Sicherheit: Sie liest Logs und warnt

Server, Website, E-Mail und Firewall protokollieren in Logs jede Anmeldung und jede verdächtige Anfrage. In einem kleinen Unternehmen liest diese Dateien niemand täglich. Ein lokales Modell kann das übernehmen: Jede Stunde oder einmal am Tag erhält es einen frischen Ausschnitt der Logs und schreibt in einfacher Sprache, was verdächtig aussieht, zum Beispiel eine Serie fehlgeschlagener Anmeldungen an einem Konto oder das Scannen von Hunderten Adressen der Website innerhalb weniger Minuten. Die Warnung geht per E-Mail oder an einen Messenger, und die Logs mit IP-Adressen und Benutzernamen verlassen Ihr Haus nicht Richtung Cloud.

Ein Beispiel-Prompt:

Unten stehen die Anmelde-Logs eines Servers der letzten 24 Stunden. Liste in einfacher Sprache die verdächtigen Ereignisse auf: Serien fehlgeschlagener Anmeldungen, Anmeldungen zu ungewöhnlicher Zeit, das Scannen vieler Adressen. Nenne bei jedem die Uhrzeit, die IP-Adresse und das Risiko: niedrig, mittel oder hoch. Ergänze keine Ereignisse, die nicht in den Logs stehen.

Ehrlich zu den Grenzen: Das ist ein zusätzliches Paar Augen und kein Sicherheitssystem. Das Modell ersetzt weder Fachleute noch Updates, Backups oder Werkzeuge, die Angriffe selbst blockieren (z. B. fail2ban). Es kann einen Angriff übersehen oder Fehlalarm auslösen, und große Logs müssen zuerst per Skript gefiltert werden. In den Logs steht außerdem Text, den ein Angriff selbst eingeschleust haben kann, deshalb berichtet das Modell nur und erhält keine Berechtigungen für Änderungen am Server. Die Absicherung des Servers, das Monitoring und einen Plan für den Störfall übernehme ich im Rahmen der Leistung Cybersicherheit für Ihr Projekt.

Welche Hardware: drei Stufen

Am wichtigsten ist der Speicher: der der Grafikkarte (VRAM) oder der gemeinsame Speicher bei Mac-Computern und Mini-PCs mit AMD-Ryzen-AI-Prozessoren. Google nennt in der Gemma-Dokumentation, wie viel Speicher allein die Modellgewichte brauchen, einschließlich 20 % Reserve:

Die Tabelle berücksichtigt nicht den Kontext, also den Text, den das Modell liest. Je länger das Dokument und je mehr Personen gleichzeitig fragen, desto mehr Speicher brauchen Sie über diese Zahlen hinaus. Daraus ergeben sich drei Stufen:

1. Zum Ausprobieren: der Computer, den Sie schon haben. Ein Laptop mit 16 GB Speicher führt E2B und E4B sogar ohne Grafikkarte aus, nur langsamer. Das genügt für Tests und die Arbeit einer Person.
2. Für ein kleines Team: eine Karte mit 16 GB VRAM. Das Modell 12B passt mit Reserve für längere Dokumente hinein und bedient einen Chat für einige Personen sowie Produktbeschreibungen.
3. Leistungsstarker Firmenserver: 32 GB VRAM oder viel gemeinsamer Speicher. Eine RTX 5090 (32 GB) oder ein Mini-PC mit AMD Ryzen AI Max+ 395 und 128 GB Speicher führt 26B A4B und 31B mit langem Kontext aus.

Die Antwortgeschwindigkeit hängt von der Hardware, der Modellversion und den Einstellungen ab, prüfen Sie sie also vor dem Kauf an Ihrer eigenen Aufgabe.

Was es kostet und wann die Cloud günstiger ist

2026 sind die Preise für Karten und Speicher stark gestiegen und ändern sich oft, betrachten Sie diese Beträge deshalb als Richtwerte (Ladenpreise):

• RTX 5060 Ti 16 GB: etwa 3.000 PLN laut ppe.pl vom August 2026,
• RTX 5090 32 GB: etwa 30.000 PLN in polnischen Geschäften laut benchmark.pl vom 20. September 2026, bei einer unverbindlichen Preisempfehlung von NVIDIA von 9.100 PLN,
• Mini-PC mit Ryzen AI Max+ 395 und 128 GB: etwa 3.900 € in der EU im Februar 2026.

Die Leistung Lokales KI-Modell im Unternehmen kostet bei mir ab 2.990 PLN netto zuzüglich Hardware: Ich wähle die Hardware aus, installiere das Modell und teste es an Ihren Aufgaben. Die Betreuung kostet ab 199 PLN netto pro Monat.

In dem Ratgeber ChatGPT oder Gemini für Unternehmen habe ich mit etwa 100 PLN pro Person und Monat für einen Firmentarif in der Cloud gerechnet, ohne MwSt. Das Beispiel gilt für 5 Personen, wenn die Karte in einen Computer kommt, den Sie bereits haben. Alle Beträge sind netto: Ein MwSt.-pflichtiges Unternehmen zieht die Vorsteuer auf die Karte ab, daher entsprechen 3.000 PLN im Laden etwa 2.440 PLN netto.

Nach dem ersten Jahr kommt das lokale Modell günstiger, und weitere Personen erhöhen die Kosten nicht, solange die Hardware reicht.

Ein lokales Modell ist nicht sinnvoll, wenn:

• die Aufgaben sehr anspruchsvoll sind: Bei komplexen Analysen sind die stärksten Modelle in der Cloud meist besser,
• Sie KI selten nutzen: Bei wenigen Fragen pro Woche ist ein Tarif in der Cloud günstiger,
• sich niemand darum kümmert: Updates, Backups und der Ausfall des Computers sind Ihre Sache.

Oft ist die Kombination am besten: ein lokales Modell für sensible Daten, die Cloud für den Rest. Diese Aufteilung lege ich in der Leistung KI im Unternehmen einführen fest.

DSGVO und AI Act: Die Daten bleiben im Unternehmen, die Pflichten auch

Bei einem lokalen Modell gelangt der Inhalt nicht zu einem Anbieter, daher entfällt die Frage nach dem Training mit Ihren Daten und nach der Weitergabe außerhalb der EU. Die DSGVO gilt aber weiterhin:

• legen Sie fest, wer Zugriff auf den Chat und die Dokumentendatenbank hat (eigene Konten statt eines gemeinsamen Passworts),
• entscheiden Sie, wie lange Sie den Gesprächsverlauf speichern,
• sichern Sie den Computer mit dem Modell ab: Festplattenverschlüsselung, Backups, Updates,
• hat ein externes Unternehmen Zugriff auf den Server, zum Beispiel im Rahmen der Betreuung, schließen Sie einen Auftragsverarbeitungsvertrag.

Achten Sie auf eine Falle: Ollama-Modelle mit dem Zusatz cloud (z. B. gemma4:cloud) laufen auf den Servern von Ollama, der Inhalt verlässt also das Unternehmen. Schalten Sie die Cloud-Funktionen in den Einstellungen aus. Einen eigenen, verschlüsselten Server für Kundendaten in Polen oder der EU richte ich in der Leistung Kundendaten in der EU ein.

Spricht das Modell mit Kundschaft, zum Beispiel als KI-Chatbot auf der Website, verlangt Art. 50 AI Act (EU-KI-Verordnung) seit dem 2. August 2026, dass die Kundschaft weiß, dass sie mit einer KI spricht. Den Chat passe ich im Rahmen des AI-Act-Pakets an. Das ist eine allgemeine Information und keine Rechtsberatung.

Einführung Schritt für Schritt: zuerst testen, dann kaufen

1. Wählen Sie 5 bis 10 echte Aufgaben: eine E-Mail mit Reklamation, einen Vertrag zum Zusammenfassen, Produkte zum Beschreiben, einen Rechnungsscan.
2. Starten Sie ein kleines Modell auf dem Computer, den Sie schon haben. Installieren Sie Ollama und geben Sie im Terminal ein:

ollama run gemma4:e4b

Beim ersten Start wird das Modell heruntergeladen (einige GB). Auf einem leistungsstärkeren Computer probieren Sie auch gemma4:12b. Eine Anleitung bietet Google in der Gemma-Dokumentation.

3. Vergleichen Sie mit der Cloud. Geben Sie dieselben Aufgaben, ohne personenbezogene Daten, einem Modell in der Cloud. Bewerten Sie Sprachqualität im Polnischen, Fehler und Wartezeit.
4. Wählen Sie die Hardware passend zum Modell, das den Test bestanden hat, und nicht umgekehrt. Wenn E4B reicht, kaufen Sie keine teure Karte.
5. Richten Sie den Chat für das Team ein: Konten, Wissensdatenbank aus Dokumenten, Backups.
6. Halten Sie Regeln schriftlich fest. Das Modell irrt sich, daher prüft ein Mensch Zahlen, Fristen und Antworten an Kundschaft immer.

Zusammenfassung

Ein lokales KI-Modell im Unternehmen ist sinnvoll, wenn Sie mit Daten arbeiten, die nicht in die Cloud gelangen sollen, oder wenn Ihr Team viel schreibt und Sie nicht für jede Anfrage zahlen möchten. Gemma 4 und Bielik sind auch für die kommerzielle Nutzung kostenlos, und ein Test auf dem eigenen Computer kostet nichts. Kaufen Sie Hardware erst, wenn das Modell den Test an Ihren Aufgaben bestanden hat.

Möchten Sie, dass ich die Hardware auswähle, das Modell installiere und das Lesen der Logs einrichte, sehen Sie sich die Leistung Lokales KI-Modell im Unternehmen an oder schreiben Sie mir. Ich antworte innerhalb von 24 Stunden.