Lokale KI für Unternehmen: ein Entscheidungsleitfaden

Stand: 10. Oktober 2026. Dieser Leitfaden ist für die Person, die entscheidet, nicht für die, die installiert. Alle Quellen stehen am Ende.

Wer ein multimodales Modell aus Metas Llama-4-Reihe auf einen eigenen Server in Aachen laden möchte, stößt in Metas Nutzungsrichtlinie auf einen Satz, der ihn ausschließt. Die Rechte aus der Lizenz werden für diese Modelle nicht gewährt, wenn Sie „a company with a principal place of business in, the European Union“ sind. Die Datei ist frei herunterladbar. Die Lizenz gilt für Sie trotzdem nicht.

Die Technik für lokale KI ist inzwischen zugänglich. Ob sie zu Ihrem Unternehmen passt, entscheidet sich an Lizenz, Aufgabe, Hardware und Betrieb, und das kann auch jemand ohne IT-Ausbildung beurteilen. Hier finden Sie die Fragen, die Sie dafür stellen müssen, einen Vergleich verbreiteter offener Modelle und einen Weg, vor dem Kauf zu testen.

Was ist lokale KI?

Ein Sprachmodell wie das hinter ChatGPT ist im Kern eine große Datei mit Zahlen, dazu Software, die damit Text erzeugt. Bei ChatGPT liegt diese Datei bei OpenAI, und Ihre Frage geht dorthin. Bei lokaler KI liegt sie auf einem Rechner, den Sie verwalten: im Serverschrank Ihres Büros, in einem Rechenzentrum oder bei einem Hoster, den Sie wählen und mit dem Sie selbst Verträge schließen.

Das geht, weil manche Hersteller ihre Modelle zum eigenen Betrieb freigeben. Man nennt sie offene Modelle oder „Open-Weight“-Modelle. Sogar OpenAI hat im August 2025 zwei solche Modelle veröffentlicht, gpt-oss-20b und gpt-oss-120b.

Was Sie eingeben oder hochladen, verlässt Ihre Umgebung dann nicht. Das Bundesamt für Sicherheit in der Informationstechnik beschreibt das Risiko der Cloud-Variante nüchtern: Neben dem Abfluss bei der Übertragung bestehe die Möglichkeit, dass der Betreiber auf die Daten zugreift und sie gegebenenfalls zum Training nutzt. Bei einem lokalen Modell gibt es diesen Betreiber nicht. Seine Pflichten, etwa Sicherheit und Löschfristen, liegen dann aber bei Ihnen.

Welche KI ist DSGVO-konform?

Keine von sich aus. Die DSGVO verpflichtet Ihr Unternehmen, nicht das Werkzeug. Eine Cloud-KI mit Auftragsverarbeitungsvertrag kann zulässig sein. Welche ChatGPT-Version dafür in Frage kommt, steht in ChatGPT DSGVO-konform nutzen.

Die Datenschutzkonferenz (DSK), das gemeinsame Gremium der deutschen Datenschutzaufsichtsbehörden, gibt der lokalen Variante aber einen klaren Vorzug: „Technisch geschlossene Systeme sind daher aus datenschutzrechtlicher Sicht vorzugswürdig.“ Und: Wer eine KI-Anwendung ausschließlich zu eigenen Zwecken auf eigenen Servern betreibt, ist „in der Regel auch als alleiniger Verantwortlicher anzusehen“. Es gibt dann keinen Auftragsverarbeiter und keine Übermittlung in ein Drittland. Die übrigen Pflichten bleiben: Rechtsgrundlage, Löschung, Auskunft und, wenn das Risiko hoch ist, eine Datenschutz-Folgenabschätzung.

Brauchen Sie lokale KI? Fünf Fragen

Gehen Sie diese Fragen der Reihe nach durch. Je öfter Sie mit Ja antworten, desto stärker spricht es für lokal.

1. Dürfen die Daten Ihr Haus eigentlich nicht verlassen? Bei einer Schweigepflicht ist das die Kernfrage. Die Bundessteuerberaterkammer schreibt in ihren FAQ zu KI: „Ein lokal installierbares System unter Kontrolle der Kanzlei bietet ggf. mehr Datenschutz, während ein Cloud-Dienst Updates und Wartung abnimmt.“ Für Kanzleien kommt § 203 StGB hinzu, und die Bundesrechtsanwaltskammer erlaubt die Weitergabe von Mandanteninformationen an KI-Anbieter nur unter den Voraussetzungen von § 43e BRAO. Auch ohne Berufsgeheimnis kann die Antwort Ja lauten, etwa wenn ein Vertrag mit Ihren Auftraggebern verlangt, dass deren Unterlagen Ihr Haus nicht verlassen.

2. Ist die Aufgabe klar umrissen? Ein lokales Modell arbeitet am besten mit einer konkreten Aufgabe: im eigenen Handbuch oder in Akten suchen, ein Dokument zusammenfassen, Angaben aus einem Formular übernehmen. Für „alles fragen, was einem einfällt“ ist ein großes Cloud-Modell stärker.

3. Wird es regelmäßig von mehreren Leuten genutzt? Ein eigener Server kostet vorab Geld und danach Pflege, unabhängig davon, wie viel er genutzt wird. Bei ein paar Fragen pro Woche lohnt sich das selten.

4. Gibt es jemanden, der ihn betreibt? Updates, Datensicherung, Zugriffsrechte, Verschlüsselung und jemand, der merkt, wenn etwas nicht läuft. Ein Server, den niemand pflegt, ist nach einem Jahr ein Risiko statt einer Lösung. Das kann intern sein oder ein Dienstleister, aber es muss feststehen.

5. Können Sie mit einem kleineren Modell leben? Ein Modell, das auf bezahlbarer Hardware läuft, ist kleiner als die Modelle hinter ChatGPT. Für eine klar umrissene Aufgabe reicht das oft. Ob es für Ihre reicht, zeigt nur ein Test.

Lautet die Antwort auf Frage 1 Nein, ist ein Cloud-Konto mit Auftragsverarbeitungsvertrag meist die einfachere Wahl. Lautet sie Ja, aber bei Frage 4 Nein, lösen Sie zuerst die Betriebsfrage, bevor Sie Hardware kaufen.

Welche lokale KI ist die beste?

Eine beste gibt es nicht. Es gibt ein Modell, das zu Ihrer Aufgabe, Ihrer Sprache, Ihrer Hardware und Ihrer Lizenzlage passt. Diese Tabelle zeigt verbreitete offene Modelle mit dem, was die Hersteller selbst angeben:

Llama 4 von Meta fehlt in der Tabelle mit Absicht: Für die multimodalen Modelle dieser Reihe erhalten Unternehmen mit Hauptsitz in der EU keine Rechte (siehe oben). Drei Dinge lesen Sie aus dem Vergleich ab.

Die Lizenz zuerst. Apache 2.0 räumt jedem eine kostenlose, unbefristete und weltweite Lizenz ein, das Modell zu nutzen, zu verändern und weiterzugeben. Andere Hersteller haben eigene Lizenzen mit eigenen Regeln, wie das Beispiel Llama 4 zeigt. Lassen Sie die Lizenz prüfen, bevor ein Modell in den Betrieb geht.

Die Sprache testen. OpenAI schreibt selbst, dass gpt-oss „on a mostly English, text-only dataset“ trainiert wurde. Das heißt nicht, dass es kein Deutsch kann, aber Sie sollten es mit Ihren deutschen Texten prüfen, bevor Sie sich festlegen.

Größe gegen Hardware. Je größer das Modell, desto mehr Speicher braucht die Grafikkarte. Die kleinen Modelle laufen laut Hersteller auf einem guten PC oder Laptop, die größten gehören ins Rechenzentrum.

Lokale KI mit eigenen Daten

Der Nutzen liegt selten in einem leeren Chatfenster. Er liegt darin, dass das Modell aus Ihren Dokumenten antwortet: aus dem Handbuch, den Vorlagen, den Akten. Der übliche Aufbau dafür heißt Retrieval-Augmented Generation (RAG). Das System sucht zuerst die passenden Stellen in Ihren Dokumenten heraus, und das Modell formuliert daraus eine Antwort, mit Verweis auf die Quelle.

Die DSK hat dazu im Oktober 2025 eine eigene Orientierungshilfe veröffentlicht. Darin heißt es, dass so ein System unter Umständen on-premise betrieben werden kann. „Dadurch kann vermieden werden, dass personenbezogene Daten an Online-Betreiber großer Sprachmodelle übertragen werden.“ Ein weiterer Vorteil aus derselben Orientierungshilfe: Daten in der Dokumentensuche lassen sich „einfach aktualisieren, löschen und beauskunften“, anders als Daten, die in einem Modell selbst stecken.

So testen Sie, bevor Sie kaufen

Ein Test beantwortet die Frage „reicht ein kleines Modell?“ besser als jede Vergleichstabelle. So geht es ohne große Investition:

1. Wählen Sie eine Aufgabe, nicht zehn. Zum Beispiel: Fragen von Mitarbeitenden zum internen Handbuch beantworten.
2. Sammeln Sie 20 echte Fragen, die in den letzten Wochen tatsächlich gestellt wurden, und schreiben Sie die richtige Antwort dazu.
3. Nehmen Sie Testdokumente ohne Personenbezug, etwa das Handbuch selbst oder Vorlagen.
4. Lassen Sie zwei oder drei Modelle antworten, auf einem vorhandenen Rechner mit guter Grafikkarte oder einem gemieteten Testsystem.
5. Zählen Sie, wie viele Antworten stimmen, wie viele eine richtige Quelle nennen und wie viele etwas erfinden.

Erst wenn ein Modell auf dieser Probe besteht, lohnt sich die Frage, welche Hardware Sie dauerhaft brauchen.

Was braucht ein lokaler KI-Server?

Hardware. Ein Rechner mit einer leistungsfähigen Grafikkarte. Wie groß sie sein muss, hängt vom Modell ab und davon, wie viele Personen gleichzeitig damit arbeiten. Die Herstellerangaben in der Tabelle oben geben die Spanne: von einem Gerät mit 16 GB Speicher bis zu einem Server mit acht Rechenzentrums-GPUs.

Ein Modell und die Software dazu. Das Modell laden Sie beim Hersteller herunter. Um es auszuführen und für Mitarbeitende bedienbar zu machen, gibt es Software wie Ollama. Achten Sie auf die Einstellungen: Ollama wirbt selbst damit, dass Sie offene Modelle „locally or in the cloud“ nutzen können. Wer lokal will, prüft, dass die Cloud-Funktion aus ist.

Eine Anwendung, nicht nur ein Chatfenster. Die Anbindung an Ihre Dokumente, mit Zugriffsrechten: Wer im Sekretariat arbeitet, sollte über die KI nicht an Personalakten kommen, an die er sonst auch nicht kommt.

Betrieb. Updates von Betriebssystem und Software, Datensicherung, Verschlüsselung der Festplatten, Protokolle, wer was gefragt hat. Ohne das ist ein lokaler Server nicht sicherer als die Cloud, denn das Risiko, das vorher beim Anbieter lag, liegt dann bei Ihnen.

Lokal oder Cloud: die Abwägung

Es gibt auch einen Mittelweg: Dokumente und Gesprächsprotokolle bleiben gespeichert bei Ihnen, und nur die einzelne Anfrage geht zur Verarbeitung an einen Anbieter unter Auftragsverarbeitungsvertrag. Was in der Anfrage steht, passiert den Anbieter dabei trotzdem. Oder Sie lassen sensible Aufgaben lokal laufen und nutzen die Cloud für den Rest, etwa Texte ohne Namen. Diese Wahl können Sie je Aufgabe treffen. Wie das bei einer Cloud-Anwendung mit der Speicherung aussieht, steht in Daten in eigener Hand.

Was Sie einen Anbieter fragen sollten

Bietet Ihnen jemand einen lokalen KI-Server oder eine „private KI“ an, helfen diese Fragen, Angebote zu vergleichen:

1. Welches Modell, unter welcher Lizenz? Und darf Ihr Unternehmen es nach dieser Lizenz nutzen?
2. Wo läuft es genau? In Ihrem Büro, in einem Rechenzentrum, und wer hat dort physischen Zugang?
3. Verlässt irgendetwas das System? Auch Telemetrie, Updates, Fehlerberichte oder eine Cloud-Funktion der Software.
4. Wie wurde es an Ihren Aufgaben getestet? Mit welchen Fragen, und wie viele Antworten waren richtig?
5. Wer pflegt es, und was passiert bei einem Ausfall? Updates, Datensicherung, Reaktionszeit.
6. Wie bekommen Sie Ihre Daten wieder heraus, wenn Sie den Anbieter wechseln?

Ein lokaler Agent: was er darf und was nicht

Ein Agent ist eine KI, die auch selbst etwas tut: ein Dokument suchen, einen Entwurf anlegen, eine E-Mail einsortieren. Das geht auch lokal. Was sich nicht ändert: Legen Sie fest, welche Systeme er lesen darf, wo er nur vorschlagen darf und wo ein Mensch entscheidet. Ein kleineres lokales Modell macht nicht weniger Fehler als ein Cloud-Modell, eher mehr. Dass Ihre Mitarbeitenden das wissen, gehört zur KI-Kompetenz nach der KI-Verordnung. Mehr dazu in KI-Kompetenz nach Art. 4 und in KI-Verordnung für KMU.

Wie ich es angehe

Ich bin Jos Kerris, Kerris ICT in Vaals, direkt an der Grenze zu Aachen. Für Kunden baue ich KI-Anwendungen, die eine konkrete Aufgabe übernehmen, etwa Assistenten auf eigenem Wissen und eigenen Dokumenten. Die Speicherung liegt dabei auf Infrastruktur, die Sie kontrollieren, die Modellschicht läuft über spezialisierte Anbieter unter Auftragsverarbeitungsvertrag. Soll alles in einer einzigen Umgebung bleiben, auch das Modell, ist das ein individuelles Projekt. Möchten Sie wissen, was KI für Ihr Unternehmen leisten kann, oder etwas bauen lassen? Nehmen Sie Kontakt auf. Informationen oder eine Schulung können Sie über die Kontaktseite anfragen.

Häufige Fragen

Was ist lokale KI?

Lokale KI ist ein Sprachmodell, das auf einem Rechner läuft, den Sie selbst verwalten, im Büro oder in einem Rechenzentrum Ihrer Wahl, statt bei einem Anbieter wie OpenAI. Was Sie eingeben oder hochladen, geht dann nicht an diesen Anbieter. Dafür nutzen Sie ein offenes Modell, dessen Hersteller die Modelldateien zum eigenen Betrieb freigibt.

Welche lokale KI ist die beste?

Eine beste gibt es nicht, nur eine passende für Ihre Aufgabe und Ihre Hardware. Prüfen Sie drei Dinge: die Lizenz (für die multimodalen Llama-4-Modelle erhalten Unternehmen mit Hauptsitz in der EU zum Beispiel keine Rechte), die Sprache (OpenAI hat gpt-oss laut eigener Angabe überwiegend mit englischen Texten trainiert) und die Größe, die Ihre Hardware tragen kann. Danach entscheidet ein Test mit Ihren eigenen Dokumenten.

Kann ich lokale KI mit eigenen Daten nutzen?

Ja. Üblich ist ein Aufbau, bei dem das System zuerst die passenden Stellen in Ihren Dokumenten sucht und das Modell daraus eine Antwort mit Quellenangabe formuliert (Retrieval-Augmented Generation, RAG). Laut Datenschutzkonferenz kann ein solches System unter Umständen on-premise betrieben werden, sodass keine personenbezogenen Daten an Online-Betreiber großer Sprachmodelle gehen.

Welche KI ist DSGVO-konform?

Keine KI ist von sich aus DSGVO-konform, denn die Pflichten liegen bei Ihrem Unternehmen. Eine Cloud-KI mit Auftragsverarbeitungsvertrag kann zulässig sein. Lokale KI nimmt den Anbieter aus der Kette: Wer eine KI-Anwendung ausschließlich zu eigenen Zwecken auf eigenen Servern betreibt, ist laut Datenschutzkonferenz in der Regel alleiniger Verantwortlicher.

Was braucht ein lokaler KI-Server?

Vor allem eine leistungsfähige Grafikkarte (GPU) mit genug Speicher, dazu Software, die das Modell ausführt und für Mitarbeitende bedienbar macht, und jemanden, der das System pflegt. OpenAI nennt für gpt-oss-20b Geräte mit 16 GB Speicher und für gpt-oss-120b eine einzelne GPU mit 80 GB. Mistral nennt für Mistral Large 3 einen Server mit acht Rechenzentrums-GPUs.

Ist lokale KI besser als ChatGPT?

Das hängt von der Aufgabe ab. Die großen Cloud-Modelle sind breiter und bei allgemeinen Fragen stärker. Ein lokales Modell gewinnt beim Ort Ihrer Daten und bei der Unabhängigkeit von einem Anbieter. Für eine klar umrissene Aufgabe mit eigenen Dokumenten kann ein kleineres lokales Modell genügen. Das testen Sie an Ihrem eigenen Material.

Quellen

Alle Quellen abgerufen am 10. Oktober 2026.

1. Meta, Llama 4 Acceptable Use Policy: keine Rechte an den multimodalen Llama-4-Modellen für Unternehmen mit Hauptsitz in der EU. llama.com/llama4/use-policy
2. Mistral AI, Introducing Mistral 3 (2. Dezember 2025): Apache 2.0, Ministral 3 in 3B, 8B und 14B „for edge and local use cases“, RTX-PCs und Laptops, Mistral Large 3 mit 675B/41B Parametern auf einem Server mit 8×A100 oder 8×H100. mistral.ai/news/mistral-3
3. OpenAI, Introducing gpt-oss (5. August 2025): Apache 2.0, 117B und 21B Parameter, 80 GB GPU bzw. 16 GB Speicher, „mostly English, text-only dataset“. openai.com/index/introducing-gpt-oss
4. Qwen-Team, Qwen3: Think Deeper, Act Faster (29. April 2025): offene Modelle von 0,6B bis 32B unter Apache 2.0, 119 Sprachen und Dialekte. qwenlm.github.io/blog/qwen3
5. Ollama, Startseite: „Access the latest open models with complete privacy locally or in the cloud.“ ollama.com
6. Datenschutzkonferenz, Orientierungshilfe Künstliche Intelligenz und Datenschutz, Version 1.0 (6. Mai 2024), Rn. 20 und 32. datenschutzkonferenz-online.de
7. Datenschutzkonferenz, Orientierungshilfe zu datenschutzrechtlichen Besonderheiten generativer KI-Systeme mit RAG-Methode, Version 1.0 (Stand Oktober 2025), Abschnitte 2.1 und 3.3. datenschutzkonferenz-online.de
8. Bundesamt für Sicherheit in der Informationstechnik, Generative KI-Modelle: Chancen und Risiken für Industrie und Behörden, Version 2.0 (17. Januar 2025), Risiko „Fehlende Vertraulichkeit eingegebener Daten“. bsi.bund.de
9. Bundessteuerberaterkammer, FAQ: KI im steuerberatenden Berufsstand (Stand 27. Januar 2026, Rechtsstand Juli 2025), Frage 4. bstbk.de
10. Bundesrechtsanwaltskammer, Hinweise zum Einsatz von künstlicher Intelligenz (KI) (Stand Dezember 2024), Abschnitt 3.1. brak.de
11. Apache Software Foundation, Apache License, Version 2.0, Abschnitt 2 (Grant of Copyright License). apache.org/licenses/LICENSE-2.0

Hinweis

Dieser Artikel ist eine allgemeine Erläuterung, keine Rechts- oder Technikberatung für Ihren Einzelfall. Modelle, Lizenzen und Hardware ändern sich schnell. Prüfen Sie die Quellen oben auf den aktuellen Stand. Ob ein Aufbau DSGVO und Berufsrecht genügt und ob eine Lizenz zu Ihrer Nutzung passt, lassen Sie von einer spezialisierten Kanzlei prüfen.