Bijgewerkt op 10 oktober 2026. Deze gids is voor wie moet beslissen, niet voor wie het installeert. Bronnen staan onderaan.
Wie bij OpenAI de strengste Europese instelling kiest, leest in de uitleg van OpenAI zelf een zin die veel mensen verrast. Ook als je gegevens in de EER worden opgeslagen en het model daar zijn werk doet, kan een deel van de verwerking nog buiten die regio gebeuren, zoals het uitlezen van een pdf die je uploadt. Voor de meeste kantoren is dat geen probleem. Voor een kantoor waar dossiers het pand niet uit mogen, is het de reden om verder te kijken: naar een model dat bij jou staat.
Dat is lokale AI. Hieronder lees je wat het is, wanneer het zin heeft en wanneer niet, wat je ervoor nodig hebt, en wat je inlevert ten opzichte van de cloud.
Wat is lokale AI?
Een taalmodel als dat achter ChatGPT is in de kern een groot bestand met getallen, plus software die er tekst mee maakt. Bij ChatGPT staat dat bestand bij OpenAI en stuur je je vraag daarheen. Bij lokale AI staat het op een computer die jij beheert: in de meterkast van je kantoor, in een serverruimte, of bij een hostingpartij die jij kiest en waarmee je zelf afspraken maakt.
Dat kan omdat een deel van de makers hun modellen vrijgeeft om zelf te draaien. Dat heten open modellen (of "open-weight" modellen). Een voorbeeld is de Ministral 3-reeks van het Franse Mistral AI, in december 2025 uitgebracht in drie maten en volgens Mistral bedoeld voor lokaal gebruik, onder de vrije Apache 2.0-licentie.
Wat je intypt of uploadt, verlaat je eigen omgeving dan niet. De Autoriteit Persoonsgegevens waarschuwde in 2024 dat de meeste bedrijven achter chatbots alles opslaan wat je invoert, vaak zonder dat de gebruiker dat beseft. Bij een lokaal model is er geen bedrijf achter de chatbot dat meekijkt. De plichten die zo'n bedrijf heeft, zoals beveiliging en bewaartermijnen, liggen dan wel bij jou.
Lokale AI is daarmee iets anders dan data in eigen beheer bij een cloudtoepassing. Daar staat de opslag bij jou en loopt de verwerking via een leverancier met een verwerkersovereenkomst. Bij lokale AI blijft ook de verwerking binnen.
Wanneer heeft lokale AI zin?
Loop deze vragen langs. Hoe vaker je "ja" zegt, hoe sterker de zaak voor lokaal.
Mogen de gegevens je kantoor eigenlijk niet uit? Bij een geheimhoudingsplicht (advocaat, notaris, accountant, zorg) is dat de kernvraag. Een verwerkersovereenkomst regelt de AVG, maar je beroepsregels kunnen strenger zijn. De Nederlandse Orde van Advocaten zegt over vertrouwelijke cliëntstukken in een AI-tool: "Alleen met stevige contractuele waarborgen of bij gebruik van on-premise oplossingen." On-premise is precies dit: het model op eigen hardware. Meer per beroep in AI-beleid opstellen.
Is de taak afgebakend? Een lokaal model doet het best met een duidelijke klus: zoeken in je eigen kennisbank of handboek, een document samenvatten, gegevens uit een formulier halen. Voor "alles vragen wat in je opkomt" is een groot cloudmodel sterker.
Wordt het veel gebruikt, door meerdere mensen? Een lokale server kost vooraf geld en daarna beheer, ongeacht hoeveel je hem gebruikt. Bij een paar vragen per week is dat zelden de moeite.
Is er iemand die het beheert? Een server die niemand bijwerkt, is na een jaar een risico in plaats van een oplossing.
Zeg je bij de eerste vraag "nee", dan is een zakelijk cloudaccount met verwerkersovereenkomst meestal de eenvoudigere keuze. Welke versie van ChatGPT daarvoor in aanmerking komt, staat in Is ChatGPT AVG-proof?
Wat heb je nodig?
Hardware. Een computer met een stevige videokaart, want daar draait het model op. Hoe groter het model, hoe zwaarder die kaart moet zijn. Kleine modellen draaien volgens de maker Mistral al op een gewone pc of laptop met een goede videokaart; de allergrootste modellen horen in een datacenter. Wat jouw kantoor nodig heeft, hangt af van de taak en van hoeveel mensen er tegelijk mee werken. Dat probeer je eerst uit op een kleine opstelling, voordat je hardware koopt.
Een model en de software eromheen. Het model download je bij de maker. Om het te draaien en voor medewerkers bruikbaar te maken, is er software, zoals Ollama. Let op de instellingen: Ollama zegt zelf dat je open modellen "lokaal of in de cloud" kunt gebruiken. Wie lokaal wil, controleert dat de cloudkant uit staat.
Een toepassing, niet alleen een chatvenster. De waarde zit zelden in een leeg chatvenster. Die zit in een koppeling met je eigen documenten, zodat het model antwoord geeft uit jouw handboek of jouw dossiers, met de bron erbij.
Beheer. Updates van het besturingssysteem en de software, back-ups, toegangsrechten, versleuteling van de opslag, en iemand die merkt dat er iets niet werkt. Lokaal is niet vanzelf veilig: je haalt het risico van de leverancier weg en legt het bij jezelf neer.
Lokaal of cloud: de afweging
| Zakelijke cloud (met verwerkersovereenkomst) | Lokaal model | |
|---|---|---|
| Waar je gegevens staan | Bij de leverancier, soms met keuze voor een regio | Op hardware die jij beheert |
| Wie erbij kan | Jij, plus de leverancier volgens zijn voorwaarden | Alleen wie jij toegang geeft |
| Kwaliteit van het model | De grootste en nieuwste modellen | Kleinere modellen; per taak testen of het genoeg is |
| Kosten | Per gebruiker of per gebruik, maandelijks | Vooraf hardware, daarna stroom en beheer |
| Beheer | Bij de leverancier | Bij jou of bij wie je dat uitbesteedt |
| Nieuwe functies | Komen vanzelf | Zelf bijwerken |
| Afhankelijkheid | Voorwaarden en prijzen van de leverancier kunnen wijzigen | Licentie van het model; hardware veroudert |
Er zit ook iets tussen. Je kunt de opslag bij jou houden en alleen de verwerking via een leverancier laten lopen. Of je laat gevoelige taken lokaal draaien en gebruikt de cloud voor de rest, zoals teksten zonder namen. Die keuze kun je per taak maken.
Een lokale AI-agent
Een agent is AI die niet alleen antwoordt, maar ook iets doet: een document opzoeken, een concept klaarzetten, een mail sorteren. Dat kan ook lokaal, met een lokaal model en toegang tot je eigen systemen. De gegevens blijven dan binnen.
Wat niet verandert: een agent die iets mag doen, moet ook weten wat hij niet mag. Leg vast welke systemen hij mag lezen, waar hij alleen mag voorstellen en waar een mens beslist. Een lokaal model maakt niet minder fouten dan een cloudmodel, vaak eerder meer, omdat het kleiner is. Controle door een mens blijft nodig, en dat je medewerkers dat weten, valt onder de AI-geletterdheid uit de AI Act; zie AI Act voor het mkb.
Hoe ik het aanpak
Ik bouw AI-toepassingen die een concrete taak overnemen, waaronder assistenten op je eigen kennis en documenten. Bij elke toepassing begint het met de vraag waar de gegevens landen: op je eigen server, in eigen beheer of bij een hostingpartij die we samen kiezen. Moet alles binnen één omgeving blijven, ook het model, dan is dat een maatwerktraject. Dan leggen we vooraf vast welke taak het model krijgt, welk model dat aankan en wie het beheert. Wil je weten wat voor jouw kantoor past? Neem contact op.
Wil je uitleg of een training voor je team? Vraag het aan via de contactpagina.
Veelgestelde vragen
Wat is lokale AI?
Lokale AI is een taalmodel dat draait op een computer die jij beheert, op kantoor of in een serverruimte naar keuze, in plaats van bij een aanbieder als OpenAI. Wat je typt of uploadt, gaat dan niet naar die aanbieder. Je gebruikt daarvoor een open model: een model waarvan de maker de bestanden vrijgeeft om zelf te draaien.
Wat is een lokale AI-server?
Een computer met een krachtige videokaart (GPU) waarop het taalmodel draait, met daaromheen de software waarmee medewerkers het gebruiken. Hoe groot het model mag zijn, hangt vooral af van die videokaart. Mistral noemt voor zijn kleine modellen pc's en laptops met een goede videokaart. Zijn grootste model vraagt een server met acht datacenter-GPU's.
Welke lokale AI-modellen zijn er?
Er zijn open modellen van verschillende makers, in maten van een paar miljard tot honderden miljarden parameters. Een voorbeeld: Mistral AI bracht in december 2025 de Ministral 3-reeks uit in drie maten (3, 8 en 14 miljard parameters), bedoeld voor lokaal gebruik, onder de Apache 2.0-licentie. Kijk per model welke licentie geldt; die verschilt per maker.
Zijn lokale AI-modellen veilig?
Het model zelf stuurt niets weg, maar veilig wordt het pas met de inrichting eromheen: wie erbij kan, of de opslag versleuteld is, of er back-ups zijn, en of de software geen cloudfunctie aan heeft staan. Sommige programma's om modellen te draaien kunnen zowel lokaal als in de cloud werken. Download modellen alleen van de officiële pagina van de maker.
Wat is een lokale AI-agent?
Een agent is AI die niet alleen antwoord geeft maar ook iets doet: een document opzoeken, een concept klaarzetten, een bestand ordenen. Een lokale agent doet dat op je eigen systemen, met een lokaal model. De gegevens blijven dan binnen, maar je moet nog steeds vastleggen wat de agent wel en niet mag, en waar een mens meekijkt.
Is lokale AI beter dan ChatGPT?
Dat hangt af van de taak. De grootste cloudmodellen zijn breder en sterker in algemene vragen. Een lokaal model wint op de plek van je gegevens en op onafhankelijkheid van een aanbieder. Voor een afgebakende taak op eigen documenten kan een kleiner lokaal model genoeg zijn; dat test je op je eigen materiaal voordat je kiest.
Bronnen
Alle bronnen geraadpleegd op 10 oktober 2026.
- OpenAI Help Center, Data residency and inference residency for ChatGPT: "Non-GPU processing may still occur globally", wat buiten de regio kan blijven. help.openai.com/en/articles/9903489
- Mistral AI, Introducing Mistral 3 (2 december 2025): Apache 2.0-licentie, Ministral 3 in 3B, 8B en 14B "for edge and local use cases", RTX-pc's en laptops, Mistral Large 3 op één node met 8×A100 of 8×H100. mistral.ai/news/mistral-3
- Ollama, homepage: "Access the latest open models with complete privacy locally or in the cloud." ollama.com
- Nederlandse Orde van Advocaten, AI in de advocatuur: basisbegrippen en veelgestelde vragen (pdf, november 2025), vraag 3a. advocatenorde.nl
- Autoriteit Persoonsgegevens, Let op: gebruik AI-chatbot kan leiden tot datalekken (6 augustus 2024): de meeste bedrijven achter chatbots slaan alle ingevoerde gegevens op. autoriteitpersoonsgegevens.nl
Let op
Dit artikel is een algemene uitleg, geen juridisch of technisch advies voor jouw situatie. Modellen, licenties en hardware veranderen snel; controleer de bronnen hierboven op de actuele stand. Of een opstelling voldoet aan de AVG en je beroepsregels, laat je toetsen door een jurist.