Faire tourner une IA en local, c'est exécuter un modèle d'intelligence artificielle sur une machine que vous contrôlez. Cette machine peut être un ordinateur portable, un serveur dans vos murs ou un processeur graphique (GPU) loué chez un hébergeur européen. Vos requêtes et vos documents ne partent plus chez OpenAI, Anthropic ou Google. En 2026, la démarche est devenue réaliste grâce aux modèles ouverts publiés par Mistral, Google, OpenAI ou Alibaba.
Trois motifs reviennent chez les dirigeants que j'accompagne. Ils veulent protéger les données clients et les documents stratégiques, et réduire leur dépendance au droit américain. Ils doivent aussi tenir la conformité au RGPD comme au règlement européen sur l'IA, l'AI Act. La bonne méthode tient en deux temps. Vous menez d'abord une preuve de concept (POC) sur un poste de travail, en quelques jours et presque sans budget. Vous passez ensuite à un serveur, seulement si le POC prouve que le modèle ouvert fait le travail.
Ce guide couvre les modèles à choisir, le matériel, les coûts en euros, l'état du droit en octobre 2026 et la méthode pour passer du test au déploiement. La sécurité des agents autonomes a son propre article, sur la sécurité des agents IA en entreprise. La répartition des rôles se lit dans celui sur la gouvernance de l'IA.
IA en local, IA souveraine, on-premise, que recouvrent ces termes ?
Une IA en local tourne sur une machine dont l'entreprise a la maîtrise. Le terme recouvre deux réalités. La première est le poste de travail, où le modèle est téléchargé puis exécuté hors ligne. La seconde est le serveur dédié, installé dans vos locaux (on-premise) ou loué en exclusivité chez un hébergeur.
L'IA souveraine désigne une chaîne entièrement soumise au droit européen, du modèle à l'hébergement. Une IA locale sur un serveur que vous contrôlez l'est par construction. Une API d'éditeur hébergée en Europe peut l'être aussi, à condition que l'éditeur échappe au droit américain.
Le vocabulaire des modèles mérite une précision. La plupart des modèles dits open source sont en réalité à poids ouverts (open-weight). Vous téléchargez le fichier du modèle et l'exécutez où vous voulez, mais les données d'entraînement restent privées. Les licences varient aussi d'un modèle à l'autre. Gemma 4 et gpt-oss sont sous licence Apache 2.0, alors que Mistral Medium 3.5 exige une licence commerciale au-delà d'environ 17 millions d'euros de chiffre d'affaires mensuel.
Pourquoi les entreprises veulent faire tourner l'IA en local
Quatre raisons reviennent, et la première pèse plus que les trois autres réunies. Selon l'Insee, 43 % des entreprises qui utilisent l'IA se disent freinées par des inquiétudes sur la protection des données. Le chiffre vient d'une étude publiée en juillet 2026.
- La confidentialité. Les contrats clients, les dossiers RH, les données de santé ou un projet de cession doivent rester dans l'entreprise. Un modèle local les traite sans qu'aucun tiers ne les voie passer.
- La souveraineté. Le Cloud Act permet aux autorités américaines d'exiger des données détenues par un fournisseur américain, même stockées en Europe. Devant le Sénat en juin 2025, le directeur juridique de Microsoft France a reconnu ne pas pouvoir garantir le contraire.
- La maîtrise du modèle. Un éditeur peut retirer un modèle de son API du jour au lendemain. Mistral a retiré Devstral 2 de la sienne en juillet 2026, alors que ses poids restent téléchargeables. Une entreprise qui l'exécute chez elle continue de s'en servir.
- Le hors ligne. Un modèle local répond Wi-Fi coupé. C'est utile sur un chantier, en déplacement ou sur un réseau industriel isolé.
La source chiffrée est l'Insee, et je défends la même idée depuis juin 2024. Dans ma newsletter sur la menace qui pèse sur vos données, je résumais le principe en une phrase. Si c'est gratuit, c'est vous le produit. Les offres payantes et les API excluent vos données de l'entraînement, mais vos données transitent toujours chez l'éditeur. Ma vidéo sur la protection des données dans ChatGPT arrivait à la même conclusion. La vraie garantie vient de l'exécution sur votre propre serveur.
Ce que font déjà les grandes organisations françaises
Les grands comptes ont franchi le pas, souvent avec Mistral, et presque toujours pour les mêmes raisons.
- Le ministère des Armées a signé en janvier 2026 un accord-cadre qui lui permet de déployer les modèles de Mistral sur ses propres infrastructures, selon Acteurs publics.
- BNP Paribas a renouvelé pour trois ans son partenariat avec Mistral en mai 2026. La banque privilégie le déploiement dans ses propres datacenters pour les données sensibles, rapporte Le Monde Informatique.
- Le Crédit Agricole prévoit 500 millions d'euros d'investissement dans l'IA sur 2026-2028. Entre 100 et 200 millions financeront deux salles informatiques pour l'inférence sur ses données critiques, selon Le Monde Informatique en juin 2026.
- L'État a généralisé en juin 2026 son Assistant IA, bâti sur des modèles Mistral servis par sa plateforme Albert et hébergés chez Outscale. L'outil est passé de 10 000 à 43 000 utilisateurs pendant l'été, d'après Acteurs publics.
Je le notais dans mon comparatif des écosystèmes d'IA publié sur LinkedIn en novembre 2025. Mistral y ressortait comme l'éditeur qui combinait le mieux des poids ouverts et un hébergement sur site possible. C'est précisément ce que ces organisations achètent.
Ce que l'IA en local règle pour le RGPD et l'AI Act, et ce qu'elle laisse à votre charge
Une IA en local règle la question des transferts et de la sous-traitance. Elle laisse entières vos obligations de responsable de traitement et de déployeur. Le lieu d'hébergement compte pour le RGPD, alors que le règlement sur l'IA s'applique selon l'usage.
La CNIL penche pour le local quand les données sont sensibles. Dans sa foire aux questions sur l'IA générative, publiée en juillet 2024, elle vise les données personnelles et la documentation stratégique. Pour ces cas, elle juge « plus opportun et plus sécurisé de privilégier le déploiement de solutions sur site ». Elle reconnaît aussi qu'un hébergement distant encadré par contrat reste souvent plus simple, et que rien n'interdit une infrastructure mutualisée à une petite entreprise.
L'AI Act fonctionne autrement. Il s'applique selon votre rôle et l'usage du système, quel que soit le serveur. Une entreprise qui utilise un modèle dans un cadre professionnel en est déployeur. Si elle construit son propre chatbot sur un modèle ouvert et le met en service sous son nom, elle en devient fournisseur. Elle doit alors informer l'utilisateur qu'il échange avec une IA, au titre de l'article 50 applicable depuis août 2026.
Le calendrier a bougé cet été. Le règlement Omnibus adopté par le Conseil, publié en juillet 2026, reporte les obligations des systèmes à haut risque. Elles arrivent en décembre 2027 pour le recrutement, l'éducation ou le crédit, et en août 2028 pour les produits réglementés. Le texte assouplit aussi l'article 4, qui demande désormais de soutenir la maîtrise de l'IA plutôt que de la garantir. En France, la CNIL se prépare à devenir l'autorité de contrôle du règlement, mais la loi qui la désigne attend encore l'Assemblée nationale en octobre 2026.
| Question | Avec une IA en local |
|---|---|
| Transfert de données hors de l'Union européenne | Supprimé, la donnée reste sur votre machine |
| Exposition au Cloud Act | Supprimée si le serveur et l'hébergeur relèvent du droit européen |
| Réutilisation de vos données pour l'entraînement | Exclue, aucun éditeur ne voit passer vos requêtes |
| Base légale et finalité au sens du RGPD | Inchangées, à documenter comme pour tout traitement |
| Analyse d'impact sur les données sensibles | Toujours requise dans les cas prévus par le RGPD |
| Obligations de l'AI Act | Inchangées, elles dépendent de l'usage et de votre rôle |
| Sécurité du serveur et des accès | Entièrement à votre charge |
Quels modèles faire tourner en local en 2026 ?
Le bon modèle dépend d'abord de la mémoire disponible. Les modèles ouverts se rangent en trois familles, et la taille décide de la machine bien plus que la marque.
Les petits modèles, entre 1 et 15 milliards de paramètres, tournent sur la plupart des portables récents. Ils résument, reformulent, classent et extraient des champs correctement. Les modèles moyens, de 20 à 120 milliards, demandent un Mac de 64 à 128 Go ou un GPU de 80 Go. Qwen3.8 27B, Gemma 4 31B, gpt-oss-120b et Mistral Small 4 en font partie. Les grands modèles comme GLM-5.3, Kimi K3 ou DeepSeek V4 dépassent les 400 Go et réclament un serveur de huit GPU.
Une règle simple permet d'estimer la mémoire nécessaire. En quantification 4 bits, le format de compression standard du local, un modèle occupe environ 0,6 Go par milliard de paramètres. Ajoutez 20 à 50 % de marge pour le contexte de la conversation. OpenAI indique ainsi que gpt-oss-120b tient sur un seul GPU de 80 Go.
L'écart de qualité avec les modèles fermés
Les modèles ouverts restent derrière les meilleurs modèles fermés. Sur l'indice d'Artificial Analysis consulté en octobre 2026, le meilleur modèle à poids ouverts obtient 46 points, contre 58 pour Claude Opus 5.5. Gemma 4 31B affiche 15 points, au niveau de Claude Haiku 4.5 qui en obtient 17. Ce niveau suffit déjà pour beaucoup de tâches métier, comme l'extraction, le tri ou la synthèse de documents.
Le cas des modèles chinois
Les meilleurs modèles à poids ouverts sont aujourd'hui chinois, comme Qwen d'Alibaba, DeepSeek, Kimi de Moonshot ou GLM de Z.ai. Les mesures européennes, comme celle de l'autorité italienne en janvier 2025, visent l'application DeepSeek et ses serveurs en Chine. Un modèle téléchargé qui tourne chez vous sans connexion échappe à ce risque de transfert. Le risque se situe ailleurs. L'institut américain de normalisation, le NIST, a mesuré en septembre 2025 une forte vulnérabilité des modèles DeepSeek au contournement de leurs garde-fous. Pour un usage sensible, Mistral, Gemma ou gpt-oss restent plus faciles à défendre devant un comité.
Quel matériel pour faire tourner une IA en local ?
La mémoire décide de tout. Sur un Mac, la mémoire unifiée sert à la fois au processeur et au GPU, ce qui en fait la machine de POC la plus simple. Sur un PC, seule la mémoire de la carte graphique compte vraiment.
| Machine | Mémoire | Prix | Ce qu'elle fait tourner |
|---|---|---|---|
| MacBook Pro 14 pouces M5 Pro | 24 à 64 Go | À partir de 2 899 € TTC | Petits modèles, moyens jusqu'à 30 milliards avec 64 Go |
| Mac mini M5 Pro | 64 Go | 3 319 € TTC | Modèles moyens jusqu'à 30 milliards, POC d'équipe |
| Mac Studio M5 Max | 128 Go | 6 189 € TTC | gpt-oss-120b et les modèles moyens les plus lourds |
| Carte graphique RTX 5090 | 32 Go | 5 500 à 7 000 € TTC | Petits modèles et moyens jusqu'à 27 milliards, très rapide |
| GPU H100 loué, OVHcloud ou Scaleway | 80 Go | Environ 2,80 € HT de l'heure | gpt-oss-120b et modèles moyens, pour toute une équipe |
| Huit H100 ou H200 loués | 640 Go à 1,1 To | 18 500 à 30 700 € HT par mois | Grands modèles comme GLM-5.3 ou DeepSeek V4 |
La vitesse suit la bande passante de la mémoire. Sur un même test de la communauté llama.cpp, un M5 Pro produit environ 66 tokens par seconde, un M5 Max 120 et une H100 près de 270. Un token correspond à un fragment de mot. Ces chiffres valent pour un petit modèle de test, et un modèle de 27 milliards de paramètres répond nettement plus lentement.
Monter un POC d'IA en local, étape par étape
Un POC d'IA en local s'installe en une demi-journée et se juge en quelques jours. Il répond à une seule question. Le modèle ouvert fait-il le travail sur vos cas réels ?
- Choisissez un cas d'usage et vingt exemples réels. Anonymisez-les pour le premier essai. Un résumé de compte rendu, une extraction de champs dans des contrats ou une réponse type à un client conviennent bien.
- Installez un moteur d'inférence. Ollama s'installe en une commande sur Mac, Windows ou Linux. LM Studio offre la même chose avec une interface graphique, gratuitement en entreprise depuis juillet 2025.
- Téléchargez un modèle à la taille de votre mémoire. Sur un portable de 16 Go, la commande
ollama run gpt-oss:20bsuffit. Avec 32 à 64 Go, essayezollama run gemma4:31b. - Coupez le Wi-Fi et testez. Le modèle doit répondre hors ligne. C'est la preuve que rien ne sort de la machine.
- Comparez avec l'outil cloud actuel. Passez les vingt cas dans les deux outils. Notez chaque réponse avec une grille simple en trois niveaux, juste, exploitable ou à refaire.
- Mesurez la vitesse et la mémoire. Un modèle qui sature la machine ou met une minute à répondre ne passera pas le cap du pilote.
J'avais présenté Ollama comme l'outil le plus puissant de ma sélection dans une vidéo de mai 2024 sur six outils IA. Les modèles ont changé depuis, la logique est restée la même. Le moteur télécharge le modèle, gère ses versions et répond en arrière-plan à vos applications.
Application, terminal ou navigateur, où brancher le modèle local ?
Le moteur tourne en arrière-plan. Vos équipes, elles, ont besoin d'une interface, et trois familles existent selon le nombre d'utilisateurs.
Les applications de bureau comme LM Studio, AnythingLLM ou Goose suffisent pour un utilisateur seul. Elles se rapprochent de l'expérience de ChatGPT ou de Claude, avec des conversations, des documents et parfois des connecteurs.
Le terminal intéresse les profils techniques. Depuis janvier 2026, Ollama accepte le format d'API d'Anthropic, ce qui permet de brancher Claude Code sur un modèle local. Vous gardez les skills et les connecteurs de l'outil, avec un modèle qui tourne chez vous. Anthropic précise toutefois qu'elle ne prend pas en charge ce montage. Coupez aussi la télémétrie avec la variable CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC, sinon des métriques d'usage continuent de partir. Notre guide de Claude Code pour les non-développeurs explique la prise en main de l'outil lui-même.
Le navigateur sert les équipes. Open WebUI se déploie sur un serveur, gère les comptes, les rôles et l'authentification unique, et se partage par un simple lien. Sa licence impose de conserver la marque Open WebUI au-delà de 50 utilisateurs, sauf licence entreprise.
Ben AI a détaillé ces trois familles dans une vidéo publiée en août 2026, avec Claude Code branché sur gpt-oss-120b et une interface Open WebUI partagée. Elle est en anglais et montre bien le montage en conditions réelles. Ses estimations de coût de GPU sont plus élevées que les prix européens relevés plus bas.
Du POC au serveur, trois façons de déployer une IA en local
Une fois le POC concluant, trois options s'ouvrent. Elles se distinguent par le niveau d'isolement, le coût et l'effort d'exploitation.
Le serveur dans vos murs
Vous achetez la machine et l'installez dans votre salle informatique. Le contrôle est total et le coût se lit en investissement. La contrepartie tient aux compétences. Le guide de la Direction générale des entreprises estimait en 2024 qu'un assistant sur site interrogeant vos documents demandait environ six mois de déploiement, contre deux en cloud. Ce type d'assistant repose sur la technique du RAG, détaillée dans notre guide du RAG.
Le GPU dédié loué chez un hébergeur européen
Vous louez une machine réservée à votre seul usage, chez OVHcloud ou Scaleway, en France. Un H100 de 80 Go coûte environ 2 000 € HT par mois en continu. Il suffit pour servir gpt-oss-120b à toute une équipe. Pour des données de santé ou des données publiques sensibles, l'ANSSI recommande une offre qualifiée SecNumCloud. OVHcloud propose ainsi des serveurs équipés de GPU L4 et L40S dans son offre Bare Metal Pod qualifiée.
L'API souveraine, payée à l'usage
Vous appelez un modèle ouvert hébergé en Europe et payez au volume, sans serveur à gérer. OVHcloud AI Endpoints sert ainsi gpt-oss, Qwen ou Mistral depuis la France, et l'hébergeur indique que vos données ne servent pas à l'entraînement. Vos requêtes partagent toutefois l'infrastructure avec d'autres clients, et ce service ne figure pas au catalogue SecNumCloud. Cette option protège mieux qu'un service grand public, sans offrir l'isolement d'un serveur dédié.
Tandem a retenu un schéma hybride de ce type chez Santiane, courtier en assurance santé. Le workflow d'automatisation tourne sur l'infrastructure du groupe, sans API tierce hors de l'Union européenne. Le cas client Santiane détaille le résultat, huit semaines de mise en œuvre et un coût cible sous 0,10 € par dossier traité. La brique d'orchestration, n8n, s'auto-héberge elle aussi, comme l'explique notre guide de n8n.
Combien coûte une IA en local, comparée aux licences cloud ?
Une IA en local coûte presque rien pour un POC et devient rentable à fort volume d'usage. Entre les deux, tout dépend de la taille du modèle et du nombre d'utilisateurs.
Le poste existant suffit pour le POC. Un Mac mini de 64 Go revient à moins de 80 € HT par mois sur trois ans. Un H100 loué en continu coûte environ 2 000 € HT par mois, et huit GPU pour un grand modèle entre 18 500 et 30 700 €.
En face, 50 licences d'assistant cloud coûtent autour de 1 250 € par mois, à environ 25 € par utilisateur selon notre comparatif des assistants IA. La comparaison reste trompeuse, parce que les modèles fermés de pointe gardent une avance nette. Le local devient rentable dans trois cas. Les volumes sont massifs, les traitements tournent jour et nuit, ou la confidentialité interdit tout simplement le cloud.
Le guide de la DGE donnait en 2024 un ordre de grandeur parlant pour un assistant interne. L'électricité d'un modèle local revenait à environ 2 € par employé et par an, contre environ 106 € pour le même usage en cloud. Ces chiffres datent, mais l'écart de structure reste valable.
Les limites d'une IA en local à connaître avant de vous lancer
- La qualité. Le meilleur modèle ouvert accuse une douzaine de points de retard sur le meilleur modèle fermé. Le raisonnement long et l'écriture fine en pâtissent le plus.
- Les utilisateurs simultanés. Un Mac sert bien une personne. Dès que dix collaborateurs interrogent le modèle en même temps, il faut un serveur GPU et un moteur comme vLLM.
- La sécurité. Ollama n'a pas d'authentification native. En septembre 2025, Cisco Talos a recensé 1 139 serveurs Ollama exposés sur internet, rapporte The Register. Un serveur local se protège derrière un VPN et un accès authentifié.
- La maintenance. Les modèles changent chaque trimestre, et leurs licences aussi. GLM-5.2 était sous licence MIT, GLM-5.3 est passé sous licence maison en août 2026. Quelqu'un doit suivre ces versions, tester les mises à jour et documenter les choix.
Faut-il passer à une IA en local dans votre entreprise ?
Oui pour le POC, sans hésiter. Il coûte quelques jours et presque rien. Il répond surtout à la seule question qui compte, savoir si un modèle ouvert fait le travail sur vos cas réels. Pour la production, la réponse dépend de vos données.
La plupart des PME et ETI gagnent à une architecture hybride. Un assistant cloud sous contrat entreprise couvre les usages courants. Un modèle local ou souverain prend en charge les flux sensibles, comme les dossiers RH, les données de santé ou les projets de cession. Une IA en local devient la règle quand la confidentialité, la réglementation ou le volume l'imposent.
Tandem aide à faire ce tri, cas d'usage par cas d'usage. C'est l'objet de notre audit IA, qui classe vos usages selon la sensibilité des données et le niveau de modèle nécessaire. Quand un assistant interne sur vos documents s'impose, nos outils IA internes se déploient sur le modèle et l'hébergement que vos contraintes exigent.
