L’IA locale pour les documents confidentiels : ce qu’il faut exécuter sur son propre matériel

Contrats, paie, dossiers médicaux, audits de fournisseurs, relevés bancaires : la plupart des documents que les entreprises souhaitent automatiser sont justement ceux qu’elles hésitent le plus à envoyer à une API cloud. L’IA locale signifie que les modèles, l’extraction de texte et les résultats stockés s’exécutent sur du matériel contrôlé par l’entreprise, de sorte que les documents ne quittent jamais cet environnement. Il s’agit aujourd’hui d’une option pratique, mais elle comporte des compromis dont il convient de bien comprendre les conséquences avant d’acheter un serveur.

Ce que le « local » doit couvrir

Exécuter un modèle de langage sur sa propre machine n’est qu’une partie du processus. Un pipeline de documents comprend plusieurs étapes, et chacune d’elles peut entraîner une fuite de données si elle fait appel à un service externe :

• Extraction de texte et OCR. Les PDF scannés et les photos nécessitent un OCR. De nombreuses solutions OCR pratiques sont des services cloud ; des moteurs locaux existent également et fonctionnent bien pour des scans de bonne qualité.
• Embeddings et recherche. Lorsque les documents sont indexés pour la recherche ou la réponse à des questions, le modèle d’embedding ainsi que l’index vectoriel doivent également être hébergés localement.
• Le modèle de langue. Classification, extraction d’informations, résumés et vérification de règles.
• Journaux, files d’attente et sauvegardes. Les journaux de débogage contiennent souvent le texte intégral d’un document. Ils doivent respecter les mêmes règles de conservation et d’accès que les documents eux-mêmes.
• Télémétrie. Certains outils communiquent automatiquement leurs données d’utilisation à leur fournisseur. Il convient de désactiver cette fonction et de bloquer les connexions sortantes depuis les serveurs d’inférence.

Quel matériel vous avez réellement besoin

La réponse courte : la mémoire détermine quels modèles sont chargés, et le reste du matériel influence leur vitesse de fonctionnement. Nous avons mesuré cela sur plusieurs ordinateurs utilisant le même ensemble de tests, et les résultats se trouvent dans quatre articles distincts :

• RTX 5060 Ti 16 GB : une carte grand public seule permet déjà d’exécuter des modèles de l’ordre de 27 milliards de paramètres ; la configuration la plus rapide que nous ayons mesurée atteignait 115,9 tokens par seconde.
• RTX 5090 : le même modèle Qwen3.8-27B fonctionnait entre 67,2 et 253,4 tokens par seconde en fonction du moteur d’inférence, ce qui montre à quel point la pile logicielle est importante.
• Mac Studio M5 Ultra vs DGX Spark : deux ordinateurs de taille de bureau dotés d’une grande mémoire unifiée pour les modèles qui ne tiennent pas sur une GPU de jeu.
• Combien de mémoire pour une IA locale : ce que chaque capacité allant de 16 GB à 512 GB permet de faire fonctionner.

Pour le travail sur des documents, la vitesse brute est rarement le goulot d’étranglement. Un lot de quelques centaines de factures par jour représente une charge faible pour une bonne GPU. Ce qui importe davantage, c’est que le modèle soit suffisamment performant sur vos documents, ce que l’on ne peut savoir qu’en le testant dessus.

Où les modèles locaux sont moins performants

Les plus grands modèles cloud restent supérieurs en matière de raisonnement complexe, de documents longs et complexes ainsi que de langues inhabituelles. Les modèles locaux comblent une grande partie de cet écart pour des tâches étroites et bien définies, surtout lorsque le processus est conçu en fonction de leurs limites :

• laisser le code faire ce pour quoi il est fait : calculer des dates, des sommes, vérifier la TVA, comparer avec une liste de fournisseurs ;
• poser une seule question au modèle à la fois plutôt que de demander « examinez ce contrat » ;
• utiliser des sorties structurées (champs fixes) afin que les réponses puissent être validées automatiquement ;
• envoyer les cas incertains à une personne plutôt que de forcer une réponse.

Le fait qu’un modèle local donné soit suffisamment bon est une question empirique. Créez un ensemble de test à partir de documents réels et comparez les candidats dessus ; nos notes sur les évaluations et l’examen humain expliquent comment procéder.

Un hybride est souvent la réponse la plus appropriée

Chaque document n’a pas le même degré de sensibilité. Une approche courante consiste à conserver les documents confidentiels sur des modèles locaux et à utiliser un modèle cloud pour les documents publics ou anonymisés, la règle de routage étant définie et appliquée dans le code. Une autre option est le déploiement dans un cloud privé, dans le cadre d’un contrat conforme à vos obligations de protection des données. Le choix dépend de vos données, de vos contrats et de votre tolérance au risque, et il doit être pris en concertation avec la personne responsable de la protection des données au sein de votre entreprise.

Coûts à prendre en compte

Les IA locales transfèrent le coût des frais par demande vers l’équipement et les opérations. En plus de la machine elle-même, il faut prévoir de l’énergie et un système de refroidissement, quelqu’un pour mettre à jour les modèles et les pilotes, un suivi en temps réel, des sauvegardes, ainsi qu’un plan de secours en cas de panne. Pour une équipe unique avec un flux de documents régulier, cela est souvent moins cher et plus simple qu’il n’y paraît. Pour des charges de travail irrégulières ou très importantes, le cloud peut encore être plus avantageux en termes de prix.

Nous concevons des pipelines locaux pour l’examen des documents et l’intégration des données au sein de l’infrastructure du client. Consultez les agents IA pour l’examen des documents et l’intégration des données clients, ou l’aspect réglementaire dans le AI Act et le GDPR pour l’automatisation par l’IA.