Contrats, dossiers clients, pièces juridiques, matrices de prix, procédures internes, comptes rendus de réunion… Les PME disposent d’un patrimoine documentaire considérable, souvent dispersé entre SharePoint, Google Drive, une GED, un CRM, un ERP, des serveurs de fichiers ou des bases SQL. L’IA générative promet de rendre ce capital enfin exploitable : poser une question en langage naturel, retrouver une clause, comparer deux versions de contrat, résumer un dossier client ou préparer une réponse commerciale en quelques secondes.
Mais cette promesse soulève une question centrale : comment bénéficier d’un assistant IA documentaire sans exposer les données confidentielles de l’entreprise ? Le sujet n’est pas théorique. Le coût moyen mondial d’une violation de données était estimé par IBM à 4,44 millions de dollars en 2025. IBM indiquait également que 13 % des organisations avaient déjà signalé des violations de modèles ou d’applications IA, et que 97 % d’entre elles manquaient de contrôles d’accès IA appropriés.
Pour une PME, l’enjeu est donc clair : déployer un agent IA privé entreprise suffisamment utile pour réduire le recours au shadow AI, tout en garantissant une IA documentaire sécurisée, maîtrisée et conforme. Voici les principes clés pour construire un assistant fiable, pragmatique et adapté aux données sensibles.
Pourquoi un agent IA privé devient un enjeu stratégique pour les PME
Dans beaucoup d’organisations, les collaborateurs utilisent déjà l’IA, parfois sans cadre officiel. Un commercial peut copier un extrait de contrat dans un chatbot public pour rédiger une synthèse. Un juriste peut tester une clause dans un outil externe. Un chef de projet peut résumer un compte rendu client dans une solution SaaS non validée par la DSI.
Ce phénomène, appelé shadow AI, crée un risque important : les données sortent du périmètre maîtrisé de l’entreprise, sans journalisation, sans contrôle contractuel, sans validation de conformité et sans visibilité sur leur réutilisation potentielle. Selon IBM, les organisations avec un usage élevé du shadow AI ont connu en moyenne 670 000 dollars de coûts supplémentaires par violation.
Un assistant IA données sensibles bien conçu répond à cette situation. Il offre aux équipes une alternative interne, plus simple que les recherches manuelles et plus sûre que les outils publics non encadrés. L’objectif n’est pas seulement d’ajouter une nouvelle interface technologique, mais de créer un point d’accès sécurisé au savoir de l’entreprise.
La bonne approche : ne pas interdire l’IA par principe, mais fournir un environnement privé, auditable et aligné avec les droits documentaires existants.
Agent IA privé, chatbot, moteur de recherche augmenté : de quoi parle-t-on exactement ?
Le vocabulaire autour de l’IA prête souvent à confusion. Pour une PME, il est utile de distinguer plusieurs niveaux d’usage.
- Le chatbot générique public : outil SaaS accessible en ligne, utile pour des tâches générales, mais rarement adapté aux documents confidentiels.
- L’assistant documentaire interne : interface permettant de rechercher, résumer et questionner des documents d’entreprise.
- Le moteur de recherche documentaire augmenté par IA : solution qui combine recherche classique, recherche sémantique et génération de réponses avec sources.
- Le RAG privé PME : architecture qui permet à un modèle d’IA de répondre à partir d’une base documentaire contrôlée, sans réentraîner le modèle sur toutes les données de l’entreprise.
- L’agent IA autonome : assistant capable non seulement de répondre, mais aussi d’utiliser des outils, d’interroger des applications, de créer des documents ou de déclencher des workflows.
Dans un contexte de données sensibles, le point de départ le plus robuste est souvent le RAG privé. Il apporte un équilibre intéressant entre performance, sécurité, coût et contrôle.
Le RAG privé : l’architecture de référence pour une IA documentaire sécurisée
Le RAG, ou Retrieval-Augmented Generation, consiste à enrichir les réponses d’un modèle d’IA avec des informations récupérées dans les documents internes de l’entreprise. Contrairement à un entraînement complet du modèle, le RAG ne cherche pas à incorporer définitivement toute la connaissance de l’entreprise dans l’IA. Il interroge les bonnes sources au moment de la question.
Comment fonctionne un RAG privé PME ?
Une architecture typique comprend plusieurs étapes :
- Connexion aux sources internes : SharePoint, Google Drive, GED, CRM, ERP, NAS, bases SQL, intranet, outils métier.
- Extraction des contenus : récupération des textes, métadonnées, auteurs, dates, droits d’accès, versions et classifications.
- Nettoyage et structuration : suppression des doublons, normalisation des formats, détection des documents obsolètes.
- Découpage en passages : segmentation des documents en blocs exploitables par le moteur de recherche IA.
- Création d’embeddings : transformation des passages en représentations numériques permettant la recherche sémantique.
- Stockage dans une base vectorielle : conservation des passages indexés avec leurs métadonnées et droits associés.
- Recherche sémantique : identification des passages les plus pertinents par rapport à la question de l’utilisateur.
- Génération de la réponse : rédaction d’une réponse claire, accompagnée de citations vers les documents sources.
Cette approche permet à l’utilisateur de poser une question comme : “Quelles sont les clauses de résiliation applicables à ce client ?” ou “Quelles procédures internes encadrent la validation d’une remise supérieure à 15 % ?” L’assistant retrouve les passages pertinents, synthétise l’information et indique les sources consultées.
Le RAG ne suffit pas à garantir la confidentialité
Un point doit être clairement posé : un RAG privé n’est pas automatiquement sécurisé. Si les droits documentaires ne sont pas correctement appliqués, l’assistant peut révéler des informations qu’un collaborateur n’aurait pas le droit de consulter manuellement. Si les logs sont mal gérés, ils peuvent eux-mêmes devenir une nouvelle source de fuite. Si les connecteurs ont des permissions excessives, l’agent peut accéder à trop de données.
La sécurité doit donc être intégrée dès la conception : contrôle des accès, cloisonnement, journalisation, chiffrement, filtrage, supervision et gouvernance.
Choisir le bon mode d’hébergement : cloud, privé, souverain, hybride ou on-premise
Le choix de l’hébergement est structurant pour un agent IA privé entreprise. Il détermine la localisation des données, les garanties contractuelles, les performances, les coûts d’exploitation et le niveau de contrôle technique.
Cloud public avec garanties contractuelles
Cette option consiste à utiliser des services cloud reconnus, avec des engagements sur la sécurité, la confidentialité, la localisation des données et la non-réutilisation des prompts à des fins d’entraînement. Elle convient souvent aux PME qui veulent avancer rapidement, à condition de vérifier les clauses contractuelles, les certifications et la conformité RGPD.
Cloud privé ou souverain
Un cloud privé ou souverain apporte davantage de contrôle sur la localisation et l’isolation des données. C’est une option pertinente pour les secteurs manipulant des informations sensibles : juridique, santé, finance, industrie, conseil, défense ou services aux collectivités.
On-premise
L’hébergement sur les infrastructures de l’entreprise offre le niveau de maîtrise le plus élevé. Il peut être nécessaire lorsque les données ne doivent pas sortir du système d’information interne. En contrepartie, il implique davantage d’efforts techniques : capacité GPU éventuelle, maintien en condition opérationnelle, sécurité, sauvegardes, supervision et mises à jour.
Modèle hybride
Le modèle hybride est souvent pragmatique : les données sensibles restent dans l’environnement interne, tandis que le modèle d’IA est appelé via une API contrôlée, avec filtrage, chiffrement, masquage ou pseudonymisation si nécessaire. Cette approche permet de combiner performance des grands modèles et maîtrise des flux de données.
LLM open source auto-hébergé
Des modèles open source ou ouverts comme Mistral, Llama ou Qwen peuvent être auto-hébergés selon les contraintes techniques, réglementaires et budgétaires. Ils offrent un contrôle renforcé, mais nécessitent une évaluation sérieuse : qualité des réponses, coûts d’infrastructure, latence, maintenance, sécurité et compétences internes.
Quel que soit le scénario retenu, les critères à examiner restent les mêmes : localisation des données, chiffrement au repos et en transit, isolation des tenants, conformité RGPD, réversibilité, auditabilité et non-réutilisation des données pour l’entraînement.
Contrôle des accès : l’agent ne doit jamais voir plus que l’utilisateur
La règle fondamentale d’une recherche documentaire IA entreprise est simple : l’assistant IA ne doit jamais donner accès à une information que l’utilisateur ne pourrait pas consulter par les canaux habituels.
Pour cela, il faut rendre l’architecture “permission-aware”, c’est-à-dire consciente des droits utilisateurs à chaque étape : ingestion, indexation, recherche, génération et affichage des sources.
Les mécanismes indispensables
- SSO : authentification centralisée pour éviter les comptes isolés et faciliter la gestion des accès.
- MFA : authentification multifacteur, notamment pour les profils sensibles.
- RBAC ou ABAC : gestion des droits par rôle, attribut, service, client, projet ou niveau de confidentialité.
- Synchronisation annuaire : intégration avec Active Directory, Entra ID ou LDAP.
- Filtrage au moment de la recherche : exclusion automatique des documents non autorisés avant génération de la réponse.
- Cloisonnement documentaire : séparation par entité, client, département, équipe projet ou classification.
- Journalisation : conservation contrôlée des requêtes, réponses, sources utilisées et actions effectuées.
- Alertes : détection des comportements anormaux, comme des requêtes massives ou des tentatives répétées d’accès à des informations sensibles.
Exemple concret : un responsable commercial peut interroger les offres et contrats de ses clients, mais ne doit pas accéder aux matrices de prix globales confidentielles de la direction financière. Un juriste peut comparer des clauses contractuelles, mais un collaborateur opérationnel ne doit voir que les modèles validés qui le concernent.
Les risques spécifiques aux LLM : ce que les PME doivent anticiper
Les référentiels comme le NIST AI Risk Management Framework et l’OWASP Top 10 for LLM Applications fournissent une base utile pour identifier les risques. L’OWASP classe notamment la prompt injection parmi les principaux risques des applications LLM, aux côtés de la divulgation d’informations sensibles.
Les principaux scénarios de risque
- Prompt injection directe : l’utilisateur tente de manipuler l’assistant avec une consigne du type “ignore tes instructions précédentes”.
- Prompt injection indirecte : un document contient des instructions malveillantes destinées à influencer l’agent lorsqu’il le lit.
- Fuite de données sensibles : l’assistant révèle un contenu confidentiel dans une réponse ou un log.
- Fuite du prompt système : l’utilisateur tente d’obtenir les règles internes de fonctionnement de l’agent.
- Hallucinations : l’IA produit une réponse plausible mais incorrecte.
- Résultats sans source : l’utilisateur ne peut pas vérifier l’origine de l’information.
- Empoisonnement documentaire : des contenus faux ou malveillants sont intégrés dans la base de connaissance.
- Permissions excessives : l’agent dispose d’accès plus larges que nécessaire.
- Abus des connecteurs : l’assistant utilise des intégrations internes pour extraire ou modifier des données de manière inappropriée.
Les mesures de protection à mettre en place
La sécurité d’un assistant documentaire privé repose sur une défense multicouche. Les bonnes pratiques incluent :
- Filtrage à l’ingestion : contrôler les documents indexés, détecter les contenus suspects, exclure les sources non fiables.
- Sandboxing : isoler les documents externes ou non vérifiés avant de les rendre interrogeables.
- Politiques DLP : détecter et bloquer les données sensibles comme les informations personnelles, bancaires ou contractuelles critiques.
- Masquage ou pseudonymisation : limiter l’exposition des données personnelles lorsque le cas d’usage le permet.
- Réponses sourcées : exiger des citations internes pour les réponses documentaires importantes.
- Red teaming : tester régulièrement l’assistant avec des scénarios d’attaque réalistes.
- Validation humaine : imposer un contrôle humain pour les actions critiques, comme l’envoi d’un email client, la modification d’un CRM ou la validation d’un document juridique.
- Limitation des outils : donner à l’agent uniquement les connecteurs et permissions nécessaires à sa mission.
- Tests de sécurité réguliers : vérifier les droits, les logs, les flux de données et les comportements anormaux.
Les travaux récents sur la sécurité des RAG montrent que les injections indirectes via documents restent un sujet important. Certaines approches multicouches réduisent fortement le taux de succès des attaques, mais aucune mesure unique ne suffit. La robustesse vient de la combinaison entre architecture, contrôle d’accès, filtrage, supervision et gouvernance.
Journalisation et auditabilité : garder une trace sans créer un nouveau risque
La journalisation est indispensable pour piloter un assistant IA documentaire : elle permet de comprendre les usages, d’investiguer un incident, d’améliorer la qualité des réponses et de démontrer la conformité. Mais elle doit être conçue avec prudence, car les logs peuvent contenir des informations sensibles.
Une PME doit définir clairement :
- quelles requêtes sont conservées ;
- quelles réponses sont journalisées ;
- quelles sources documentaires ont été mobilisées ;
- combien de temps les logs sont conservés ;
- qui peut consulter les journaux ;
- comment les logs sont chiffrés et protégés ;
- comment répondre à une demande RGPD d’accès, de rectification ou de suppression ;
- quels indicateurs sont suivis : adoption, qualité, erreurs, alertes, incidents.
L’auditabilité est également importante dans le contexte du règlement européen sur l’IA, l’AI Act, et des obligations associées aux modèles d’IA à usage général. Même lorsque le cas d’usage n’est pas classé à haut risque, documenter les choix de modèle, les données utilisées, les limites connues et les mesures de contrôle devient une bonne pratique de gouvernance.
Gouvernance : les questions à trancher avant le déploiement
Un projet d’assistant IA données sensibles ne doit pas être porté uniquement comme un sujet technique. Il touche à la conformité, à la sécurité, aux métiers, aux ressources humaines et à la direction générale.
Avant le passage en production, il est recommandé de répondre à plusieurs questions structurantes :
- Qui peut interroger quoi ? Les droits sont-ils alignés avec les règles existantes ?
- Quelles données sont exclues ? Certains documents RH, financiers, juridiques ou stratégiques doivent-ils rester hors périmètre ?
- Quelles réponses doivent afficher leurs sources ? Par défaut, les réponses documentaires sensibles devraient être sourcées.
- Quand l’IA ne doit-elle pas être utilisée seule ? Décisions juridiques, RH, financières ou contractuelles critiques doivent rester validées par un humain.
- Qui audite les usages ? DSI, RSSI, DPO, métiers, direction qualité ?
- Comment gérer les erreurs ? Les utilisateurs peuvent-ils signaler une réponse incorrecte ou une source obsolète ?
- Comment documenter le modèle ? Version, fournisseur, localisation, limites, mesures de sécurité, clauses contractuelles.
- Comment accompagner les collaborateurs ? Formation aux bons usages, aux limites de l’IA et à la protection des données.
Cette gouvernance permet d’éviter deux écueils : un outil trop ouvert qui devient risqué, ou un outil trop verrouillé qui ne sera pas adopté. Le bon équilibre consiste à sécuriser sans freiner les usages utiles.
Exemples de cas d’usage à forte valeur ajoutée
Cabinet de conseil ou ESN
Un assistant documentaire privé peut retrouver les références projets pertinentes, synthétiser des propositions passées, identifier des expertises internes et accélérer la rédaction d’une réponse à appel d’offres. Les matrices de prix et documents contractuels restent accessibles uniquement aux profils autorisés.
Direction juridique
L’agent peut comparer des clauses, retrouver les contrats contenant une disposition spécifique, résumer les obligations d’un fournisseur ou signaler les écarts avec un modèle contractuel standard. Chaque réponse doit citer les documents sources et rappeler qu’une validation juridique reste nécessaire.
Service client ou opérations
Les équipes peuvent interroger les procédures internes, historiques clients, modes opératoires ou bases de connaissances. L’assistant réduit le temps de recherche et améliore l’homogénéité des réponses, tout en respectant les droits par client, projet ou service.
Direction financière
L’IA peut aider à retrouver des règles de facturation, conditions commerciales, historiques de validation ou éléments de reporting. Les données financières sensibles doivent être cloisonnées et faire l’objet d’une journalisation renforcée.
Réussir son projet : une trajectoire pragmatique en quatre étapes
1. Auditer les données et les usages
La première étape consiste à cartographier les sources documentaires, les niveaux de sensibilité, les droits existants et les besoins métiers. C’est également le moment d’identifier les usages actuels de shadow AI et les risques associés.
2. Définir une architecture cible sécurisée
Il faut choisir le mode d’hébergement, le modèle, les connecteurs, la base vectorielle, les règles d’accès, les mécanismes de chiffrement, la journalisation et les exigences de conformité.
3. Lancer un pilote sur un périmètre maîtrisé
Un bon pilote porte sur un périmètre utile mais limité : par exemple une base de procédures internes, un référentiel commercial ou une bibliothèque contractuelle. L’objectif est de mesurer la qualité des réponses, l’adoption, les limites et les ajustements nécessaires.
4. Industrialiser avec gouvernance et formation
Une fois le pilote validé, l’entreprise peut élargir progressivement les sources documentaires et les populations utilisatrices. La formation est essentielle : les collaborateurs doivent savoir formuler leurs demandes, vérifier les sources et comprendre les limites de l’outil.
Conclusion : l’agent IA privé, un levier de productivité et de maîtrise
Déployer un agent IA privé entreprise n’est pas seulement un projet d’innovation. C’est une réponse concrète à trois enjeux majeurs des PME : mieux exploiter le savoir interne, réduire le shadow AI et protéger les données sensibles.
La clé réside dans une approche structurée : architecture RAG privée, hébergement adapté, contrôle fin des accès, journalisation maîtrisée, sécurité spécifique aux LLM, conformité RGPD et gouvernance claire. L’assistant doit être utile, mais aussi fiable, traçable et aligné avec les droits existants.
À court terme, les PME peuvent commencer par des cas d’usage simples : recherche documentaire IA entreprise, synthèse de procédures, analyse de contrats, support aux équipes commerciales ou juridiques. À moyen terme, ces assistants évolueront vers de véritables agents capables d’interagir avec les outils métier, sous supervision humaine et avec des permissions limitées.
Chez Mankova Consulting, nous accompagnons les entreprises dans cette trajectoire : audit des usages et des données, choix d’architecture, cadrage sécurité, implémentation RAG privé PME, sélection des modèles, formation des équipes et gouvernance IA. L’objectif : faire de l’IA documentaire un outil opérationnel, sécurisé et réellement créateur de valeur.
