Comment mesurer et réduire l'exposition des données d'IA à l'échelle de l'entreprise

La plupart des organisations évaluent la sécurité de l'IA après qu'un incident se soit produit.

Une invite sensible déclenche une alerte.

Un employé saisit des données confidentielles dans une application d'IA.

Un copilote restitue des informations qu'une autre personne n'aurait pas dû voir.

Un agent envoie des données à un autre système.

Ces événements sont importants.

Mais ils mesurent les résultats après que des données sensibles ont déjà intégré le processus de risque.

L'exposition aux données de l'IA commence plus tôt.

Cela commence lorsqu'un système d'IA peut accéder à des données sensibles dans des conditions créant des risques inutiles ou inappropriés.

Un copilote ayant hérité d'un accès à des fichiers confidentiels crée une vulnérabilité avant même d'en avoir rendu un.

Un agent d'IA autorisé à consulter les dossiers clients crée un risque de fuite avant même d'envoyer ces dossiers ailleurs.

Une application RAG connectée à des référentiels surpartagés crée une exposition avant même qu'un utilisateur ne récupère le mauvais document.

Cela soulève une question de sécurité différente :

Dans quelle mesure l'IA peut-elle accéder à des données d'entreprise sensibles, sous l'autorité de qui, avec quelles autorisations, et que peut-il se passer après leur récupération ?

Les responsables de la sécurité ont besoin d'une réponse qu'ils puissent mesurer.

Qu’est-ce que l’exposition des données liées à l’IA ?

L’exposition des données de l’IA désigne la situation dans laquelle un système d’IA peut accéder à des données sensibles, les récupérer, les traiter, les révéler, les combiner, les déplacer ou agir sur elles de manière à créer des risques inutiles en matière de sécurité, de confidentialité, de conformité ou d’activité commerciale.

L'exposition ne nécessite pas de violation de données.

Cela ne nécessite pas d'attaquant.

Cela ne nécessite même pas que les données quittent l'organisation.

Prenons l'exemple d'un employé qui utilise légitimement un copilote d'entreprise.

Cet employé appartient à un ancien groupe de collaboration qui a toujours accès à des documents d'acquisition confidentiels.

Le copilote hérite de ce contexte d'accès ou opère au sein de celui-ci et peut récupérer ces documents.

Aucun attaquant n'a réussi à contourner l'authentification.

Aucune base de données n'a été rendue publique.

Aucun logiciel malveillant n'a dérobé de fichier.

Mais les informations sensibles se trouvent désormais sur un chemin accessible par l'IA qui dépasse les besoins professionnels actuels de l'employé.

C'est l'exposition des données de l'IA.

Exposition, fuite et exfiltration des données d'IA

Les équipes de sécurité utilisent souvent les termes exposition, fuite, divulgation et exfiltration de manière interchangeable, ce qui rend le risque lié à l'IA plus difficile à mesurer.

L'exposition décrit la situation. La divulgation, la fuite, le mésusage et l'exfiltration décrivent les différentes manières dont cette situation peut avoir des conséquences.

Cette distinction est importante car les équipes de sécurité peuvent réduire l'exposition avant qu'un incident ne survienne.

Pourquoi les indicateurs de sécurité traditionnels ne prennent pas en compte l'exposition des données de l'IA

Les organisations mesurent déjà les vulnérabilités, les incidents, les logiciels malveillants, les identités, les événements d'authentification, les configurations cloud, les violations DLP et modélisent les risques.

Ces signaux restent utiles.

Mais aucune réponse indépendante :

À quel point ce système d'IA peut-il réellement accéder en matière de données sensibles ?

Un système IAM peut savoir qu'une application a l'autorisation d'accéder à un référentiel.

Un système de sécurité des données peut savoir que le référentiel contient des enregistrements clients.

Un inventaire basé sur l'IA peut savoir qu'un agent existe.

Un SIEM peut savoir que l'agent a effectué une requête API.

La révélation devient évidente lorsque ces faits sont liés.

Comment mesurer l'exposition aux données d'IA

Les organisations n'ont pas besoin de réduire leur exposition à l'IA à un score unique et universel.

Ils ont besoin d'un modèle reproductible permettant d'identifier les relations entre l'IA et les données qui ont le plus grand potentiel d'impact.

Une évaluation utile devrait évaluer au moins six dimensions.

1. Portée des données sensibles

Commencez par l'impact potentiel.

Déterminez quelles informations sensibles, réglementées, confidentielles, exclusives ou essentielles à l'activité chaque système d'IA peut atteindre.

Exemples :

• Informations personnelles et données de santé
• Informations de paiement
• Identifiants et secrets
• Code source
• propriété intellectuelle
• Dossiers financiers
• documents juridiques
• Informations sur les employés
• Dossiers clients
• Plans de recherche et de produits

Mesurez ensuite la quantité et la concentration d'informations sensibles dans l'environnement accessible.

Le simple fait de recenser les systèmes d'IA sans mesurer les données sensibles qui les sous-tendent ne renseigne que très peu sur l'exposition aux risques.

2. Accès efficace à l'IA

Les autorisations directes ne révèlent qu'une partie de l'histoire.

Les systèmes d'IA peuvent y accéder par le biais de :

• Autorisations de l'utilisateur
• Groupes et groupes imbriqués
• Applications
• Comptes de service
• Apis
• Connecteurs
• OAuth accorde
• Identités des machines
• Autorisations déléguées
• Dépôts partagés
• Autres agents

Mesure accès effectif, y compris hérité et les chemins indirects.

Une application d'IA sans droit direct évident peut néanmoins accéder à des données sensibles via l'identité, l'application, le connecteur ou le compte de service qui la sous-tend.

3. Accessibilité de la récupération

L'accès et la récupération sont liés mais différents.

Un référentiel peut autoriser l'accès pendant qu'un flux de travail d'IA détermine si ces informations deviennent concrètement découvrables par le biais de :

• Recherche d'entreprise
• CHIFFON
• Bases de données vectorielles
• Bases de connaissances
• Apis
• Connecteurs
• Outils d'agent
• index de recherche

Cela soulève une question de mesure importante :

Quelles informations sensibles l'IA peut-elle transformer en contexte exploitable ?

Un fichier dormant, caché dans un vaste référentiel, peut devenir beaucoup plus exposé une fois qu'un assistant IA peut le localiser à partir d'une requête en langage naturel.

4. Gravité des autorisations

Toutes les autorisations n'ont pas le même impact potentiel.

Mesurer si l'IA peut :

• Lire
• Recherche
• Télécharger
• Exporter
• Écrire
• Modifier
• Supprimer
• Partager
• Envoyer
• Exécuter
• Invoquer les outils
• Systèmes d'appel en aval

Un assistant en lecture seule et un agent autonome doté de capacités de lecture, d'écriture, d'envoi et de suppression ne devraient pas recevoir la même priorité en matière de risque.

5. Activité et utilisation

Les autorisations mesurent le potentiel.

L'activité ajoute une preuve d'utilisation.

Suivre si les systèmes d'IA :

• Accès aux référentiels sensibles
• Récupérer les documents réglementés
• Soumettre des messages sensibles
• Retourner les réponses sensibles
• Informations sur le déménagement
• Invoquer des outils à haut risque
• Données de modification
• Partager des informations
• Interagir avec des ressources inhabituelles

L'utilisation active d'une autorisation à haut risque peut mériter une attention plus soutenue qu'un droit inutilisé, tandis que les autorisations excessives inutilisées peuvent tout de même justifier leur suppression.

6. Portée de la destination et de l'action

Enfin, déterminez ce qui se passe une fois que l'IA a accès aux données.

Peut-il :

• Renvoyer les informations à un utilisateur ?
• L'envoyer par courriel ?
• L'écrire dans une autre application SaaS ?
• Appeler une API externe ?
• Transférer à un autre agent ?
• Le stocker dans un autre dépôt ?
• L'utiliser pour prendre une décision importante ?
• Déclencher un flux de travail automatisé ?

La destination compte autant que le point de départ.

L'équation d'exposition des données de l'IA

Les équipes de sécurité peuvent utiliser ces dimensions pour structurer la mesure de l'exposition des données d'IA sans considérer cette exposition comme un score universel unique.

Que doivent mesurer les RSSI ?

Ne faites pas du “ nombre d’outils d’IA découverts ” la principale mesure de la sécurité des données d’IA.

Surveillez si l'exposition diminue.

L'objectif n'est pas d'accroître le nombre d'IA disponibles.

L’objectif est de réduire le nombre de données sensibles bloquées par un accès inutile à l’IA et de limiter les parcours à fort impact entre la récupération et l’action.

Comment réduire l'exposition des données d'IA

1. Découvrir les données sensibles avant de connecter l'IA

Identifier les informations réglementées, confidentielles, exclusives, d'identification, financières, de santé, personnelles et essentielles à l'activité qui existent dans les référentiels auxquels l'IA peut accéder.

Faites-le avant de connecter les copilotes, les systèmes RAG, la recherche ou les agents, si possible.

2. Cartographier les identités et les voies d'accès de l'IA

Identifier les agents, les copilotes, les applications d'IA, les comptes de service, les identités machine, les API, les connecteurs et les flux de travail qui créent des chemins d'accès aux données d'entreprise.

Déterminez ensuite quelle autorité utilise chaque chemin.

3. Réduire l'accès excessif à l'IA

Identifier les systèmes d'IA ayant accès à des fonctionnalités dépassant le cadre autorisé.

Priorisez les autorisations liées aux informations sensibles et critiques pour l'entreprise.

Appliquer moindre privilège aux données sous-jacentes à l'IA, et pas seulement à l'application d'IA elle-même.

4. Récupération sécurisée

Ne confondez pas pertinence et autorisation.

Les systèmes RAG et l'IA d'entreprise doivent respecter les limites d'accès lors de la récupération d'informations sensibles.

Examinez les autorisations des sources, les index, les magasins de vecteurs, les connecteurs et les identités de récupération.

5. Réduire les données dont l'IA n'a pas besoin

Les informations obsolètes, redondantes, dupliquées et conservées en excès peuvent accroître l'exposition à l'IA sans pour autant apporter de valeur ajoutée à l'entreprise.

La préparation à l'IA doit inclure la minimisation des données.

6. Surveiller l'activité des données d'IA

Associer l'activité de l'IA aux données sensibles et au contexte d'identité.

Déterminer quels systèmes d'IA accèdent, récupèrent, déplacent, partagent, modifient ou suppriment réellement des informations sensibles.

7. Protéger les invites et les réponses

L'exposition à l'IA peut également se produire au niveau de l'interaction.

Surveiller les invites de saisie d'informations sensibles et, en figurant dans les réponses, relier les violations aux utilisateurs et aux politiques, et enquêter sur les interactions à risque.

8. Limiter les capacités des agents à fort impact

Donnez aux agents uniquement les outils, les autorisations, les fonctionnalités et l'autonomie nécessaires à leur mission.

Distinguez, dans la mesure du possible, la lecture de l'écriture et des actions qui en découlent.

Exiger une autorisation plus stricte ou une approbation humaine pour les actions à fort impact.

9. Contrôler les destinations

Demandez où l'IA peut envoyer les informations sensibles après leur récupération.

Contrôler les déplacements inappropriés entre les applications, les API, les services externes, les agents et autres destinations.

10. Remédier et remesurer

La gestion de l'exposition nécessite un système en boucle fermée.

Supprimer les accès excessifs, corriger les partages, supprimer les données inutiles, appliquer la politique de confidentialité, attribuer la propriété et mettre en œuvre les mesures correctives.

Mesurez ensuite à nouveau l'exposition.

Exposition des données d'IA aux copilotes, aux RAG et aux agents

Le modèle de mesure reste cohérent, mais le schéma d'exposition change selon l'architecture de l'IA.

Copilotes

Les copilotes opèrent fréquemment au sein d'applications d'entreprise et de modèles d'accès utilisateur existants.

La question centrale de l’exposition devient :

Quelles informations sensibles cet utilisateur pourra-t-il plus facilement découvrir grâce à l'IA ?

CHIFFON

RAG ajoute une infrastructure de récupération entre l'utilisateur et les données sources.

Les équipes doivent comprendre les autorisations sources, l'indexation, les magasins de vecteurs, les identités de récupération, l'autorisation et le contexte sensible renvoyé au modèle.

La pertinence détermine ce que l'IA peut extraire. L'autorisation détermine ce qu'elle doit extraire.

Agents d'intelligence artificielle

Les agents ajoutent de l'autonomie et de l'action.

La question de sécurité passe de “ Que peut-il récupérer ? ” à :

Que peut-elle récupérer, que peut-elle décider et que peut-elle faire ensuite ?

Cela rend l'identité, la délégation, les autorisations des outils, les contrôles de destination et les actions en aval essentiels à la mesure de l'exposition.

L'exposition des données d'IA est une mesure pré-incident

Il s'agit du changement le plus important.

Les programmes de sécurité traditionnels mesurent souvent les incidents de données après qu'un accès ou un déplacement enfreigne la politique en vigueur.

L'IA offre la possibilité de mesurer les conditions qui rendent ces incidents plus probables avant qu'ils ne se produisent.

Comment BigID contribue à mesurer et à réduire l'exposition des données d'IA

BigID aborde la sécurité de l'IA en partant des données.

C’est important car le risque associé à un système d’IA dépend fortement des informations, des identités, des autorisations, des activités et des actions de l’entreprise qui y sont liées.

BigID aide les organisations :

• Découvrir et classer les données sensibles : Identifier les informations réglementées, confidentielles, exclusives, d'identification, personnelles, de santé, financières et critiques pour l'entreprise dans les environnements d'entreprise.
• Découvrir et gouverner l'IA : Connectez les modèles, les agents, les copilotes, les invites, les ensembles de données, les magasins de vecteurs, les pipelines et l'IA fantôme aux données sensibles, à la propriété, à la lignée, aux identités, aux autorisations, aux politiques et aux risques.
• Comprendre l'accès à l'IA : Découvrez les voies d'accès de l'IA et connectez les identités d'IA, les autorisations héritées, les applications, les API, les comptes de service et les identités machine aux données sensibles de l'entreprise.
• Identifier les accès excessifs : Identifiez les autorisations trop générales, obsolètes, héritées, inutiles, externes ou à haut risque liées à des informations sensibles.
• Ajouter le contexte de l'activité : Comprendre comment les données sensibles sont consultées, déplacées, téléchargées, partagées, modifiées ou supprimées dans les environnements cloud, SaaS, hybrides, sur site et connectés à l'IA.
• Protéger les interactions avec l'IA : Surveiller les données sensibles dans les invites et les réponses, attribuer les violations aux utilisateurs et aux conversations, et relier les interactions à risque aux flux de travail de politique et de réponse.
• Réduire les données inutiles : Identifier les informations périmées, redondantes, obsolètes, dupliquées et conservées en excès afin d'augmenter la quantité de données potentiellement accessibles à l'IA.
• Réduire l'exposition : Prioriser les risques, réduire les accès excessifs, appliquer les politiques, attribuer les responsabilités, supprimer les données inutiles et coordonner la remédiation dans tous les environnements de l'entreprise.

BigID connecte la chaîne d'exposition :

IA → Identité → Autorité → Accès → Données sensibles → Activité → Action → Destination

Cela fait passer la sécurité des données d'IA du simple comptage des systèmes et des incidents à la mesure de l'exposition des données sensibles qui les sous-tendent.

Le test CISO pour l'exposition des données d'IA

Si la réponse à plusieurs de ces questions est non, l'organisation peut avoir une visibilité sur l'IA sans pour autant avoir une visibilité sur l'exposition des données de l'IA.

Cette distinction prendra davantage d'importance à mesure que l'IA passera de la simple réponse aux questions à la récupération de données, à l'utilisation d'outils, à la coordination avec d'autres agents et à la prise d'actions.

FAQ sur l'exposition des données de l'IA

Qu’est-ce que l’exposition des données liées à l’IA ?

L’exposition des données de l’IA se produit lorsqu’un système d’IA peut accéder à des données sensibles, les récupérer, les traiter, les révéler, les combiner, les déplacer ou agir sur elles dans des conditions qui créent des risques inutiles en matière de sécurité, de confidentialité, de conformité ou d’activité.

L'exposition des données d'IA est-elle la même chose qu'une fuite de données d'IA ?

Non. L'exposition désigne une situation où des données sensibles se trouvent sur un chemin d'accès à l'IA inapproprié ou inutilement risqué. La fuite désigne l'apparition d'informations sensibles dans un système, une interaction ou une sortie inappropriée. Réduire l'exposition peut contribuer à prévenir les fuites.

L'exposition des données de l'IA nécessite-t-elle nécessairement une violation de données ?

Non. Les données sensibles peuvent être exposées en raison d'autorisations excessives, d'un partage excessif, d'une récupération inappropriée, d'un accès étendu à l'IA ou d'une disponibilité inutile des données, sans attaquant externe ni violation confirmée.

Comment mesure-t-on l'exposition aux données d'IA ?

Mesurer la sensibilité et le volume des données que l'IA peut atteindre, les voies d'accès efficaces, la disponibilité de la récupération, la gravité des autorisations, l'activité réelle et les destinations ou actions disponibles après la récupération.

Qu’est-ce qu’un accès excessif à l’IA ?

On parle d'accès excessif à l'IA lorsqu'un système d'IA dispose de plus d'accès ou d'autorisations que nécessaire pour sa finalité approuvée. Le risque s'accroît lorsque ces autorisations concernent des informations sensibles, réglementées, confidentielles ou critiques pour l'entreprise.

Comment RAG crée-t-il une exposition des données de l'IA ?

Les systèmes RAG extraient les informations de l'entreprise et les intègrent au contexte de l'IA. Une exposition des données peut survenir lorsque les autorisations sources, les autorisations d'extraction, les index, les bases de données vectorielles ou les chemins d'accès permettent à l'IA d'extraire des informations sensibles en dehors du cadre prévu.

Comment les agents d'IA augmentent-ils l'exposition aux données ?

Les agents d'IA peuvent combiner l'accès aux données avec l'autonomie et l'utilisation d'outils. Un agent peut récupérer des informations sensibles, puis les écrire, les modifier, les envoyer, les partager, les supprimer ou les transmettre à un autre système ou agent, ce qui accroît leur impact potentiel.

L'IA peut-elle exposer des données même lorsque les utilisateurs disposent d'autorisations valides ?

Oui. Un accès légitime peut toujours dépasser les besoins opérationnels actuels. L'IA peut faciliter considérablement la découverte, la récupération, la combinaison et l'utilisation d'informations largement accessibles, ce qui peut amplifier les problèmes d'accès excessif existants.

Quelles sont les métriques que les RSSI doivent suivre en matière d'exposition des données liées à l'IA ?

Les indicateurs utiles comprennent les données sensibles accessibles par l'IA, les identités d'IA disposant d'un accès excessif, les chemins d'accès aux données à haut risque entre l'IA et les données, les données sensibles exposées à la récupération, les identités d'IA disposant d'autorisations importantes, les violations des invites et des réponses sensibles, l'accès actif aux données sensibles, le temps de remédiation et l'exposition éliminée.

Comment les organisations peuvent-elles réduire l'exposition de leurs données à l'IA ?

Les organisations peuvent découvrir les données sensibles, cartographier les identités et les chemins d'accès de l'IA, réduire les autorisations excessives, sécuriser la récupération, minimiser les données inutiles, surveiller l'activité, protéger les invites et les réponses, limiter les capacités des agents, contrôler les destinations et corriger et réévaluer en permanence l'exposition.

Comment BigID contribue-t-il à réduire l'exposition des données IA ?

BigID connecte les systèmes d'IA aux données sensibles, aux identités, aux autorisations, à l'activité, à la propriété, à la traçabilité, aux politiques et au contexte métier. Cela permet aux organisations d'identifier les accès à l'IA à haut risque, de prioriser l'exposition, de réduire les autorisations excessives, de protéger les interactions avec l'IA, de minimiser les données inutiles et de faciliter la correction des problèmes.