PANAME : un partenariat pour l’audit de la confidentialité des modèles d’IA

La CNIL, l’ANSSI, le PEReN et le projet IPoP du PEPR Cybersécurité lancent PANAME, un projet visant à développer un outil pour auditer la confidentialité des modèles d’IA.

Auditer les modèles pour évaluer leur conformité

L’avis adopté par le comité européen de la protection des données (CEPD) en décembre 2024 rappelle que le RGPD s’applique, dans de nombreux cas, aux modèles d’IA entraînés sur des données personnelles, en raison de leurs capacités de mémorisation (voir l’article du LINC « Petite taxonomie des attaques des systèmes d’IA »).

Il précise également qu’il est très souvent nécessaire de démontrer dans une analyse qu’un modèle résiste à des attaques portant sur la confidentialité des données pour conclure à son caractère anonyme, condition permettant de le sortir du champ d’application du RGPD.

La CNIL publiera prochainement des recommandations pour aider les acteurs à conduire et documenter cette analyse.

Des ressources encore peu disponibles

Depuis une dizaine d’années, les chercheurs multiplient les travaux sur les attaques en confidentialité. Toutefois, leur mise en œuvre est souvent faite à un niveau expérimental, pour des publications scientifiques. Plusieurs obstacles ont ainsi été identifiés pour leur appropriation par les industriels :

• une littérature académique éparse et foisonnante : se repérer dans les ressources sur le sujet peut demander du temps et des compétences techniques élevées, notamment pour les plus petits acteurs ;
• des cas d’usage pas toujours adaptés à un contexte industriel : même lorsqu’elles sont disponibles en source ouverte (open source), ces techniques nécessitent un important travail de développement pour être utilisées en production ;
• un manque de standardisation : aucun cadre unifié n’existe actuellement pour formaliser le codage des tests de confidentialité.

Un consortium aux compétences complémentaires pour créer un nouvel outil

Afin de répondre aux enjeux de conformité et de lever les freins identifiés, la CNIL et ses partenaires lancent le projet PANAME (Privacy Auditing of AI Models).

Pendant 18 mois, le PEReN, l’ANSSI, le projet IPoP du PEPR (programmes et équipements prioritaires de recherche) Cybersécurité et la CNIL travailleront ensemble au développement d’une bibliothèque logicielle disponible toute ou partie en source ouverte, destinée à unifier la façon dont la confidentialité des modèles est testée.

Chaque partenaire contribuera selon son domaine d’expertise :

• le PEReN sera principalement en charge du développement de la bibliothèque ;
• l’ANSSI apportera son expertise cyber, notamment sur les contextes d’attaques sur les systèmes informatiques ;
• le Projet IPoP assurera la direction scientifique du projet ;
• la CNIL assurera le pilotage du projet ainsi que le cadrage juridique.

L’objectif de l’outil est de permettre une mise en œuvre efficace et à moindre coût de certains tests d’évaluation technique de confidentialité que les acteurs de l’écosystème IA sont susceptibles de réaliser pour évaluer la conformité RGPD d’un modèle d’IA. Des phases de tests avec des administrations et des industriels sont prévues afin de s’assurer que le développement de l’outil se fait en cohérence avec leur contexte d’utilisation.