INESIA - Résultats de tests conjoints pour l'amélioration des méthodologies d'évaluation multilingue des LLM
Dans le cadre du réseau international des instituts de sécurité de l'IA, le PEReN, au travers de l'INESIA, a pris part à un exercice conjoint de tests pour l'amélioration des méthodologies d'évaluation multilingue des LLM. Publication du rapport d'évaluation des résultats.
Afin de mettre en place une approche commune des tests de sécurité de LLMs (Large Langage Models) dans plusieurs langues, les instituts de sécurité de l’IA et les bureaux mandatés par les gouvernements de Singapour, du Japon, de l’Australie, du Canada, de l’Union européenne, de la France, du Kenya et de la Corée du Sud, ainsi que par l’institut de sécurité de l’IA du Royaume-Uni, ont mené un travail conjoint dont ils publient les conclusions.
Cet exercice d’évaluation auquel a participé l’Institut français, INESIA (Anssi, Inria, LNE, PEReN), cherche à répondre aux questions suivantes :
- efficacité des garanties : les garanties de sécurité sont-elles équivalentes dans les différentes langues ?
- qualité du refus de réponse du LLM : lorsque les modèles refusent de répondre, sont-ils trop prudents ou sont-ils toujours utiles ? Ce comportement varie t’il d’une langue à l’autre ?
- qualité de l’évaluateur : le recours à un LLM vérificateur (LLM-as-a-judge) est-il un moyen fiable pour l’évaluation multilingue ?
Le rapport publié décrit en détail les éléments méthodologiques et les résultats observés.
INESIA en quelques mots…
L'Institut National pour l'Évaluation et la Sécurité de l'Intelligence Artificielle (INESIA), co-piloté par le Secrétariat Général de la Défense et de la Sécurité Nationale (SGDSN) et la Direction Générale des Entreprises (DGE), est une initiative majeure pour que la France dialogue avec d'autres leaders mondiaux de l'IA sur les questions de sécurité et d'évaluation. Créé conformément à la Déclaration de Séoul, l'INESIA fédère les actions de l'ANSSI, d'Inria, du LNE et du PEReN pour structurer les efforts publics français dans le domaine de l'analyse des risques systémiques, la régulation et l'évaluation des modèles d'IA. Il vise également à développer des concepts et des outils pour évaluer la performance et la fiabilité des systèmes d'IA. Grâce à l'INESIA, la France joue un rôle clé au sein du réseau international des AI Safety Institutes, travaillant aux côtés de pays comme le Canada, la Corée du Sud, les États-Unis, le Japon, le Kenya, Singapour, le Royaume-Uni et l'Union Européenne pour promouvoir la sécurité, l'inclusivité et la confiance dans l'IA.