Le NIST lance ARIA, un nouveau programme visant à faire progresser les tests et l’évaluation sociotechniques pour l’IA
L’Institut national des normes et technologies (NIST) lance un nouveau programme de tests, d’évaluation, de validation et de vérification (TEVV) destiné à aider à améliorer la compréhension des capacités et des impacts de l’intelligence artificielle.
L’évaluation des risques et des impacts de l’IA (ARIA) vise à aider les organisations et les individus à déterminer si une technologie d’IA donnée sera valide, fiable, sûre, privée et équitable une fois déployée. Le programme intervient peu de temps après plusieurs annonces récentes du NIST autour des 180 jours du décret sur une IA digne de confiance et le dévoilement par les US AI Safety Institutes de sa vision stratégique et de son réseau international de sécurité.
Afin de bien comprendre les impacts que l’IA a et aura sur notre société, nous devons tester son fonctionnement dans des scénarios réalistes et c’est exactement ce que nous faisons avec ce programme, a déclaré la secrétaire américaine au Commerce, Gina Raimondo. Avec le programme ARIA et d’autres efforts visant à soutenir les responsabilités du commerce dans le cadre du décret du président Biden sur l’IA, le NIST et l’US AI Safety Institute exploitent tous les leviers pour atténuer les risques et maximiser les avantages de l’IA.
Le programme ARIA est conçu pour répondre aux besoins du monde réel à mesure que l’utilisation de la technologie de l’IA se développe, a déclaré Laurie E. Locascio, sous-secrétaire au commerce pour les normes et la technologie et directrice du NIST. Ce nouvel effort soutiendra l’Institut américain de sécurité de l’IA, élargira l’engagement déjà large du NIST auprès de la communauté de recherche et aidera à établir des méthodes fiables pour tester et évaluer les fonctionnalités de l’IA dans le monde réel.
ARIA développe le cadre de gestion des risques de l’IA, publié par le NIST en janvier 2023, et aide à opérationnaliser la fonction de mesure des risques du cadre, qui recommande que des techniques quantitatives et qualitatives soient utilisées pour analyser et surveiller les risques et les impacts de l’IA. ARIA aidera à évaluer ces risques et impacts en développant un nouvel ensemble de méthodologies et de mesures pour quantifier dans quelle mesure un système maintient une fonctionnalité sûre dans des contextes sociétaux.
La mesure des impacts ne se limite pas à la façon dont un modèle fonctionne dans un laboratoire, a déclaré Reva Schwartz, responsable du programme ARIA du NIST Information Technology Labs. ARIA considérera l’IA au-delà du modèle et évaluera les systèmes dans leur contexte, y compris ce qui se passe lorsque les gens interagissent avec la technologie de l’IA dans des environnements réalistes et utilisés régulièrement. Cela donne une vision plus large et plus globale des effets nets de ces technologies.
Les résultats de l’ARIA soutiendront et éclaireront les efforts collectifs du NIST, notamment par l’intermédiaire de l’US AI Safety Institute, pour jeter les bases de systèmes d’IA sûrs, sécurisés et dignes de confiance.