Le NIST publie les premiers résultats de l’évaluation d’un logiciel d’estimation de l’âge
Si une personne (dans ce cas, un membre du personnel du NIST) change d’expression faciale ou porte puis enlève des lunettes, les six algorithmes évalués par le NIST donnent des estimations d’âge qui varient autour de l’âge réel de la personne. Avec des images extraites d’une vidéo de téléphone portable, les algorithmes donnent des estimations d’âge qui restent supérieures ou inférieures à l’âge réel du sujet, soit 58 ans, et qui varient de quelques années d’une image à l’autre.
Crédit: P. Grother, N. Hanacek/NIST
Une nouvelle étude du National Institute of Standards and Technology (NIST) évalue les performances d’un logiciel qui estime l’âge d’une personne en fonction des caractéristiques physiques évidentes sur une photo de son visage. Un tel logiciel d’estimation et de vérification de l’âge (AEV) peut être utilisé comme contrôleur d’accès pour les activités soumises à une limite d’âge, telles que l’achat d’alcool ou l’accès à du contenu réservé aux adultes en ligne.
L’estimation de l’âge est devenue une technologie habilitante dans les programmes d’assurance de l’âge récemment inclus dans la législation et la réglementation tant aux États-Unis qu’à l’extérieur. Ces programmes visent à permettre uniquement aux personnes appartenant à certains groupes d’âge d’accéder aux forums de discussion sur les réseaux sociaux ou d’acheter certains produits à la fois en ligne et dans le monde physique et peuvent constituer une partie importante des efforts visant à protéger les enfants en ligne.
La nouvelle étude du NIST, Évaluation de la technologie d’analyse du visage : estimation et vérification de l’âge (NIST IR 8525), évalue les performances de six algorithmes que les développeurs ont fournis volontairement en réponse à un appel à candidatures de septembre 2023. Selon Kayee Hanaoka, l’un des auteurs de l’étude, les résultats montrent des algorithmes aux capacités variables.
Il existe une large gamme de performances parmi ces algorithmes, avec des marges d’amélioration dans tous les domaines, a déclaré Hanaoka, informaticien du NIST. Il s’agit d’un aperçu partiel du domaine de l’estimation de l’âge tel qu’il existait fin 2023, mais comme les performances de l’AEV sont étroitement liées aux progrès de l’intelligence artificielle, nous nous attendons à ce que ce domaine évolue rapidement.
La nouvelle étude constitue la première incursion du NIST dans l’évaluation de l’AEV depuis une décennie et donne le coup d’envoi d’un nouvel effort à long terme de l’agence visant à effectuer des tests fréquents et réguliers de la technologie. Le NIST a évalué le logiciel AEV pour la dernière fois en 2014. À l’époque, a déclaré Hanaoka, cette technologie suscitait beaucoup moins d’intérêt et l’évaluation était un effort ponctuel. Ce test utilisait une base de données unique d’environ 6 millions de photos prises lors de demandes de visa et nécessitait des algorithmes uniquement pour fournir une estimation de l’âge sur chaque photo.
Les temps ont changé au cours de la décennie suivante. Les logiciels d’analyse de visage sont devenus suffisamment importants pour que le NIST ait divisé son programme de reconnaissance de visage en deux volets, l’un qui évalue la capacité des algorithmes à identifier les personnes (évaluation de la technologie de reconnaissance de visage, ou FRTE) et l’autre qui évalue la capacité à mesurer les aspects d’un visage (visage). évaluation de la technologie d’analyse, ou FATE). Le nouveau test fait partie de la piste FATE, qui propose également des évaluations dédiées à la détection des usurpations de photos et à la mesure de la qualité de l’image.
Le nouveau test du NIST étend sa collection de photos à environ 11,5 millions de photos provenant de quatre bases de données diverses, toutes provenant de sources gouvernementales américaines : la collection de visas utilisée en 2014, complétée par un ensemble de photos d’identité du FBI, un ensemble d’images de webcam obtenues aux postes frontières et un ensemble de photos de demandes d’immigration de personnes nées dans plus de 100 pays. Les photos des bases de données diffèrent par leur qualité d’image et reflètent une variété d’âges, de sexes et de régions d’origine. Toutes les données ont été anonymisées et la recherche a été revue pour protéger les droits et la vie privée des sujets photographiés.
Le test évaluait à nouveau les algorithmes sur leur précision lors de l’estimation de l’âge, mais en réponse aux demandes des développeurs de logiciels, le test demandait également aux algorithmes de préciser si la personne sur la photo avait plus de 21 ans. Le test était une étude en boîte fermée, dans Les chercheurs du NIST ont analysé uniquement les performances finales des algorithmes, et non leur fonctionnement interne ou la manière dont ils sont parvenus à leurs résultats. Le NIST ne fait aucune recommandation quant à savoir si le logiciel est adapté à des cas d’utilisation particuliers.
Hanaoka a déclaré que le rapport propose quelques premières conclusions :
- Il n’existe pas d’algorithme unique, et la précision d’un algorithme donné est influencée par la qualité de l’image, le sexe, la région de naissance, l’âge de la personne sur la photographie et les interactions entre ces facteurs. Les algorithmes ont tous leurs propres sensibilités avec certains groupes démographiques ; un algorithme qui fonctionne bien sur certains groupes peut fonctionner mal sur d’autres.
- Sans surprise, Le logiciel AEV s’est amélioré au cours de la décennie écoulée depuis le rapport précédent. Lors de l’estimation de l’âge sur la base de données commune de photos de visa (qui a été utilisée en 2014 ainsi que dans la présente étude), les algorithmes signifient que l’erreur absolue a diminué de 4,3 à 3,1 ans. Cinq des six algorithmes surpassent l’algorithme le plus précis soumis en 2014.
- Les taux d’erreur étaient presque toujours plus élevés pour les visages féminins que pour les hommes. Cela était également vrai pour les algorithmes évalués en 2014, mais les raisons sous-jacentes sont inconnues.
Le programme de tests est conçu pour être continu et les auteurs de l’étude acceptent les soumissions de nouveaux algorithmes sur une base continue. L’équipe prévoit de publier des mises à jour de cette première série de résultats sur son site Web toutes les quatre à six semaines, a indiqué Hanaoka.
Nous prévoyons des changements rapides dans le domaine des logiciels AEV et nous avons l’intention de mettre à jour et d’étendre nos méthodes de test dans un avenir proche, a-t-elle déclaré. Nous prévoyons de demander aux algorithmes de répondre à des questions supplémentaires, par exemple si de meilleures performances sont possibles si une photo préalable de la même personne est disponible. Nous prévoyons également d’étendre et de diversifier les bases de données de photos pour mieux couvrir des applications telles que la sécurité en ligne.
Toutes les mises à jour seront disponibles sur le site Web du projet AEV du NIST, et les parties intéressées pourront recevoir des mises à jour de statut par e-mail. frvt-news+abonnement [at] liste.nist.gov (frvt-news+abonnement[at]liste[dot]niste[dot]gouvernement).