L’inventaire initial du DHS sur l’IA comprenait un cas d’utilisation de la cybersécurité qui n’était pas de l’IA, selon le GAO
Le ministère de la Sécurité intérieure n’a pas correctement certifié si les cas d’utilisation de l’intelligence artificielle pour la cybersécurité répertoriés dans son inventaire d’IA étaient des exemples réels de la technologie, selon un nouveau rapport du Government Accountability Office, remettant en question la véracité du catalogue complet de l’agence.
L’inventaire de l’IA du DHS, lancé en 2022 pour répondre aux exigences énoncées dans le décret de 2020 de l’administration Trump sur l’IA au sein du gouvernement fédéral, comprenait 21 cas d’utilisation dans toutes les composantes de l’agence, dont deux étaient spécifiquement axés sur la cybersécurité.
Les responsables du DHS ont déclaré au GAO que l’un des deux cas d’utilisation de la cybersécurité – Automated Scoring and Feedback, un modèle prédictif destiné à partager des informations sur les cybermenaces – « a été qualifié à tort d’IA ». L’inclusion d’AS&F « soulève des questions sur la fiabilité globale de l’inventaire des cas d’utilisation de l’IA du DHS », a déclaré le GAO.
« Bien que le DHS dispose d’un processus pour examiner les cas d’utilisation avant qu’ils ne soient ajoutés à l’inventaire de l’IA, l’agence reconnaît qu’elle ne confirme pas si les utilisations sont correctement qualifiées d’IA », note le rapport. « Tant qu’il n’étendra pas son processus pour inclure de telles déterminations, le DHS ne sera pas en mesure de garantir des rapports précis sur les cas d’utilisation. »
Le GAO a reproché au DHS de ne pas avoir pleinement mis en œuvre le cadre de responsabilité de l’IA de 2021 de l’organisme de surveillance, notant que l’agence n’a «incorporé que des pratiques sélectionnées» pour «gérer et superviser son utilisation de l’IA pour la cybersécurité».
Ce cadre d’IA comprend 11 pratiques clés qui ont été prises en compte pour la gestion, les opérations et la surveillance des pratiques de cybersécurité de l’IA par le DHS, couvrant tout, de la gouvernance et des données aux performances et à la surveillance. La Direction générale des technologies de l’agence a examiné les 21 cas d’utilisation répertoriés lors du lancement de l’inventaire des cas d’utilisation du DHS, mais aucune mesure supplémentaire n’a été prise pour déterminer si un cas d’utilisation « était caractéristique de l’IA », indique le rapport.
« Les responsables du CTOD ont déclaré qu’ils n’avaient pas vérifié de manière indépendante les systèmes car ils s’appuient sur des composants et sur les efforts de gouvernance et de surveillance informatiques existants pour garantir l’exactitude », a déclaré le GAO. « Selon les experts qui ont participé au Forum du contrôleur général sur l’intelligence artificielle, les cadres et normes existants pourraient ne pas fournir suffisamment de détails sur l’évaluation des problèmes sociaux et éthiques pouvant découler de l’utilisation des systèmes d’IA. »
Le GAO a proposé huit recommandations au DHS, notamment une expansion du processus d’examen de l’IA de l’agence, l’ajout d’étapes pour garantir l’exactitude des soumissions d’inventaire et une mise en œuvre complète des pratiques du cadre d’IA du chien de garde. Le DHS a accepté les huit recommandations, indique le rapport.
« Garantir une utilisation responsable et responsable de l’IA sera essentiel à mesure que le DHS renforce ses capacités à utiliser l’IA pour ses opérations », a déclaré le GAO. « En mettant pleinement en œuvre des pratiques de responsabilisation, le DHS peut renforcer la confiance du public dans le fait que l’IA peut être un outil très efficace pour aider à atteindre des résultats stratégiques. »
Le rapport du DHS fait suite aux conclusions antérieures du GAO faisant état de « données incomplètes et inexactes » dans les inventaires de cas d’utilisation de l’IA des agences. Un rapport de décembre 2023 de l’organisme de surveillance a qualifié la plupart des inventaires de « pas entièrement complets et précis », une conclusion qui correspondait aux rapports précédents de FedScoop.