Les agences de la ville de New York ont besoin de politiques d’utilisation de l’IA, selon un audit | StateScoop
Un audit du contrôleur de l’État de New York, Thomas DiNapoli, a révélé que le Bureau de la technologie et de l’innovation de la ville de New York devait créer de meilleures politiques d’utilisation de l’intelligence artificielle pour les agences municipales.
En examinant les quatre agences incluses dans le rapport du 16 février – Administration des services à l’enfance, Département de l’éducation, Département de la police de la ville de New York et Département des bâtiments – les auditeurs ont constaté « d’importantes lacunes dans la surveillance » de l’utilisation de l’IA. Selon un communiqué de presse, cette lacune rend les outils et les systèmes « vulnérables à des résultats erronés, inexacts ou biaisés dans plusieurs programmes qui peuvent avoir un impact direct sur la vie des New-Yorkais ».
Lorsque le maire Eric Adams a créé l’OTI en 2022, le bureau a hérité de la responsabilité de la surveillance et de la gouvernance de l’utilisation de l’IA dans les agences municipales du rôle de responsable de la gestion des algorithmes et des politiques de l’administration précédente. L’ancien maire Bill de Blasio s’est fixé pour objectif de créer des lignes directrices pour une utilisation équitable et responsable de l’IA, mais cette tâche reste inachevée, indique le communiqué de presse.
L’audit a recommandé à l’OTI de créer une nouvelle structure régissant l’utilisation des outils et des systèmes d’IA par les agences municipales et d’évaluer le risque que chaque outil pose. Les auditeurs ont également recommandé un examen des politiques de l’administration de Blasio pour identifier les domaines qui doivent être renforcés par l’OTI.
Malgré le prétendu manque de conseils, certaines agences municipales qui utilisent l’IA ont pris des mesures en interne pour faire face aux risques de résultats biaisés. L’agence de services à l’enfance a supprimé certains types de données raciales et ethniques de son « modèle prédictif des dommages graves », qui est conçu pour identifier les enfants les plus à risque d’abus et donner la priorité aux examens d’assurance qualité des cas, selon le communiqué de presse.
L’agence de services à l’enfance a également établi des directives internes spécifiques à l’utilisation de l’IA, et les responsables de l’agence ont déclaré aux auditeurs qu’ils élaboraient une politique plus formelle pour garantir le respect des directives, selon le communiqué.
Les auditeurs ont constaté que le NYPD a également créé une politique d’impact et d’utilisation interne pour certains outils, comme les logiciels de reconnaissance faciale, qui sont susceptibles d’être biaisés, en particulier pour les groupes autres que les hommes blancs. Même ainsi, le département n’a pas établi de norme de précision acceptable pour ce logiciel, et le communiqué indique que ces efforts font partie des politiques de surveillance plus larges du NYPD et ne sont pas spécifiques à certains des risques uniques posés par l’IA.
En plus de citer un besoin de conseils, l’audit a également révélé qu’aucune des agences ne tient un inventaire formel des systèmes et outils d’IA qu’ils utilisent et ont en cours de développement. Une loi locale promulguée en janvier 2022 oblige toutes les agences municipales à divulguer au bureau du maire les outils algorithmiques qu’elles ont utilisés une ou plusieurs fois au cours de l’année civile précédente. Sur les quatre agences incluses dans l’audit, seule l’agence de services à l’enfance tient un inventaire de tous les ensembles de données utilisés par ses outils d’IA, indique le communiqué de presse.
« L’utilisation de l’intelligence artificielle par le gouvernement pour améliorer les services publics n’est pas nouvelle », a déclaré DiNapoli dans le communiqué. «Mais il doit y avoir des directives formelles régissant son utilisation, un inventaire clair de ce qui est utilisé et pourquoi, et des normes de précision, de sorte que les algorithmes qui peuvent aider à former les éducateurs, à identifier les suspects potentiels, à hiérarchiser les cas de maltraitance d’enfants et à inspecter les bâtiments. t faire plus de mal que de bien.
« J’espère que le Bureau de la technologie et de l’innovation de la ville agit sur les recommandations de mon bureau pour aider à garantir que l’IA utilisée par la ville ne présente pas de risque de biais ou d’inexactitudes. »
Un porte-parole de l’OTI a déclaré à StateScoop que l’audit s’est concentré sur une grande partie de la structure de l’administration de Blasio, mais a ajouté que le bureau cherche actuellement à embaucher un directeur de l’IA et de l’apprentissage automatique, qui dirigera le travail de développement d’un cadre et d’une stratégie centraux d’IA sous la nouvelle structure de la ville.
« L’administration comprend parfaitement le rôle de plus en plus important que joue l’IA dans le paysage technologique de New York, et nous nous félicitons de cette opportunité de discuter et de réfléchir sur le travail de la ville à ce jour », a écrit le porte-parole dans un e-mail. « Alors qu’une grande partie de cet audit s’est concentré sur le travail de l’administration précédente et d’une structure gouvernementale différente, la récente consolidation par cette administration des agences et entités technologiques sous l’égide de l’Office de la technologie et de l’innovation (OTI) place la ville dans une position de force pour aborder l’IA. de manière plus centralisée et coordonnée.