DiNapoli : l’audit recommande une surveillance plus stricte des programmes d’intelligence artificielle des NYC

La ville de New York manque de lignes directrices et de politiques nécessaires pour que les agences utilisent l’intelligence artificielle (IA), ce qui la rend vulnérable à des résultats erronés, inexacts ou biaisés dans plusieurs programmes qui peuvent avoir un impact direct sur la vie des New-Yorkais, un audit publié aujourd’hui par le contrôleur de l’État de New York Thomas P DiNapoli a trouvé.

L’utilisation de l’intelligence artificielle par les gouvernements pour améliorer les services publics n’est pas nouvelle. Mais il doit y avoir des directives formelles régissant son utilisation, un inventaire clair de ce qui est utilisé et pourquoi, et des normes de précision, de sorte que les algorithmes qui peuvent aider à former les éducateurs, identifier les suspects potentiels, hiérarchiser les cas de maltraitance d’enfants et inspecter les bâtiments ne font pas plus. mal que de bien, a déclaré DiNapoli. J’espère que le Bureau de la technologie et de l’innovation de la ville agira sur les recommandations de mon bureau pour aider à garantir que l’IA utilisée par la ville ne risque pas d’être biaisée ou inexacte.

L’Office de la technologie et de l’innovation (OTI) de la ville a été créé par le décret exécutif 3 du maire en janvier 2022, avec la responsabilité de la surveillance et de la gouvernance de l’IA, qui, dans l’administration précédente, relevait d’un agent de gestion et de politique des algorithmes (AMPO). Lorsque l’OTI a remplacé l’AMPO, de nombreux objectifs des administrations précédentes visant à créer des lignes directrices pour l’utilisation équitable et responsable des technologies d’IA et à traiter les plaintes liées aux dommages potentiels causés par l’utilisation de celles-ci par une agence étaient incomplets et restent inachevés aujourd’hui. Par ailleurs, la loi locale 35, promulguée le 15 janvier 2022, oblige les agences à divulguer au bureau du maire les outils algorithmiques qu’elles ont utilisés une ou plusieurs fois au cours de l’année civile précédente.

L’audit DiNapolis a examiné les politiques de gouvernance sur l’utilisation de l’IA dans quatre agences : l’Administration for Childrens Services (ACS), le Department of Education (DOE), le New York City Police Department (NYPD) et le Department of Buildings (DOB). L’audit a révélé des lacunes importantes dans la surveillance et l’évaluation des risques de l’intelligence artificielle.

Certains organismes ont pris des mesures pour faire face au risque de résultats biaisés. Par exemple, l’ACS a supprimé certains types de données raciales et ethniques de son modèle prédictif de sévices graves, qui est conçu pour identifier les enfants les plus à risque d’abus et donner la priorité aux examens d’assurance qualité des cas. L’ACS a des directives internes spécifiques à l’utilisation de l’IA et les responsables ont déclaré qu’ils élaboraient une politique plus formelle pour garantir le respect des directives.

En revanche, le DOE n’exige pas d’évaluation pour son utilisation des outils d’IA, tels que ceux qui utilisent la technologie vocale pour analyser les modèles de discours en classe, en tant qu’outils de développement professionnel qui peuvent aider les éducateurs à améliorer leurs compétences en communication.

Les auditeurs ont constaté que le NYPD a créé une politique d’impact et d’utilisation pour certains outils qui reconnaît le potentiel de biais dans les logiciels de reconnaissance faciale, en particulier pour les groupes autres que les hommes blancs. Cependant, il n’a pas établi de norme de précision acceptable. La politique d’impact et d’utilisation décrit l’utilisation appropriée de la technologie de reconnaissance faciale, mais les directives font partie des politiques de surveillance plus larges du NYPD et ne sont pas spécifiques à certains des risques uniques posés par l’IA.

Au DOB, les responsables ont déclaré qu’ils n’avaient pas de politiques de gouvernance ni de responsabilité pour superviser l’utilisation de l’IA, car ils ne l’utilisaient pas. Cependant, DOB permet aux inspecteurs qui exécutent son programme d’inspection de sécurité des façades d’utiliser des outils d’IA pour identifier les défauts de façade en plus de toute inspection pratique requise. Le DOB n’exige pas que les inspecteurs de façades signalent s’ils ont utilisé des outils d’IA lors des inspections, qui sont requises tous les cinq ans pour les bâtiments de plus de six étages.

L’audit a également révélé qu’aucune des agences ne tient un inventaire formel des systèmes et outils d’IA qu’ils utilisent et ont en cours de développement, et que seul ACS tient un inventaire de tous les ensembles de données que ses outils d’IA utilisent.

Aucune des agences n’avait de politiques formelles sur l’utilisation prévue et les résultats des outils ou systèmes d’IA. Comme indiqué, les politiques du NYPD sur l’utilisation et les résultats concernent les outils de surveillance et ne sont pas spécifiques à l’IA.

Recommandations

L’audit de DiNapolis recommande à l’OTI de créer une structure de gouvernance pour l’utilisation des outils et des systèmes d’IA par les agences municipales et d’évaluer le risque que chacun pose. Il a également recommandé un examen des politiques antérieures de l’AMPO afin d’identifier les domaines qui doivent être renforcés par l’OTI.

Réponse

En réponse à l’audit, l’OTI a convenu que davantage de travail était nécessaire pour approfondir la gouvernance de l’IA de la ville et a proposé des exemples de ce qui existe déjà sur lequel ils s’appuieront. Parmi les quatre agences visées par l’audit, l’ACS et le NYPD ont déclaré avoir mis en place des mesures de gouvernance ou être en train de traiter les risques ou les préoccupations soulevés dans les conclusions de l’audit. DOB a déclaré qu’il recherchait des moyens d’introduire l’IA conformément aux codes du bâtiment, mais n’a pas adopté de cadre formel pour son utilisation. Leurs réponses complètes sont disponibles dans l’audit. Le DOE n’a pas fourni de réponse écrite à l’audit.

Audit
Bureau de la technologie et de l’innovation de la ville de New York : Gouvernance de l’intelligence artificielle

Suivez les dépenses des États et des administrations locales sur Open Book New York. Dans le cadre de l’initiative de données ouvertes du contrôleur d’État DiNapolis, recherchez des millions de documents financiers des États et des gouvernements locaux, suivez les contrats d’État et trouvez les données fréquemment demandées.