Quand l’IA se détraque, amenez les humains

OAKLAND, Californie, 13 octobre (Reuters) – Utilisés par les deux tiers des 100 plus grandes banques du monde pour faciliter les décisions de prêt, le géant de la notation de crédit Fair Isaac Corp (FICO.N) et son logiciel d’intelligence artificielle peuvent faire des ravages en cas de problème. .

Cette crise a failli se produire au début de la pandémie. Comme FICO l’a raconté à Reuters, les outils d’intelligence artificielle de la société Bozeman, dans le Montana, pour aider les banques à identifier les fraudes par carte de crédit et de débit, ont conclu qu’une augmentation des achats en ligne signifiait que les fraudeurs devaient être plus occupés que d’habitude.

Le logiciel d’intelligence artificielle a dit aux banques de refuser des millions d’achats légitimes, à une époque où les consommateurs se bousculaient pour obtenir du papier toilette et d’autres produits essentiels.

Mais les consommateurs ont finalement fait face à peu de refus, selon FICO. La société a déclaré qu’un groupe mondial de 20 analystes qui surveillent en permanence ses systèmes ont recommandé des ajustements temporaires qui ont évité un blocage des dépenses. L’équipe est automatiquement alertée d’une activité d’achat inhabituelle qui pourrait semer la confusion dans l’IA, sur laquelle 9 000 institutions financières s’appuient pour détecter la fraude sur 2 milliards de cartes.

De telles équipes d’entreprise, qui font partie de la spécialité émergente des opérations d’apprentissage automatique (MLOps), sont inhabituelles. Dans des enquêtes distinctes l’année dernière, FICO et le cabinet de conseil McKinsey & Co ont constaté que la plupart des organisations interrogées ne surveillaient pas régulièrement les programmes basés sur l’IA après leur lancement.

Le problème est que les erreurs peuvent abonder lorsque les circonstances du monde réel s’écartent ou, dans le langage technique, « dérivent », des exemples utilisés pour former l’IA, selon les scientifiques qui gèrent ces systèmes. Dans le cas de FICO, il a déclaré que son logiciel attendait plus d’achats en personne que d’achats virtuels, et le ratio inversé a conduit à une plus grande part de transactions signalées comme problématiques.

Les variations saisonnières, les changements de qualité des données ou les événements importants – comme la pandémie – peuvent tous conduire à une série de mauvaises prédictions d’IA.

Imaginez un système recommandant des maillots de bain aux acheteurs d’été, sans se rendre compte que les verrouillages COVID avaient rendu les pantalons de survêtement plus appropriés. Ou un système de reconnaissance faciale devenant défectueux parce que le masquage était devenu populaire.

La pandémie a dû être un « signal d’alarme » pour quiconque ne surveille pas de près les systèmes d’IA, car elle a induit d’innombrables changements de comportement, a déclaré Aleksander Madry, directeur du Center for Deployable Machine Learning du Massachusetts Institute of Technology.

Faire face à la dérive est un énorme problème pour les organisations qui tirent parti de l’IA, a-t-il déclaré. « C’est ce qui nous empêche vraiment actuellement de ce rêve d’IA qui révolutionne tout. »

Ajoutant à l’urgence pour les utilisateurs de résoudre le problème, l’Union européenne prévoit d’adopter une nouvelle loi sur l’IA dès l’année prochaine nécessitant une certaine surveillance. La Maison Blanche ce mois-ci, dans de nouvelles directives sur l’IA, a également appelé à une surveillance pour s’assurer que « les performances du système ne tombent pas en dessous d’un niveau acceptable au fil du temps ». Lire la suite

Être lent à remarquer les problèmes peut coûter cher. Unity Software Inc (UN), dont le logiciel publicitaire aide les jeux vidéo à attirer les joueurs, a estimé en mai qu’il perdrait 110 millions de dollars de ventes cette année, soit environ 8% du total des revenus attendus, après que les clients se soient retirés lorsque son outil d’IA qui détermine qui pour afficher des annonces pour cesser de fonctionner aussi bien qu’avant. La société a également déclaré que son système d’intelligence artificielle apprenait à partir de données corrompues.

Unity, basée à San Francisco, a refusé de commenter au-delà des déclarations d’appels de résultats. Les dirigeants ont déclaré qu’Unity déployait des outils d’alerte et de récupération pour détecter les problèmes plus rapidement et a reconnu que l’expansion et les nouvelles fonctionnalités avaient pris le pas sur la surveillance.

Le marché immobilier Zillow Group Inc (ZG.O) a annoncé en novembre dernier une dépréciation de 304 millions de dollars sur les maisons qu’il a achetées – sur la base d’un algorithme de prévision des prix – pour des montants supérieurs à ceux auxquels ils pourraient être revendus. La société de Seattle a déclaré que l’IA ne pouvait pas suivre le rythme des fluctuations rapides et sans précédent du marché et a quitté l’activité d’achat-vente.

NOUVEAU MARCHÉ

L’IA peut mal tourner à bien des égards. Le plus connu est que les données d’entraînement faussées selon la race ou d’autres lignes peuvent entraîner des prédictions injustement biaisées. De nombreuses entreprises vérifient désormais les données au préalable pour éviter cela, selon les enquêtes et les experts du secteur. En comparaison, peu d’entreprises considèrent le danger d’un modèle performant qui se brise plus tard, selon ces sources.

« C’est un problème urgent », a déclaré Sara Hooker, responsable du laboratoire de recherche Cohere For AI. « Comment mettez-vous à jour des modèles qui deviennent obsolètes à mesure que le monde change ? »

Plusieurs startups et géants du cloud computing au cours des deux dernières années ont commencé à vendre des logiciels pour analyser les performances, définir des alarmes et introduire des correctifs qui, ensemble, visent à aider les équipes à garder un œil sur l’IA. IDC, une étude de marché mondiale, estime que les dépenses en outils pour les opérations d’IA atteindront au moins 2 milliards de dollars en 2026, contre 408 millions de dollars l’année dernière.

Les investissements en capital-risque dans les sociétés de développement et d’exploitation de l’IA ont augmenté l’année dernière pour atteindre près de 13 milliards de dollars, et 6 milliards de dollars ont été versés jusqu’à présent cette année, selon les données de PitchBook, une société de Seattle qui suit les financements.

Arize AI, qui a levé 38 millions de dollars auprès d’investisseurs le mois dernier, permet de surveiller des clients tels que Uber, Chick-fil-A et Procter & Gamble. La directrice des produits, Aparna Dhinakaran, a déclaré qu’elle avait eu du mal chez un ancien employeur à repérer rapidement les prédictions de l’IA qui devenaient pauvres et que des amis ailleurs lui avaient parlé de leurs propres retards.

« Le monde d’aujourd’hui est que vous ne savez pas qu’il y a un problème jusqu’à ce qu’un impact commercial se produise deux mois plus tard », a-t-elle déclaré.

SCORES DE FRAUDE

Certains utilisateurs d’IA ont construit leurs propres capacités de surveillance et c’est ce que FICO a déclaré l’avoir sauvé au début de la pandémie.

Des alarmes ont été déclenchées alors que de plus en plus d’achats se produisaient en ligne – ce que l’industrie appelle « la carte n’est pas présente ». Historiquement, une plus grande partie de ces dépenses ont tendance à être frauduleuses et l’augmentation a poussé les transactions plus haut sur l’échelle de 1 à 999 de FICO (plus elle est élevée, plus il est probable qu’il s’agisse de fraude), a déclaré Scott Zoldi, directeur de l’analyse chez FICO.

Zoldi a déclaré que les habitudes des consommateurs évoluaient trop rapidement pour réécrire le système d’IA. FICO a donc conseillé aux clients américains d’examiner et de rejeter uniquement les transactions notées au-dessus de 900, contre 850 auparavant, a-t-il déclaré. Cela a épargné aux clients d’examiner 67 % des transactions légitimes au-dessus de l’ancien seuil et leur a permis de se concentrer sur les cas vraiment problématiques.

Les clients ont ensuite détecté 25 % de plus de la fraude totale aux États-Unis au cours des six premiers mois de la pandémie que prévu et 60 % de plus au Royaume-Uni, a déclaré Zoldi.

« Vous n’êtes pas responsable de l’IA à moins que vous ne surveilliez », a-t-il déclaré.

Reportage de Paresh Dave Montage par Kenneth Li et Claudia Parsons

Nos normes : Les principes de confiance de Thomson Reuters.