Cette IA ciblant l’armée de l’air pensait qu’elle avait un taux de réussite de 90 %. C’était plutôt 25%

Si le Pentagone doit s’appuyer sur des algorithmes et l’intelligence artificielle, il doit résoudre le problème de l’IA fragile. Un haut responsable de l’Air Force a récemment illustré à quel point il reste à faire.

Lors d’un test récent, un programme expérimental de reconnaissance de cibles s’est bien comporté lorsque toutes les conditions étaient parfaites, mais un ajustement subtil a fait plonger ses performances dans une chute dramatique,

Le major-général Daniel Simpson, sous-chef d’état-major adjoint chargé du renseignement, de la surveillance et de la reconnaissance, a déclaré lundi.

Initialement, l’IA était alimentée par les données d’un capteur qui recherchait un seul missile sol-sol à un angle oblique, a déclaré Simpson. Ensuite, il a été alimenté en données par un autre capteur qui recherchait plusieurs missiles à un angle presque vertical.

Quelle surprise : l’algorithme n’a pas bien fonctionné. C’était en fait exact peut-être environ 25 pour cent du temps, a-t-il dit.

C’est un exemple de ce que l’on appelle parfois l’IA fragile, qui se produit lorsqu’un algorithme ne peut pas généraliser ou s’adapter à des conditions en dehors d’un ensemble restreint d’hypothèses, selon un rapport de 2020 de la chercheuse et ancienne aviatrice de la Marine Missy Cummings. Lorsque les données utilisées pour entraîner l’algorithme consistent en trop d’un type d’image ou de données de capteur à partir d’un point de vue unique, et pas assez d’autres points de vue, distances ou conditions, vous obtenez une fragilité, a déclaré Cummings.

Dans des contextes tels que les expériences de voitures sans conducteur, les chercheurs collecteront simplement plus de données pour la formation. Mais cela peut être très difficile dans des contextes militaires où il peut y avoir beaucoup de données d’un type d’imagerie par satellite ou de drone aérien, mais très peu d’un autre type car elles n’étaient pas utiles sur le champ de bataille.

L’armée est confrontée à un obstacle supplémentaire en essayant de former des algorithmes pour certaines tâches de reconnaissance d’objets, par rapport, par exemple, aux entreprises qui forment des algorithmes de reconnaissance d’objets pour les voitures autonomes : il est plus facile d’obtenir des photos et des vidéos de piétons et de lampadaires sous plusieurs angles et dans de multiples conditions que pour obtenir des images de missiles sol-air chinois ou russes.

De plus en plus, les chercheurs ont commencé à s’appuyer sur ce qu’on appelle des données d’entraînement synthétiques qui, dans le cas des logiciels de ciblage militaire, seraient des images ou des vidéos générées artificiellement à partir de données réelles pour entraîner l’algorithme à reconnaître la vraie chose. .

Mais Simpson a déclaré que le faible taux de précision de l’algorithme n’était pas la partie la plus préoccupante de l’exercice. Alors que l’algorithme n’était juste que 25 % du temps, il a dit : « Il était convaincu qu’il était juste 90 % du temps, donc il était sûr qu’il était faux. Et ce n’est pas la faute de l’algorithme. C’est parce que nous lui avons fourni les mauvaises données d’entraînement.

Simpson a déclaré que de tels résultats ne signifient pas que l’Air Force devrait cesser de poursuivre l’IA pour la détection d’objets et de cibles. Mais cela rappelle à quel point l’IA peut être vulnérable à des actions contradictoires sous la forme d’usurpation de données. Cela montre également que l’IA, comme les gens, peut souffrir d’un excès de confiance.