L’armée veut que l’IA remplace la prise de décision humaine au combat
La Defense Advanced Research Projects Agency (DARPA), la branche innovation de l’armée américaine, vise à répondre à ces questions épineuses en externalisant le processus décisionnel à l’intelligence artificielle. Grâce à un nouveau programme, appelé In the Moment, il souhaite développer une technologie qui permettrait de prendre des décisions rapides dans des situations stressantes en utilisant des algorithmes et des données, arguant que la suppression des préjugés humains peut sauver des vies, selon les détails des programmes lancés ce mois-ci.
Bien que le programme en soit à ses balbutiements, il intervient alors que d’autres pays tentent de mettre à jour un système de triage médical vieux de plusieurs siècles et que l’armée américaine s’appuie de plus en plus sur la technologie pour limiter les erreurs humaines en temps de guerre. Mais la solution soulève des drapeaux rouges parmi certains experts et éthiciens qui se demandent si l’IA devrait être impliquée lorsque des vies sont en jeu.
L’IA est excellente pour compter les choses, a déclaré Sally A. Applin, chercheuse et consultante qui étudie l’intersection entre les personnes, les algorithmes et l’éthique, en référence au programme DARPA. Mais je pense que cela pourrait créer un [bad] précédent par lequel la décision pour la vie de quelqu’un est mise entre les mains d’une machine.
Fondée en 1958 par le président Dwight D. Eisenhower, la DARPA est l’une des organisations les plus influentes dans la recherche technologique, engendrant des projets qui ont joué un rôle dans de nombreuses innovations, notamment Internet, le GPS, les satellites météorologiques et, plus récemment, le vaccin contre le coronavirus Modernas.
Mais son histoire avec l’IA a reflété les hauts et les bas du domaine. Dans les années 1960, l’agence a fait des progrès dans le traitement du langage naturel et a permis aux ordinateurs de jouer à des jeux tels que les échecs. Au cours des années 1970 et 1980, les progrès marquent le pas, notamment en raison des limites de la puissance de calcul.
Depuis les années 2000, alors que les cartes graphiques se sont améliorées, que la puissance de calcul est devenue moins chère et que le cloud computing a explosé, l’agence a vu une recrudescence de l’utilisation de l’intelligence artificielle pour les applications militaires. En 2018, il a consacré 2 milliards de dollars, par le biais d’un programme appelé AI Next, pour intégrer l’IA dans plus de 60 projets de défense, ce qui montre à quel point la science pourrait être centrale pour les futurs combattants.
La DARPA envisage un avenir dans lequel les machines sont plus que de simples outils, a déclaré l’agence en annonçant le programme AI Next. Les machines envisagées par la DARPA fonctionneront davantage comme des collègues que comme des outils.
À cette fin, le programme In the Moment de la DARPA créera et évaluera des algorithmes qui aideront les décideurs militaires dans deux situations : les blessures de petites unités, telles que celles subies par les unités d’opérations spéciales sous le feu, et les événements faisant de nombreuses victimes, comme l’attentat à la bombe de l’aéroport de Kaboul. Plus tard, ils pourraient développer des algorithmes pour aider les situations de secours en cas de catastrophe telles que les tremblements de terre, ont déclaré des responsables de l’agence.
Le programme, qui prendra environ 3,5 ans à compléter, sollicite des sociétés privées pour aider à atteindre ses objectifs, une partie de la plupart des recherches DARPA à un stade précoce. Les responsables de l’agence ne diraient pas quelles entreprises sont intéressées ni combien d’argent sera prévu pour le programme.
Matt Turek, un responsable de programme à la DARPA chargé de diriger le programme, a déclaré que les suggestions d’algorithmes modéliseraient des humains hautement fiables qui ont une expertise dans le triage. Mais ils pourront accéder aux informations pour prendre des décisions judicieuses dans des situations où même des experts chevronnés seraient perplexes.
Par exemple, a-t-il dit, l’IA pourrait aider à identifier toutes les ressources dont dispose un hôpital à proximité, telles que la disponibilité des médicaments, l’approvisionnement en sang et la disponibilité du personnel médical pour aider à la prise de décision.
Cela ne rentrerait pas dans le cerveau d’un seul décideur humain, a ajouté Turek. Les algorithmes informatiques peuvent trouver des solutions que les humains ne peuvent pas.
Sohrab Dalal, colonel et chef de la branche médicale du Commandement suprême allié Transformation de l’OTAN, a déclaré que le processus de triage, par lequel les cliniciens se rendent chez chaque soldat et évaluent l’urgence de ses besoins en soins, a près de 200 ans et pourrait être rafraîchi.
Semblable à la DARPA, son équipe travaille avec l’Université Johns Hopkins pour créer un assistant de triage numérique pouvant être utilisé par les pays membres de l’OTAN.
L’assistant de triage que l’OTAN est en train de développer utilisera les ensembles de données sur les blessures de l’OTAN, les systèmes de notation des victimes, la modélisation prédictive et les données sur l’état d’un patient pour créer un modèle permettant de décider qui devrait recevoir des soins en premier dans une situation où les ressources sont limitées.
C’est une très bonne utilisation de l’intelligence artificielle, a déclaré Dalal, un médecin qualifié. L’essentiel est qu’il traitera mieux les patients [and] sauver des vies.
Malgré la promesse, certains éthiciens avaient des questions sur la façon dont le programme DARPA pourrait se dérouler : les ensembles de données qu’ils utilisent feraient-ils en sorte que certains soldats soient prioritaires pour les soins par rapport à d’autres ? Dans le feu de l’action, les soldats feraient-ils simplement ce que l’algorithme leur dirait, même si le bon sens suggérait le contraire ? Et, si l’algorithme joue un rôle dans la mort de quelqu’un, qui est à blâmer ?
Peter Asaro, philosophe de l’IA à la New School, a déclaré que les responsables militaires devront décider du degré de responsabilité accordé à l’algorithme dans la prise de décision de triage. Les dirigeants, a-t-il ajouté, devront également déterminer comment les situations éthiques seront traitées. Par exemple, a-t-il dit, s’il y avait une grande explosion et que des civils figuraient parmi les personnes blessées, auraient-ils moins de priorité, même s’ils sont gravement blessés ?
C’est un appel de valeurs, dit-il. C’est quelque chose que vous pouvez dire à la machine de prioriser de certaines manières, mais la machine ne va pas comprendre cela.
Pendant ce temps, Applin, un anthropologue spécialisé dans l’éthique de l’IA, a déclaré qu’au fur et à mesure que le programme se dessine, il sera important de rechercher si l’algorithme DARPA perpétue une prise de décision biaisée, comme cela s’est produit dans de nombreux cas, comme lorsque les algorithmes dans les soins de santé ont priorisé Les patients blancs plutôt que les noirs pour obtenir des soins.
Nous savons qu’il y a un biais dans l’IA ; nous savons que les programmeurs ne peuvent pas prévoir toutes les situations ; nous savons que l’IA n’est pas sociale ; nous savons que l’IA n’est pas culturelle, a-t-elle déclaré. Il ne peut pas penser à ce genre de choses.
Et dans les cas où l’algorithme fait des recommandations qui mènent à la mort, cela pose un certain nombre de problèmes aux militaires et à leurs proches. Certaines personnes veulent des représailles. Certaines personnes préfèrent savoir que la personne a des regrets, dit-elle. L’IA n’a rien de tout cela.