Arrêtez les robots tueurs ! Les lobbyistes soutenus par Musk se battent pour sauver l’Europe de la mauvaise IA

Un groupe de pression soutenu par Elon Musk et associé à une idéologie controversée populaire parmi les milliardaires de la technologie se bat pour empêcher les robots tueurs de mettre fin à l’humanité, et il s’est emparé de la loi européenne sur l’intelligence artificielle pour ce faire.

Au cours de l’année écoulée, le Future of Life Institute (FLI) s’est imposé comme une force d’influence sur certains des éléments les plus controversés de la loi sur l’IA. Malgré les liens du groupe avec la Silicon Valley, les géants de la Big Tech comme Google et Microsoft se sont retrouvés du côté des perdants des arguments de FLI.

Dans la bulle de l’UE, l’arrivée d’un groupe dont les actions sont colorées par la peur d’une catastrophe déclenchée par l’IA plutôt que par des préoccupations banales de protection des consommateurs a été reçue comme un vaisseau spatial atterrissant dans le rond-point Schuman. Certains craignent que l’institut n’incarne une inquiétude technologique à propos de menaces à faible probabilité qui pourraient détourner l’attention de problèmes plus immédiats. Mais la plupart conviennent que pendant son séjour à Bruxelles, le FLI a été efficace.

Ils sont plutôt pragmatiques et ils ont une expertise juridique et technique, a déclaré Kai Zenner, conseiller en politique numérique de l’eurodéputé de centre-droit Axel Voss, qui travaille sur la loi sur l’IA. Ils sont parfois un peu trop inquiets pour la technologie, mais ils soulèvent beaucoup de bons points.

Lancé en 2014 par l’universitaire du MIT Max Tegmark et soutenu par des grands noms de la technologie tels que Musk, Jaan Tallinn de Skype et le prodige de la cryptographie Vitalik Buterin, FLI est une organisation à but non lucratif consacrée à la lutte contre les événements à risques existentiels capables d’anéantir ou de condamner l’humanité. Il compte parmi ses conseillers externes d’autres vedettes comme les acteurs Morgan Freeman et Alan Alda et les scientifiques de renom Martin (Lord) Rees et Nick Bostrom.

La principale de ces menaces et des priorités des FLI est l’intelligence artificielle qui se déchaîne.

Nous avons vu des accidents d’avion parce qu’un pilote automatique ne pouvait pas être annulé. Nous avons assisté à une prise d’assaut du Capitole des États-Unis parce qu’un algorithme a été formé pour maximiser l’engagement. Ce sont des défaillances de la sécurité de l’IA aujourd’hui, à mesure que ces systèmes deviennent plus puissants, les dommages pourraient s’aggraver, a déclaré Mark Brakel, directeur de la politique européenne du FLI, dans une interview.

Mais le groupe de pression fait face à deux problèmes de relations publiques. Tout d’abord, Musk, son soutien le plus célèbre, est au centre d’une tempête depuis qu’il a lancé des licenciements massifs sur Twitter en tant que nouveau propriétaire, attirant également l’attention des régulateurs. Les controverses de Musk pourraient rendre les législateurs nerveux à l’idée de parler au FLI. Deuxièmement, les liens du groupe avec un ensemble de croyances connues sous le nom d’altruisme efficace font froncer les sourcils : l’idéologie est confrontée à un jugement et a récemment été accusée d’être la force motrice du scandale autour de l’échange de crypto-monnaie FTX, qui a déclenché un carnage financier.

Comment FLI a percé la bulle

L’arrivée d’un groupe de pression luttant contre l’extinction, l’intelligence artificielle mal alignée et les robots tueurs devait être rafraîchissante pour l’élaboration des politiques bruxelloises autrement somnolente.

Le bureau bruxellois du FLI a ouvert ses portes à la mi-2021, alors que les discussions sur la proposition de loi sur l’IA de la Commission européenne commençaient.

Nous préférerions que l’IA soit développée en Europe, où il y aura des réglementations en place », a déclaré Brakel. L’espoir est que les gens s’inspirent de l’UE.

Ancien diplomate, Brakel, d’origine néerlandaise, a rejoint l’institut en mai 2021. Il a choisi de travailler dans la politique de l’IA comme un domaine à la fois percutant et mal desservi. Le chercheur en politique Risto Uuk l’a rejoint deux mois plus tard. Opérateur numérique qualifié, il publie ses analyses et sa newsletter à partir du domaine artificialintelligenceact.eu. Uuk avait auparavant effectué des recherches sur l’IA pour la Commission et le Forum économique mondial. Il a rejoint FLI par affinité philosophique : comme Tegmark, Uuk souscrit aux principes de l’altruisme effectif, un système de valeurs prescrivant l’utilisation de preuves tangibles pour décider comment profiter au plus grand nombre de personnes.

Depuis ses débuts à Bruxelles, l’équipe de trois personnes de l’institut (avec l’aide de Tegmark et d’autres, dont le cabinet d’avocats Dentons) a habilement mené des efforts de lobbying sur des questions d’IA peu connues.

Pièce A : logiciels d’IA à usage général tels que les outils de reconnaissance vocale ou de génération d’images utilisés dans un large éventail de contextes et parfois affectés par des biais et des inexactitudes dangereuses (par exemple, dans un contexte médical). L’IA à usage général n’a pas été mentionnée dans la proposition de la Commission, mais a fait son chemin dans le texte final du Conseil de l’UE et est garantie de figurer dans la position du Parlement.

Nous sommes sortis et avons dit, il y a cette nouvelle classe de systèmes d’IA à usage général et la loi sur l’IA ne les considère pas du tout. Vous devriez vous inquiéter à ce sujet », a déclaré Brakel. Ce n’était sur le radar de personne. Maintenant, ça l’est.

Le groupe joue également sur les craintes européennes de domination technologique par les Etats-Unis et la Chine. Les systèmes d’IA à usage général sont construits principalement aux États-Unis et en Chine, et cela pourrait nuire à l’innovation en Europe, si vous ne vous assurez pas qu’ils respectent certaines exigences, a déclaré Brakel, ajoutant que cet argument a trouvé un écho auprès des législateurs de centre-droit avec qui il a récemment rencontré.

Un autre cheval de bataille de FLI est d’interdire l’IA capable de manipuler le comportement des gens. La proposition originale interdit l’IA manipulatrice, mais cela se limite aux techniques subliminales qui, selon Brakel, créeraient des failles.

Mais le co-rapporteur de la loi sur l’IA, le législateur roumain Renew Drago Tudorache, fait maintenant pression pour rendre l’interdiction plus complète. Si cet amendement est adopté, nous serions beaucoup plus satisfaits que nous ne le sommes du texte actuel, a déclaré Brakel.

Si intelligent qu’il a fait planter la crypto

Alors que la contribution du groupe sur les principales dispositions du projet de loi sur l’IA a été bien accueillie, de nombreux membres de l’establishment bruxellois regardent avec méfiance sa vision du monde.

Tegmark et d’autres bailleurs de fonds FLI adhèrent à ce qu’on appelle l’altruisme efficace (ou EA). Un courant d’utilitarisme codifié par le philosophe William MacAskill dont les travaux Musc appelé un match proche pour ma philosophie EA dicte qu’il faut améliorer la vie du plus grand nombre de personnes possible, en utilisant une approche rationaliste basée sur les faits. Au niveau de base, cela signifie donner de gros morceaux de ses revenus à des organismes de bienfaisance compétents. Un volet plus radical et plus long-termiste de l’altruisme efficace exige que l’on s’efforce de minimiser les risques capables de tuer beaucoup de gens et en particulier les futurs, qui seront largement plus nombreux que ceux qui existent déjà. Cela signifie que la prévention de l’essor potentiel d’une IA dont les valeurs entrent en conflit avec le bien-être de l’humanité devrait figurer en tête de liste des préoccupations.

Une vision critique du FLI est qu’il favorise cette interprétation du soi-disant programme d’altruisme efficace, soi-disant indifférent aux maux actuels du monde tels que le racisme, le sexisme et la faim et axé sur les menaces de science-fiction pour les personnes à naître. Timnit Gebru, un chercheur en intelligence artificielle dont la sortie acrimonieuse de Google a fait la une des journaux en 2020, a fustigé FLI sur Twitter, exprimant d’énormes inquiétudes à ce sujet.

« Ils sont soutenus par des milliardaires, dont Elon Musk, qui devraient déjà rendre les gens méfiants », a déclaré Gebru dans une interview. « L’ensemble du domaine autour de la sécurité de l’IA est composé de tant d' »instituts » et d’entreprises dans lesquelles des milliardaires injectent de l’argent. Mais leur concept de sécurité de l’IA n’a rien à voir avec les méfaits actuels envers les groupes marginalisés qu’ils veulent réorienter toute la conversation pour empêcher cette IA apocalypse. »

La réputation des altruismes efficaces a pris un coup ces dernières semaines après la chute de FTX, un échange en faillite qui a perdu au moins 1 milliard de dollars en actifs de crypto-monnaie des clients. Son PDG en disgrâce, Sam Bankman-Fried, était l’un des chouchous d’EA, parlant dans des interviews de son plan pour faire des bazillions et les donner à des œuvres caritatives. Alors que FTX s’effondrait, les commentateurs ont fait valoir que l’idéologie de l’altruisme efficace avait conduit Bankman-Fried à prendre des raccourcis et à rationaliser son imprudence.

Tous les deux MacAskill et Donateur FLI Buterin a défendu EA sur Twitter, affirmant que les actions de Bankman-Frieds contrastaient avec les principes de la philosophie. Déclasser automatiquement tout ce en quoi SBF croyait est une erreur, a écrit Buterin, qui a inventé la blockchain Ethereum, et finance la bourse FLI pour la recherche sur les risques existentiels de l’IA.

Brakel a déclaré que le FLI et l’EA étaient deux choses distinctes, et que le plaidoyer du FLI était axé sur les problèmes actuels, des logiciels biaisés aux armes autonomes, par exemple au niveau des Nations Unies. Passons-nous beaucoup de temps à réfléchir à ce à quoi ressemblerait le monde dans 400 ans ? Non, dit-il. (Ni Brakel ni la représentante des FLI auprès de l’UE, Claudia Prettner, ne se qualifient d’altruistes efficaces.)

Idéologie californienne

Une autre critique des efforts du FLI pour conjurer l’IA maléfique soutient qu’ils occultent une volonté techno-utopique de développer une IA bienveillante au niveau humain. Lors d’une conférence en 2017, des conseillers du FLI, dont Musk, Tegmark et Tallinn de Skype, ont débattu de la probabilité et de l’opportunité d’une IA plus intelligente que l’humain. La plupart des panélistes ont estimé que la superintelligence devait arriver; la moitié d’entre eux l’ont jugé souhaitable. Le résultat de la conférence était une série de lignes directrices (assez modérées) sur le développement d’une IA bénéfique, que Brakel a citée comme l’un des documents fondamentaux des FLI.

Ce techno-optimisme a conduit Emile P. Torres, un Ph.D. candidat en philosophie qui avait l’habitude de collaborer avec FLI, pour finalement se retourner contre l’organisation. Aucun d’entre eux ne semble considérer que nous devrions peut-être explorer une sorte de moratoire, a déclaré Torres. Soulever de tels points avec un membre du personnel du FLI, a déclaré Torres, a conduit à une sorte d’excommunication. (Les articles de Torress ont été retirés du site Web des FLI.)

À Bruxelles, l’inquiétude est qu’à l’avenir, le FLI pourrait changer de cap par rapport à son incarnation terre-à-terre actuelle et orienter le débat sur l’IA vers des scénarios lointains. Lors de la discussion sur l’IA au niveau de l’UE, nous voulions établir une distinction claire entre les systèmes d’IA ennuyeux et concrets et les questions de science-fiction, a déclaré Daniel Leufer, un lobbyiste de l’ONG de défense des droits numériques Access Now. Lorsque les discussions précédentes de l’UE sur la réglementation de l’IA ont eu lieu, aucune organisation à Bruxelles ne mettait l’accent sur des sujets tels que la superintelligence, c’est bien que le débat n’aille pas dans cette direction.

Ceux qui considèrent le FLI comme la progéniture du futurisme californien pointent du doigt son conseil d’administration et son porte-monnaie. Outre Musk, Tallinn et Tegmark, les donateurs et conseillers incluent des chercheurs de Google et OpenAI, le co-fondateur de Meta Dustin Moskovitz Open Philanthropy, la Berkeley Existential Risk Initiative (qui à son tour a reçu un financement de FTX) et l’acteur Morgan Freeman.

En 2020, la majeure partie du financement mondial des FLI (276 000 $ sur 482 479 $) provenait de la Silicon Valley Community Foundation, une organisation caritative favorisée par les gros bonnets de la technologie comme Mark Zuckerberg ; Les comptes 2021 n’ont pas encore été publiés.

Brakel a nié que le FLI soit à l’aise avec la Silicon Valley, affirmant que le travail de l’organisation sur l’IA à usage général rendait la vie plus difficile pour les entreprises technologiques. Brakel a déclaré qu’il n’avait jamais parlé à Musk. Tegmark, quant à lui, est en contact régulier avec les membres du conseil consultatif scientifique, qui comprend Musk.

De l’avis de Brakel, ce que fait le FLI s’apparente à l’activisme climatique des premiers jours. Nous connaissons actuellement le mois d’octobre le plus chaud de tous les temps. Nous nous en inquiétons aujourd’hui, mais nous nous inquiétons également de l’impact dans 80 ans, a-t-il déclaré le mois dernier. [There] sont des échecs de sécurité de l’IA aujourd’hui et à mesure que ces systèmes deviennent plus puissants, les dommages pourraient s’aggraver.