Parmi les pessimistes de l’IA

L’appartement de Katja Graces, à West Berkeley, se trouve dans une ancienne usine de machinistes, avec des toits en pente et des fenêtres à des angles étranges. Il a des sols en terre cuite et pas de chauffage central, ce qui peut donner l’impression que vous avez quitté le soleil californien pour vous rendre dans un endroit plus sombre, quelque part il y a longtemps ou très loin. Mais il y a aussi quelques touches discrètement futuristes. Des purificateurs d’air de grande capacité bourdonnent dans les coins. Produits non périssables empilés dans le garde-manger. Une machine blanche et élégante qui effectue des tests ARN de qualité laboratoire. Le genre d’objets qui pourraient présager un avenir de facilité technologique ou de vigilance constante.

Grace, chercheuse principale au sein d’une organisation à but non lucratif appelée AI Impacts, décrit son travail comme étant de réfléchir à la question de savoir si l’IA détruirait le monde. Elle passe son temps à rédiger des articles théoriques et des articles de blog sur des décisions complexes liées à un sous-domaine en plein essor appelé sécurité de l’IA. Elle est une souriante nerveuse, une partageuse excessive, un peu marmonneuse ; elle a la trentaine, mais elle ressemble presque à une adolescente, avec une partie médiane et un visage rond et ouvert. L’appartement est rempli de livres, et lorsqu’un ami de Graces est venu chez nous, un après-midi de novembre, il a passé un moment à regarder, perplexe mais sans porter de jugement, quelques-uns des livres : L’éthique juive du divorce, La voie juive dans la mort et le deuil, La mort de la mort. Grace, à sa connaissance, n’est ni juive ni mourante. Elle laissa l’ambiguïté persister un moment. Puis elle explique : son propriétaire avait souhaité que les biens de l’occupant précédent, son ex-femme récemment décédée, restent intacts. Honnêtement, c’est une sorte de soulagement, dit Grace. Un ensemble de décisions que je n’ai pas à prendre.

Elle passait l’après-midi à préparer un dîner pour six personnes : une salade de yaourt et de concombre, des gyros impossibles au bœuf. Sur un coin d’un tableau blanc, elle avait divisé ses tâches préalables à la fête en étapes minutieusement petites (Hacher la salade, Mélanger la salade, Mouler la viande, Cuire la viande) ; sur d’autres parties du tableau blanc, des invites écrites plus gnomiques (zone alimentaire, objets, substances). Son ami, un cryptographe chez Android nommé Paul Crowley, portait un T-shirt noir et un jean noir et avait les cheveux teints en noir. Je lui ai demandé comment ils se connaissaient, et il a répondu : « Oh, nous nous sommes croisés pendant des années, dans le cadre de la scène.

Il était entendu que la scène représentait quelques sous-cultures entrelacées, connues pour leurs débats exhaustifs sur des questions obscures (synthèse sécurisée de l’ADN, bien-être des crevettes) que leurs membres considèrent comme essentielles, mais dont la plupart des gens normaux ne savent rien. Depuis une vingtaine d’années, l’une de ces questions est de savoir si l’intelligence artificielle élèvera ou exterminera l’humanité. Les pessimistes sont appelés des spécialistes de la sécurité de l’IA, ou des décélérationnistes ou, lorsqu’ils se sentent particulièrement paniqués, des condamnés à l’IA. Ils se retrouvent en ligne et finissent souvent par vivre ensemble dans des maisons de groupe dans la Bay Area, parfois même en coparentalité et en co-enseignement à domicile de leurs enfants. Avant le boom du point-com, les quartiers d’Alamo Square et de Hayes Valley, avec leurs maisons en rangée victoriennes pastel, étaient associés à une vie domestique tranquille. L’année dernière, faisant référence aux maisons de hackers d’IA, le San Francisco Standard a appelé ironiquement la zone Cerebral Valley.

Un camp de techno-optimistes repousse le cataclysme de l’IA avec le boomerisme libertaire à l’ancienne, insistant sur le fait que toutes les plaintes concernant le risque existentiel sont une sorte d’hystérie de masse. Ils se qualifient eux-mêmes d’accélérationnistes efficaces, ou e/accs (prononcer e-acks), et croient que l’IA inaugurera un futur utopique du voyage interstellaire, la fin de la maladie, à condition que les inquiets s’écartent. Sur les réseaux sociaux, ils traitent les prophètes de malheur comme des décéleurs, des psyops, essentiellement des terroristes ou, pire encore, des bureaucrates épris de réglementation. Nous devons voler le feu de l’intelligence aux dieux [and] utilisez-le pour propulser l’humanité vers les étoiles, a récemment tweeté un e/acc de premier plan. (Et puis il y a les normés, basés ailleurs que dans la Bay Area ou sur Internet, qui ont pour la plupart ignoré le débat, l’attribuant aux fumées de science-fiction ou au vent chaud des entreprises.)

Les dîners de grâces, les rencontres semi-souterraines pour les condamnés et les curieux, ont été décrits comme un lien de la scène IA de la Bay Area. Lors de rassemblements comme ceux-ci, il n’est pas rare d’entendre quelqu’un engager une conversation en demandant : Quels sont vos délais ? ou Quel est ton p(doom) ? Les chronologies sont des prédictions sur la durée dans laquelle l’IA dépassera des critères particuliers, tels que l’écriture d’une chanson pop du Top Forty, la réalisation d’une percée scientifique digne d’un prix Nobel ou l’atteinte de l’intelligence artificielle générale, le moment où une machine peut effectuer n’importe quelle tâche cognitive qu’une personne peut réaliser. faire. (Certains experts pensent que l’AGI est impossible, ou dans des décennies ; d’autres s’attendent à ce qu’elle arrive cette année.) P(doom) est la probabilité que, si l’IA devient plus intelligente que les humains, elle anéantira, volontairement ou par accident. tout le monde sur la planète. Pendant des années, même dans les cercles de la Bay Area, ces conversations spéculatives ont été marginalisées. L’année dernière, après qu’OpenAI ait publié ChatGPT, un modèle de langage qui pourrait paraître étrangement naturel, ils ont soudainement fait irruption dans le grand public. Aujourd’hui, quelques centaines de personnes travaillent à temps plein pour sauver le monde de la catastrophe de l’IA. Certains conseillent les gouvernements ou les entreprises sur leurs politiques ; certains travaillent sur les aspects techniques de la sécurité de l’IA, en l’abordant comme un ensemble de problèmes mathématiques complexes ; Grace travaille dans une sorte de groupe de réflexion qui produit des recherches sur des questions de haut niveau, telles que : Quels rôles les systèmes d’IA joueront-ils dans la société ? et Vont-ils poursuivre leurs objectifs ? Lorsqu’ils ne font pas de lobbying à Washington ou ne se réunissent pas lors d’une conférence internationale, ils se croisent souvent dans des endroits comme le salon de Grace.

Le reste de ses invités sont arrivés un par un : une autorité en informatique quantique ; un ancien chercheur d’OpenAI ; le directeur d’un institut qui prédit l’avenir. Grace proposait du vin et de la bière, mais la plupart des gens optaient pour des boissons en conserve non alcoolisées qui défiaient toute description facile (une boisson énergisante fermentée, un thé houblonné). Ils ont emmené leurs gyroscopes Impossible sur le canapé de Grace, où ils ont parlé jusqu’à minuit. Ils étaient courtois, désagréables et étonnamment patients lorsqu’il s’agissait de reconsidérer les hypothèses de base. Il me semble que l’on peut condenser l’essentiel de l’inquiétude en un argument très simple en deux étapes, a déclaré Crowley. Première étape : construire des machines qui pourraient devenir beaucoup plus intelligentes que nous. Deuxième étape : cela semble assez dangereux.

Mais en sommes-nous sûrs ? Josh Rosenberg, PDG du Forecasting Research Institute, a déclaré. Le renseignement en soi est-il dangereux ?

Grace a noté que toutes les espèces intelligentes ne sont pas menaçantes : il y a des éléphants, et pourtant les souris semblent toujours se porter bien.

Dessin animé d’Erika Sjule et Nate Odenkirk

Les lapins sont certainement plus intelligents que la myxomatose, a déclaré Michael Nielsen, expert en informatique quantique.

Le p(doom) de Crowley était bien supérieur à quatre-vingts pour cent. Les autres, hésitants à s’engager sur un certain nombre, s’en sont remis à Grace, qui a dit que, compte tenu de ma profonde confusion et de mon incertitude à ce sujet, ce que je pense que presque tout le monde a, du moins tous ceux qui sont honnêtes, elle ne pouvait que réduire son p (doom) entre dix et quatre-vingt-dix pour cent. Pourtant, a-t-elle poursuivi, une probabilité de dix pour cent d’extinction humaine est évidemment, si vous la prenez au sérieux, inacceptablement élevée.

Ils ont convenu que, parmi les milliers de réactions à ChatGPT, l’une des évaluations les plus rafraîchissantes et franches est venue de Snoop Dogg, lors d’une interview sur scène. Crowley a sorti la transcription et l’a lu à haute voix. Ce n’est pas sûr, parce que les IA ont leur propre esprit, et ces enfoirés vont commencer à faire leur propre merde, a déclaré Snoop, paraphrasant un argument sur la sécurité de l’IA. Merde, c’est quoi ce bordel ? Crowley rit. Je dois admettre que cela reflète bien mieux la teneur émotionnelle que mon argument en deux étapes, a-t-il déclaré. Et puis, comme pour justifier ce moment de légèreté, il a lu une autre citation, celle-ci tirée d’un essai de CS Lewis de 1948 : Si nous devons tous être détruits par une bombe atomique, que cette bombe, lorsqu’elle viendra, nous surprendra en train de faire des choses sensibles et humaines : prier, travailler, enseigner, lire, écouter de la musique, donner le bain aux enfants, jouer au tennis, discuter avec nos amis autour d’une pinte et d’une partie de fléchettes, pas serrés les uns contre les autres comme des moutons effrayés.

Grace travaillait pour Eliezer Yudkowsky, un homme barbu avec un fedora, un air irritable et un ap(doom) de quatre-vingt-dix-neuf pour cent. Élevé à Chicago en tant que juif orthodoxe, il a abandonné l’école après la huitième année, a appris le calcul et l’athéisme en autodidacte, a commencé à bloguer et, au début des années 2000, s’est rendu dans la Bay Area. Ses œuvres les plus connues incluent Harry Potter et les méthodes de la rationalité, une fanfiction de plus de six cent mille mots, et The Sequences, une série gargantuesque d’essais sur la façon d’aiguiser sa réflexion. Le collectif informel qui s’est développé autour de ces écrits, d’abord dans les commentaires, puis dans le monde physique, est devenu connu sous le nom de communauté rationaliste, une petite sous-culture vouée à éviter les modes d’échec typiques de la raison humaine, souvent en argumentant sur les premiers principes ou en quantifiant les risques potentiels. Nathan Young, un ingénieur logiciel, m’a dit : « Je me souviens avoir entendu parler d’Eliezer, connu pour être un type lourd, sur scène lors d’un événement rationaliste, demandant à la foule de prédire s’il pouvait perdre beaucoup de poids. Puis la grande révélation : il décompresse le gros costume qu’il portait. Il avait déjà perdu du poids. Je pense que son argument apparent concernait la difficulté de prédire l’avenir, mais je me souviens surtout d’avoir pensé : « Quelle légende absolue.

Yudkowsky était un transhumaniste : des cerveaux humains allaient être téléchargés dans des cerveaux numériques au cours de sa vie, et c’était une excellente nouvelle. Il m’a dit récemment qu’Eliezer, âgé de seize à vingt ans, pensait que l’IA serait toujours très amusante pour tout le monde et souhaitait qu’elle soit construite le plus tôt possible. En 2000, il a cofondé le Singularity Institute for Artificial Intelligence, pour contribuer à accélérer la révolution de l’IA. Il a néanmoins décidé de faire preuve de diligence raisonnable. Je ne voyais pas pourquoi une IA tuerait tout le monde, mais je me sentais obligé d’étudier systématiquement la question, a-t-il déclaré. Quand je l’ai fait, je me suis dit : Oh, je suppose que j’avais tort. Il a rédigé des livres blancs détaillés sur la façon dont l’IA pourrait tous nous anéantir, mais ses avertissements sont restés lettre morte. Finalement, il a rebaptisé son groupe de réflexion Machine Intelligence Research Institute, ou MIRI.

La menace existentielle posée par l’IA a toujours été l’une des questions centrales des rationalistes, mais elle est devenue le sujet dominant vers 2015, à la suite d’une série de progrès rapides dans le domaine de l’apprentissage automatique. Certains rationalistes étaient en contact avec des philosophes d’Oxford, notamment Toby Ord et William MacAskill, les fondateurs du mouvement d’altruisme efficace, qui étudiait comment faire le plus de bien à l’humanité (et, par extension, comment éviter d’y mettre fin). Les frontières entre les mouvements sont de plus en plus floues. Yudkowsky, Grace et quelques autres ont parcouru le monde pour assister à des conférences d’EA, où l’on pouvait parler des risques liés à l’IA sans se moquer de la salle.

Les philosophes du malheur ont tendance à s’accrocher à des hypothèses élaborées inspirées de la science-fiction. Grace m’a présenté à Joe Carlsmith, un philosophe formé à Oxford qui venait de publier un article sur les IA intrigantes qui pourraient convaincre leurs maîtres humains qu’elles sont en sécurité, puis prendre le relais. Il sourit timidement en expliquant une expérience de pensée dans laquelle une personne hypothétique est obligée d’empiler des briques dans un désert pendant un million d’années. Cela peut représenter beaucoup, je m’en rends compte, a-t-il déclaré. Yudkowsky soutient qu’une machine superintelligente pourrait en venir à nous considérer comme une menace et décider de nous tuer (en réquisitionnant les systèmes d’armes autonomes existants, par exemple, ou en construisant les siens). Ou notre disparition pourrait survenir en passant : vous demandez à un superordinateur d’améliorer sa propre vitesse de traitement, et il conclut que la meilleure façon d’y parvenir est de transformer tous les atomes proches en silicium, y compris les atomes qui sont actuellement des humains. Mais les arguments de base en matière de sécurité de l’IA ne nécessitent pas d’imaginer que la génération actuelle de chatbots Verizon se transformera soudainement en Skynet, le super-vilain numérique de Terminator. Pour être dangereux, AGI n’a pas besoin d’être sensible ou de désirer notre destruction. Si ses objectifs sont en contradiction avec l’épanouissement humain, même de manière subtile, alors, disent les condamnateurs, ils ont été foutus.