La lettre ouverte sur l’IA ne va pas assez loin

UNUne lettre ouverte publiée aujourd’hui appelle « tous les laboratoires d’IA à suspendre immédiatement pendant au moins 6 mois la formation de systèmes d’IA plus puissants que GPT-4 ».

Ce moratoire de 6 mois serait mieux que pas de moratoire. J’ai du respect pour tous ceux qui se sont manifestés et l’ont signé. C’est une amélioration de la marge.

Je me suis abstenu de signer car je pense que la lettre sous-estime la gravité de la situation et demande trop peu pour la résoudre.

En savoir plus: AI Labs exhorté à pomper les freins dans une lettre ouverte

La question clé n’est pas l’intelligence « humaine-compétitive » (comme le dit la lettre ouverte) ; c’est ce qui se passe après que l’IA arrive à une intelligence plus intelligente que l’homme. Les seuils clés là-bas peuvent ne pas être évidents, nous ne pouvons certainement pas calculer à l’avance ce qui se passe quand, et il semble actuellement imaginable qu’un laboratoire de recherche franchisse des lignes critiques sans s’en apercevoir.

De nombreux chercheurs imprégnés de ces questions, y compris moi-même, s’attendent à ce que le résultat le plus probable de la construction d’une intelligence artificielle surhumaine, dans des circonstances similaires à distance, soit que littéralement tout le monde sur Terre mourra. Pas comme dans « peut-être une chance lointaine », mais comme dans « c’est la chose évidente qui se produirait ». Ce n’est pas que vous ne pouvez pas, en principe, survivre en créant quelque chose de beaucoup plus intelligent que vous ; c’est que cela nécessiterait de la précision et de la préparation et de nouvelles connaissances scientifiques, et probablement pas de systèmes d’IA composés de tableaux géants impénétrables de nombres fractionnaires.

Plus de TIME

Sans cette précision et cette préparation, le résultat le plus probable est une IA qui ne fait pas ce que nous voulons et ne se soucie pas de nous ni de la vie sensible en général. Ce genre d’attention est quelque chose qui pourrait en principe être imprégné d’une IA mais nous ne sommes pas prêts et ne sais pas actuellement comment.

En l’absence de cette attention, nous obtenons « l’IA ne vous aime pas, elle ne vous déteste pas non plus, et vous êtes fait d’atomes qu’elle peut utiliser pour autre chose ».

Le résultat probable de l’humanité face à une intelligence surhumaine opposée est une perte totale. Les métaphores valides incluent « un enfant de 10 ans essayant de jouer aux échecs contre Stockfish 15 », « le 11e siècle essayant de combattre le 21e siècle » et «Australopithèque essayer de se battre Homo sapiens“.

Pour visualiser une IA surhumaine hostile, n’imaginez pas un penseur intelligent et sans vie vivant à l’intérieur d’Internet et envoyant des e-mails mal intentionnés. Visualisez toute une civilisation extraterrestre, pensant à des millions de fois la vitesse humaine, initialement confinée aux ordinateurs – dans un monde de créatures qui sont, de son point de vue, très stupides et très lentes. Une IA suffisamment intelligente ne restera pas confinée longtemps aux ordinateurs. Dans le monde d’aujourd’hui, vous pouvez envoyer des chaînes d’ADN par e-mail à des laboratoires qui produiront des protéines à la demande, permettant à une IA initialement confinée à Internet de créer des formes de vie artificielles ou de passer directement à la fabrication moléculaire postbiologique.

Si quelqu’un construit une IA trop puissante, dans les conditions actuelles, je m’attends à ce que chaque membre de l’espèce humaine et toute vie biologique sur Terre meurent peu de temps après.

Il n’y a pas plan proposé pour savoir comment nous pourrions faire une telle chose et survivre. L’intention ouvertement déclarée d’OpenAI est de faire en sorte que certaines futures IA fassent nos devoirs d’alignement de l’IA. Juste entendre ça c’est le plan devrait suffire à faire paniquer toute personne sensée. L’autre grand laboratoire d’IA, DeepMind, n’a aucun plan.

Un aparté : aucun de ces dangers ne dépend du fait que les IA soient ou puissent être conscientes ou non ; c’est intrinsèque à la notion de systèmes cognitifs puissants qui optimisent dur et calculent les sorties qui répondent à des critères de résultats suffisamment compliqués. Cela dit, je manquerais à mes devoirs moraux en tant qu’humain si je ne mentionnais pas également que nous n’avons aucune idée de la façon de déterminer si les systèmes d’IA sont conscients d’eux-mêmes, puisque nous n’avons aucune idée de comment décoder tout ce qui se passe. dans les tableaux géants impénétrables – et par conséquent, nous pouvons à un moment donné créer par inadvertance des esprits numériques qui sont vraiment conscients et devraient avoir des droits et ne devraient pas être possédés.

La règle que la plupart des personnes conscientes de ces problèmes auraient approuvée 50 ans plus tôt était que si un système d’IA peut parler couramment et dit qu’il est conscient de lui-même et exige les droits de l’homme, cela devrait être un arrêt difficile pour les personnes qui possèdent simplement cette IA. et l’utiliser au-delà de ce point. Nous avons déjà dépassé cette vieille ligne dans le sable. Et c’était probablement correct; je accepter que les IA actuelles ne font probablement qu’imiter le discours sur la conscience de soi à partir de leurs données d’entraînement. Mais je remarque que, avec le peu d’informations que nous avons sur les rouages ​​de ces systèmes, nous ne sais pas en fait.

Si c’est notre état d’ignorance pour GPT-4, et que GPT-5 est la même taille de pas de capacité géant que de GPT-3 à GPT-4, je pense que nous ne pourrons plus dire à juste titre « probablement pas auto- conscient » si nous laissons les gens faire des GPT-5. Ce sera juste « je ne sais pas ; personne ne sait. » Si vous ne pouvez pas être sûr de créer une IA consciente de soi, cela est alarmant non seulement à cause des implications morales de la partie « conscience de soi », mais parce qu’être incertain signifie que vous n’avez aucune idée de ce que vous faites. et c’est dangereux et vous devriez arrêter.

Le 7 février, Satya Nadella, PDG de Microsoft, a publiquement jubilé que le nouveau Bing inciterait Google à « sortir et montrer qu’ils peuvent danser ». « Je veux que les gens sachent que nous les avons fait danser », a-t-il déclaré.

Ce n’est pas ainsi que le PDG de Microsoft parle dans un monde sain d’esprit. Cela montre un écart écrasant entre le sérieux avec lequel nous prenons le problème et le sérieux avec lequel nous devions le prendre il y a 30 ans.

Nous n’allons pas combler cet écart en six mois.

Il a fallu plus de 60 ans entre le moment où la notion d’intelligence artificielle a été proposée et étudiée pour la première fois et pour que nous atteignions les capacités d’aujourd’hui. Résoudre sécurité d’intelligence surhumaine – pas une sécurité parfaite, une sécurité dans le sens de « ne pas tuer littéralement tout le monde » – pourrait très raisonnablement prendre au moins la moitié de ce temps. Et le problème avec le fait d’essayer cela avec une intelligence surhumaine, c’est que si vous vous trompez du premier coup, vous n’apprenez pas de vos erreurs, parce que vous êtes mort. L’humanité n’apprend pas de l’erreur et ne se dépoussière pas et ne réessaye pas, comme dans d’autres défis que nous avons surmontés dans notre histoire, parce que nous sommes tous partis.

Essayer d’obtenir quoi que ce soit dès le premier essai vraiment critique, c’est une demande extraordinaire, en science et en ingénierie. Nous n’arrivons pas avec quoi que ce soit comme l’approche qui serait nécessaire pour le faire avec succès. Si nous tenions quoi que ce soit dans le domaine naissant de l’intelligence artificielle générale aux normes moindres de rigueur technique qui s’appliquent à un pont destiné à transporter quelques milliers de voitures, l’ensemble du domaine serait fermé demain.

Nous ne sommes pas préparés. Nous ne sommes pas sur la bonne voie pour être préparés dans un délai raisonnable. Il n’y a pas de plan. Les progrès dans les capacités de l’IA sont largement en avance sur les progrès de l’alignement de l’IA ou même sur les progrès dans la compréhension de ce qui se passe à l’intérieur de ces systèmes. Si nous faisons cela, nous allons tous mourir.

En savoir plus: Le nouveau Bing alimenté par l’IA menace les utilisateurs. Ce n’est pas une question de rire

De nombreux chercheurs travaillant sur ces systèmes pensent que nous plongeons vers une catastrophe, ils sont plus nombreux à oser le dire en privé qu’en public ; mais ils pensent qu’ils ne peuvent pas arrêter unilatéralement le plongeon vers l’avant, que d’autres continueront même s’ils quittent personnellement leur emploi. Et donc ils pensent tous qu’ils pourraient aussi bien continuer. C’est une situation stupide et une façon indigne pour la Terre de mourir, et le reste de l’humanité devrait intervenir à ce stade et aider l’industrie à résoudre son problème d’action collective.

Certains de mes amis m’ont récemment rapporté que lorsque des personnes extérieures à l’industrie de l’IA entendent parler pour la première fois du risque d’extinction de l’intelligence artificielle générale, leur réaction est « peut-être que nous ne devrions pas construire AGI, alors ».

Entendre cela m’a donné un petit éclair d’espoir, car c’est une réaction plus simple, plus sensée et franchement plus saine que celle que j’ai entendue au cours des 20 dernières années pour essayer d’amener quiconque dans l’industrie à prendre les choses au sérieux. Quiconque parle de cela mérite d’entendre à quel point la situation est grave et de ne pas se faire dire qu’un moratoire de six mois va régler le problème.

Le 16 mars, mon partenaire m’a envoyé cet e-mail. (Elle m’a ensuite donné la permission de l’extraire ici.)

« Nina a perdu une dent ! Comme le font habituellement les enfants, pas par négligence ! Voir GPT4 faire exploser ces tests standardisés le jour même où Nina a franchi une étape importante dans son enfance a provoqué une poussée émotionnelle qui m’a bouleversé pendant une minute. Tout va trop vite. Je crains que partager cela n’augmente votre propre chagrin, mais je préfère être connu de vous plutôt que chacun de nous souffre seul.

Lorsque la conversation d’initiés porte sur le chagrin de voir votre fille perdre sa première dent et de penser qu’elle n’aura pas la chance de grandir, je pense que nous avons dépassé le point de jouer aux échecs politiques sur un moratoire de six mois.

S’il y avait un plan pour que la Terre survive, si seulement nous adoptions un moratoire de six mois, je soutiendrais ce plan. Il n’y a pas un tel plan.

Voici ce qu’il faudrait réellement faire :

Le moratoire sur les nouvelles grandes courses d’entraînement doit être indéfini et mondial. Il ne peut y avoir aucune exception, y compris pour les gouvernements ou les militaires. Si la politique commence avec les États-Unis, alors la Chine doit voir que les États-Unis ne cherchent pas un avantage mais essaient plutôt d’empêcher une technologie horriblement dangereuse qui ne peut avoir aucun véritable propriétaire et qui tuera tout le monde aux États-Unis, en Chine et sur Terre. . Si j’avais une liberté infinie pour rédiger des lois, je pourrais prévoir une seule exception pour les IA formées uniquement pour résoudre des problèmes de biologie et de biotechnologie, non formées sur des textes provenant d’Internet, et pas au niveau où elles commencent à parler ou à planifier ; mais si cela compliquait à distance le problème, je rejetterais immédiatement cette proposition et dirais de tout fermer.

Arrêtez tous les grands clusters GPU (les grandes fermes d’ordinateurs où les IA les plus puissantes sont raffinées). Arrêtez toutes les grandes pistes d’entraînement. Fixez un plafond à la puissance de calcul que chacun est autorisé à utiliser pour former un système d’IA, et réduisez-la au cours des prochaines années pour compenser des algorithmes de formation plus efficaces. Aucune exception pour les gouvernements et les militaires. Conclure immédiatement des accords multinationaux pour empêcher les activités interdites de se déplacer ailleurs. Suivez tous les GPU vendus. Si les renseignements disent qu’un pays extérieur à l’accord construit un cluster GPU, ayez moins peur d’un conflit armé entre nations que d’une violation du moratoire ; être prêt à détruire un centre de données escroc par une frappe aérienne.

Ne considérez rien comme un conflit d’intérêts nationaux, dites clairement que quiconque parle de course aux armements est un imbécile. Que nous vivions ou mourons tous comme un, en cela, n’est pas une politique mais un fait de la nature. Expliquez clairement dans la diplomatie internationale que la prévention des scénarios d’extinction de l’IA est considérée comme une priorité par rapport à la prévention d’un échange nucléaire complet, et que les pays nucléaires alliés sont prêts à courir un certain risque d’échange nucléaire si c’est ce qu’il faut pour réduire le risque de grandes courses d’entraînement à l’IA .

C’est le genre de changement de politique qui amènerait mon partenaire et moi à nous tenir l’un l’autre et à nous dire qu’un miracle s’est produit, et maintenant il y a une chance que peut-être Nina survive. Les personnes sensées qui entendent parler de cela pour la première fois et qui disent raisonnablement « peut-être que nous ne devrions pas » méritent d’entendre, honnêtement, ce qu’il faudrait pour que cela se produise. Et lorsque votre demande politique est aussi importante, la seule façon d’y parvenir est que les décideurs se rendent compte que s’ils mènent leurs activités comme d’habitude et font ce qui est politiquement facile, cela signifie que leurs propres enfants vont aussi mourir.

Fermez tout.

Nous ne sommes pas prêts. Nous ne sommes pas sur la bonne voie pour être nettement plus prêts dans un avenir prévisible. Si nous allons de l’avant, tout le monde mourra, y compris les enfants qui n’ont pas choisi cela et qui n’ont rien fait de mal.

Ferme-le.

Contactez-nous à lettres@time.com.