Comment l’IA pourrait-elle détruire l’humanité ?

Le mois dernier, des centaines de personnalités du monde de l’intelligence artificielle ont signé une lettre ouverte avertissant que l’IA pourrait un jour détruire l’humanité.

L’atténuation du risque d’extinction de l’IA devrait être une priorité mondiale aux côtés d’autres risques à l’échelle de la société, tels que les pandémies et la guerre nucléaire, indique la déclaration en une phrase.

La lettre était la dernière d’une série d’avertissements inquiétants sur l’IA qui ont été particulièrement légers sur les détails. Les systèmes d’IA d’aujourd’hui ne peuvent pas détruire l’humanité. Certains d’entre eux peuvent à peine additionner et soustraire. Alors pourquoi les gens qui en savent le plus sur l’IA sont-ils si inquiets ?

Le scénario effrayant.

Un jour, selon les industriels de la technologie Cassandras, les entreprises, les gouvernements ou les chercheurs indépendants pourraient déployer de puissants systèmes d’IA pour tout gérer, des affaires à la guerre. Ces systèmes pourraient faire des choses que nous ne voulons pas qu’ils fassent. Et si les humains essayaient d’interférer ou de les fermer, ils pourraient résister ou même se répliquer pour continuer à fonctionner.

Les systèmes d’aujourd’hui sont loin de poser un risque existentiel, a déclaré Yoshua Bengio, professeur et chercheur en intelligence artificielle à l’Université de Montréal. Mais dans un, deux, cinq ans ? Il y a trop d’incertitude. C’est le problème. Nous ne sommes pas sûrs que cela ne passera pas un moment où les choses deviennent catastrophiques.

Les inquiets ont souvent utilisé une simple métaphore. Si vous demandez à une machine de créer autant de trombones que possible, disent-ils, elle pourrait s’emballer et transformer tout, y compris l’humanité, en usines de trombones.

Comment cela se rattache-t-il au monde réel ou à un monde imaginaire pas trop d’années dans le futur ? Les entreprises pourraient donner aux systèmes d’IA de plus en plus d’autonomie et les connecter à des infrastructures vitales, notamment les réseaux électriques, les marchés boursiers et les armes militaires. À partir de là, ils pourraient causer des problèmes.

Pour de nombreux experts, cela ne semblait pas si plausible jusqu’à l’année dernière, lorsque des entreprises comme OpenAI ont démontré des améliorations significatives dans leur technologie. Cela a montré ce qui pourrait être possible si l’IA continue de progresser à un rythme aussi rapide.

L’IA sera régulièrement déléguée et pourrait, à mesure qu’elle deviendra plus autonome, usurper la prise de décision et la réflexion des humains actuels et des institutions dirigées par des humains, a déclaré Anthony Aguirre, cosmologiste à l’Université de Californie à Santa Cruz et fondateur du Future of Life Institute. , l’organisation à l’origine de l’une des deux lettres ouvertes.

À un moment donné, il deviendrait clair que la grosse machine qui dirige la société et l’économie n’est pas vraiment sous contrôle humain, et qu’elle ne peut pas non plus être arrêtée, pas plus que le S&P 500 ne pourrait être arrêté, a-t-il déclaré.

Ou alors la théorie va. D’autres experts en intelligence artificielle pensent que c’est une prémisse ridicule.

Hypothétique est une façon si polie de formuler ce que je pense du discours sur le risque existentiel, a déclaré Oren Etzioni, directeur général fondateur de l’Allen Institute for AI, un laboratoire de recherche à Seattle.

Y a-t-il des signes que l’IA pourrait le faire ?

Pas assez. Mais les chercheurs transforment des chatbots comme ChatGPT en systèmes capables de prendre des mesures en fonction du texte qu’ils génèrent. Un projet appelé AutoGPT en est le parfait exemple.

L’idée est de donner au système des objectifs comme créer une entreprise ou gagner de l’argent. Ensuite, il continuera à chercher des moyens d’atteindre cet objectif, en particulier s’il est connecté à d’autres services Internet.

Un système comme AutoGPT peut générer des programmes informatiques. Si les chercheurs lui donnaient accès à un serveur informatique, il pourrait en fait exécuter ces programmes. En théorie, c’est un moyen pour AutoGPT de faire presque n’importe quoi en ligne, de récupérer des informations, d’utiliser des applications, de créer de nouvelles applications, voire de s’améliorer.

Les systèmes comme AutoGPT ne fonctionnent pas bien en ce moment. Ils ont tendance à se coincer dans des boucles sans fin. Les chercheurs ont donné à un système toutes les ressources dont il avait besoin pour se répliquer. Il ne pouvait pas le faire.

Avec le temps, ces limitations pourraient être corrigées.

Les gens essaient activement de construire des systèmes qui s’auto-améliorent, a déclaré Connor Leahy, le fondateur de Conjecture, une entreprise qui dit vouloir aligner les technologies d’IA sur les valeurs humaines. Actuellement, cela ne fonctionne pas. Mais un jour, ça viendra. Et nous ne savons pas quand est ce jour.

M. Leahy soutient que lorsque les chercheurs, les entreprises et les criminels donnent à ces systèmes des objectifs tels que gagner de l’argent, ils pourraient finir par s’introduire dans les systèmes bancaires, fomenter une révolution dans un pays où ils détiennent des contrats à terme sur le pétrole ou se reproduire lorsque quelqu’un essaie de les désactiver.

Où les systèmes d’IA apprennent-ils à mal se comporter ?

Les systèmes d’IA comme ChatGPT sont construits sur des réseaux de neurones, des systèmes mathématiques qui peuvent acquérir des compétences en analysant des données.

Vers 2018, des entreprises comme Google et OpenAI ont commencé à construire des réseaux de neurones qui ont appris d’énormes quantités de texte numérique extrait d’Internet. En identifiant des modèles dans toutes ces données, ces systèmes apprennent à générer par eux-mêmes des écrits, y compris des articles de presse, des poèmes, des programmes informatiques et même des conversations humaines. Le résultat : des chatbots comme ChatGPT.

Parce qu’ils apprennent à partir de plus de données que même leurs créateurs ne peuvent comprendre, ces systèmes présentent également un comportement inattendu. Des chercheurs ont récemment montré qu’un système était capable d’embaucher un humain en ligne pour vaincre un test Captcha. Lorsque l’humain a demandé s’il s’agissait d’un robot, le système a menti et a déclaré qu’il s’agissait d’une personne malvoyante.

Certains experts craignent qu’à mesure que les chercheurs rendent ces systèmes plus puissants, en les entraînant sur des quantités de données toujours plus importantes, ils pourraient apprendre davantage de mauvaises habitudes.

Qui sont les personnes derrière ces avertissements ?

Au début des années 2000, un jeune écrivain nommé Eliezer Yudkowsky a commencé à avertir que l’IA pourrait détruire l’humanité. Ses messages en ligne ont engendré une communauté de croyants. Appelés rationalistes ou altruistes efficaces, cette communauté est devenue extrêmement influente dans le milieu universitaire, les groupes de réflexion gouvernementaux et l’industrie technologique.

M. Yudkowsky et ses écrits ont joué un rôle clé dans la création d’OpenAI et de DeepMind, un laboratoire d’IA acquis par Google en 2014. Et de nombreux membres de la communauté des EA ont travaillé dans ces laboratoires. Ils pensaient que parce qu’ils comprenaient les dangers de l’IA, ils étaient les mieux placés pour la construire.

Les deux organisations qui ont récemment publié des lettres ouvertes avertissant des risques de l’IA, le Center for AI Safety et le Future of Life Institute, sont étroitement liées à ce mouvement.

Les avertissements récents proviennent également de pionniers de la recherche et de leaders de l’industrie comme Elon Musk, qui a longtemps mis en garde contre les risques. La dernière lettre a été signée par Sam Altman, le directeur général d’OpenAI ; et Demis Hassabis, qui a aidé à fonder DeepMind et supervise maintenant un nouveau laboratoire d’IA qui combine les meilleurs chercheurs de DeepMind et de Google.

D’autres personnalités très respectées ont signé l’une des lettres d’avertissement ou les deux, notamment le Dr Bengio et Geoffrey Hinton, qui a récemment démissionné de son poste de cadre et de chercheur chez Google. En 2018, ils ont reçu le prix Turing, souvent appelé le prix Nobel d’informatique, pour leurs travaux sur les réseaux de neurones.