Les calculs suggèrent qu’il sera impossible de contrôler une IA super intelligente

L’idée d’une intelligence artificielle renversant l’humanité fait parler d’elle depuis de nombreuses décennies, et en janvier 2021, les scientifiques ont rendu leur verdict quant à savoir si nous serions capables de contrôler une super-intelligence informatique de haut niveau. La réponse? Presque certainement pas.

Le hic, c’est que contrôler une super-intelligence bien au-delà de la compréhension humaine nécessiterait une simulation de cette super-intelligence que nous pouvons analyser. Mais si nous sommes incapables de le comprendre, il est impossible de créer une telle simulation.

Des règles telles que « ne pas nuire aux humains » ne peuvent pas être définies si nous ne comprenons pas le type de scénarios qu’une IA va proposer, suggèrent les auteurs de l’article de 2021. Une fois qu’un système informatique fonctionne à un niveau supérieur à la portée de nos programmeurs, nous ne pouvons plus fixer de limites.

« Une super-intelligence pose un problème fondamentalement différent de ceux généralement étudiés sous la bannière de » l’éthique des robots «  », ont écrit les chercheurs.

« C’est parce qu’une superintelligence est multiforme, et donc potentiellement capable de mobiliser une diversité de ressources afin d’atteindre des objectifs potentiellement incompréhensibles pour l’homme, et encore moins contrôlables. »

Une partie du raisonnement de l’équipe vient du problème d’arrêt avancé par Alan Turing en 1936. Le problème consiste à savoir si un programme informatique parviendra ou non à une conclusion et à une réponse (il s’arrête donc), ou simplement à une boucle indéfinie pour en trouver un.

Comme Turing l’a prouvé grâce à des calculs intelligents, alors que nous pouvons savoir que pour certains programmes spécifiques, il est logiquement impossible de trouver un moyen qui nous permettra de le savoir pour chaque programme potentiel qui pourrait jamais être écrit. Cela nous ramène à l’IA, qui, dans un état super-intelligent, pourrait contenir tous les programmes informatiques possibles dans sa mémoire à la fois.

Tout programme écrit pour empêcher l’IA de nuire aux humains et de détruire le monde, par exemple, peut arriver à une conclusion (et s’arrêter) ou non, il nous est mathématiquement impossible d’être absolument sûr de toute façon, ce qui signifie qu’il n’est pas maîtrisable.

« En effet, cela rend l’algorithme de confinement inutilisable », a déclaré en janvier l’informaticien Iyad Rahwan, de l’Institut Max-Planck pour le développement humain en Allemagne.

Selon les chercheurs, l’alternative à l’enseignement d’une certaine éthique à l’IA et à l’interdiction de détruire le monde, ce qu’aucun algorithme ne peut être absolument certain de faire, est de limiter les capacités de la super-intelligence. Il peut être coupé de certaines parties d’Internet ou de certains réseaux, par exemple.

L’étude récente rejette également cette idée, suggérant que cela limiterait la portée de l’intelligence artificielle. L’argument est que si nous n’allons pas l’utiliser pour résoudre des problèmes au-delà de la portée des humains, alors pourquoi la créer ?

Si nous voulons aller de l’avant avec l’intelligence artificielle, nous ne saurons peut-être même pas quand une super-intelligence indépendante de notre volonté arrive, tant elle est incompréhensible. Cela signifie que nous devons commencer à nous poser de sérieuses questions sur les directions dans lesquelles nous nous dirigeons.

« Une machine super-intelligente qui contrôle le monde ressemble à de la science-fiction », a déclaré l’informaticien Manuel Cebrian, de l’Institut Max-Planck pour le développement humain. « Mais il existe déjà des machines qui effectuent certaines tâches importantes de manière indépendante sans que les programmeurs comprennent parfaitement comment ils l’ont apprise. »

« La question se pose donc de savoir si cela pourrait à un moment donné devenir incontrôlable et dangereux pour l’humanité. »

La recherche a été publiée dans le Journal de recherche en intelligence artificielle.

Une version de cet article a été publiée pour la première fois en janvier 2021.