Nous ne devrions pas essayer de créer des logiciels conscients – jusqu’à ce que nous le devions
Les robots ou les intelligences artificielles avancées qui « se réveillent » et deviennent conscientes sont un incontournable des expériences de pensée et de la science-fiction. Que cela soit réellement possible ou non reste un sujet de grand débat. Toute cette incertitude nous place dans une position malheureuse : nous ne savons pas comment fabriquer des machines conscientes et (compte tenu des techniques de mesure actuelles) nous ne saurons pas si nous en avons créé une. En même temps, cette question est d’une grande importance, car l’existence de machines conscientes aurait des conséquences éthiques dramatiques.
Nous ne pouvons pas détecter directement la conscience dans les ordinateurs et les logiciels qui les exécutent, pas plus que nous ne le pouvons chez les grenouilles et les insectes. Mais ce n’est pas un problème insurmontable. Nous pouvons détecter la lumière que nous ne pouvons pas voir avec nos yeux à l’aide d’instruments qui mesurent des formes de lumière non visibles, comme les rayons X. Cela fonctionne parce que nous avons une théorie de l’électromagnétisme en laquelle nous avons confiance, et nous avons des instruments qui nous donnent des mesures que nous prenons de manière fiable pour indiquer la présence de quelque chose que nous ne pouvons pas sentir. De même, nous pourrions développer une bonne théorie de la conscience pour créer une mesure qui pourrait déterminer si quelque chose qui ne peut pas parler était conscient ou non, en fonction de son fonctionnement et de sa composition.
Malheureusement, il n’y a pas de théorie consensuelle de la conscience. Une enquête récente auprès des spécialistes de la conscience a montré que seulement 58% d’entre eux pensaient que la théorie la plus populaire, l’espace de travail global (qui dit que les pensées conscientes chez l’homme sont celles largement distribuées à d’autres processus cérébraux inconscients), était prometteuse. Les trois théories de la conscience les plus populaires, y compris l’espace de travail global, sont fondamentalement en désaccord sur le point de savoir si, ou dans quelles conditions, un ordinateur pourrait être conscient. L’absence de consensus est un problème particulièrement important car chaque mesure de la conscience chez les machines ou les animaux non humains dépend d’une théorie ou d’une autre. Il n’existe aucun moyen indépendant de tester la conscience d’une entité sans décider d’une théorie.
Si nous respectons l’incertitude que nous voyons chez les experts dans le domaine, la façon rationnelle de penser à la situation est que nous ne savons vraiment pas si les ordinateurs pourraient être conscients – et s’ils le pouvaient, comment cela pourrait être réalisé. Selon la théorie (peut-être encore hypothétique) qui s’avère correcte, il y a trois possibilités : les ordinateurs ne seront jamais conscients, ils pourraient l’être un jour, ou certains le sont déjà.
Pendant ce temps, très peu de gens essaient délibérément de créer des machines ou des logiciels conscients. La raison en est que le domaine de l’IA essaie généralement de créer des outils utiles, et il est loin d’être clair que la conscience aiderait à toute tâche cognitive que nous voudrions que les ordinateurs fassent.
Comme la conscience, le domaine de l’éthique est en proie à l’incertitude et manque de consensus sur de nombreuses questions fondamentales, même après des milliers d’années de travail sur le sujet. Mais une pensée commune (mais pas universelle) est que la conscience a quelque chose d’important à voir avec l’éthique. Plus précisément, la plupart des chercheurs, quelle que soit la théorie éthique qu’ils approuvent, croient que la capacité de vivre des états conscients agréables ou désagréables est l’une des caractéristiques clés qui rend une entité digne de considération morale. C’est ce qui fait qu’il est mal de donner un coup de pied à un chien mais pas à une chaise. Si nous fabriquons des ordinateurs capables de vivre des états de conscience positifs et négatifs, quelles obligations éthiques aurions-nous alors envers eux ? Nous devrions traiter un ordinateur ou un logiciel qui pourrait éprouver de la joie ou de la souffrance avec des considérations morales.
Nous fabriquons des robots et d’autres IA pour faire un travail que nous ne pouvons pas faire, mais aussi un travail que nous ne voulons pas faire. Dans la mesure où ces IA ont des esprits conscients comme le nôtre, elles mériteraient une considération éthique similaire. Bien sûr, ce n’est pas parce qu’une IA est consciente qu’elle aurait les mêmes préférences que nous ou qu’elle considérerait les mêmes activités comme désagréables. Mais quelles que soient ses préférences, elles devraient être dûment prises en compte lors de la mise en œuvre de cette IA. Faire fonctionner une machine consciente, ce qu’elle fait est misérable, est éthiquement problématique. Cela semble évident, mais il y a des problèmes plus profonds.
Considérez l’intelligence artificielle à trois niveaux. Il y a un ordinateur ou un robot, le matériel sur lequel le logiciel s’exécute. Vient ensuite le code installé sur le matériel. Enfin, chaque fois que ce code est exécuté, nous avons une « instance » de ce code en cours d’exécution. Jusqu’à quel niveau avons-nous des obligations éthiques ? Il se peut que les niveaux de matériel et de code ne soient pas pertinents et que l’agent conscient soit l’instance du code en cours d’exécution. Si quelqu’un a un ordinateur exécutant une instance logicielle consciente, serions-nous alors éthiquement obligés de le faire fonctionner indéfiniment ?
Considérez en outre que la création de tout logiciel est principalement une tâche de débogage – exécuter des instances du logiciel encore et encore, résoudre les problèmes et essayer de le faire fonctionner. Et si l’on était éthiquement obligé de continuer à exécuter chaque instance du logiciel conscient même pendant ce processus de développement ? Cela pourrait être inévitable : la modélisation informatique est un moyen précieux d’explorer et de tester des théories en psychologie. Se lancer éthiquement dans des logiciels conscients deviendrait rapidement un lourd fardeau informatique et énergétique sans fin claire.
Tout cela suggère que nous ne devrions probablement pas créer de machines conscientes si nous pouvons l’aider.
Maintenant, je vais renverser cela. Si les machines peuvent avoir des expériences conscientes et positives, alors dans le domaine de l’éthique, elles sont considérées comme ayant un certain niveau de «bien-être», et on peut dire que le fonctionnement de telles machines produit du bien-être. En fait, les machines pourraient éventuellement être capables de produire du bien-être, comme le bonheur ou le plaisir, plus efficacement que les êtres biologiques. Autrement dit, pour une quantité donnée de ressources, on pourrait être capable de produire plus de bonheur ou de plaisir dans un système artificiel que dans n’importe quelle créature vivante.
Supposons, par exemple, qu’une future technologie nous permette de créer un petit ordinateur qui pourrait être plus heureux qu’un être humain euphorique, mais qui ne nécessiterait autant d’énergie qu’une ampoule. Dans ce cas, selon certaines positions éthiques, la meilleure ligne de conduite de l’humanité serait de créer autant de bien-être artificiel que possible, que ce soit chez les animaux, les humains ou les ordinateurs. Les futurs humains pourraient se fixer pour objectif de transformer toute la matière atteignable dans l’univers en machines qui produisent efficacement le bien-être, peut-être 10 000 fois plus efficacement que ce qui peut être généré dans n’importe quelle créature vivante. Cet étrange avenir possible pourrait être celui qui offre le plus de bonheur.
Ceci est un article d’opinion et d’analyse, et les opinions exprimées par l’auteur ou les auteurs ne sont pas nécessairement celles de Scientifique américain.