Comment le premier chatbot a prédit les dangers de l’IA il y a plus de 50 ans

Il n’a pas fallu longtemps au nouveau chatbot du moteur de recherche infusé d’IA de Microsoft, nommé Sydney, pour afficher une liste croissante de comportements inconfortables après son introduction début février, avec des explosions étranges allant de déclarations d’amour non partagées à la description de certains utilisateurs comme des ennemis.

Aussi humains que certains de ces échanges aient paru, ils n’étaient probablement pas les premiers émois d’une machine consciente secouant sa cage. Au lieu de cela, les explosions de Sydney reflètent sa programmation, absorbant d’énormes quantités de langage numérisé et reproduisant ce que ses utilisateurs demandent. C’est-à-dire que cela nous reflète notre moi en ligne. Et cela n’aurait pas dû être surprenant que l’habitude des chatbots de nous refléter nous-mêmes remonte bien plus loin que la rumination de Sydney sur la signification d’être un moteur de recherche Bing. En fait, il existe depuis l’introduction du premier chatbot notable il y a près de 50 ans.

En 1966, l’informaticien du MIT Joseph Weizenbaum a publié ELIZA (du nom de la fiction Eliza Doolittle de George Bernard Shaws 1913 play Pygmalion), le premier programme qui a permis une sorte de conversation plausible entre les humains et les machines. Le processus était simple : calqué sur le style rogérien de la psychothérapie, ELIZA reformulait toute entrée de parole qui lui était donnée sous la forme d’une question. Si vous lui disiez qu’une conversation avec votre ami vous a mis en colère, il pourrait vous demander : pourquoi vous sentez-vous en colère ?

Ironiquement, bien que Weizenbaum ait conçu ELIZA pour démontrer à quel point l’état de la conversation homme-machine était superficiel, cela a eu l’effet inverse. Les gens étaient ravis, s’engageant dans de longues conversations profondes et privées avec un programme qui n’était capable que de leur renvoyer les mots des utilisateurs. Weizenbaum a été tellement perturbé par la réponse du public qu’il a passé le reste de sa vie à mettre en garde contre les dangers de laisser les ordinateurs et, par extension, le domaine de l’IA qu’il a aidé à lancer jouer un rôle trop important dans la société.

ELIZA a construit ses réponses autour d’un seul mot-clé des utilisateurs, ce qui en fait un joli petit miroir. Les chatbots d’aujourd’hui reflètent nos tendances tirées de milliards de mots. Bing pourrait être le plus grand miroir que l’humanité ait jamais construit et était sur le point d’installer une telle technologie d’IA générative partout.

Mais nous n’avons toujours pas vraiment répondu aux préoccupations de Weizenbaum, qui deviennent plus pertinentes à chaque nouvelle version. Si un simple programme académique des années 60 pouvait affecter si fortement les gens, comment notre relation croissante avec les intelligences artificielles exploitées à des fins lucratives va-t-elle nous changer ? Il y a beaucoup d’argent à gagner dans l’ingénierie de l’IA qui fait plus que simplement répondre à nos questions, mais joue un rôle actif en infléchissant nos comportements vers une plus grande prévisibilité. Ce sont des miroirs sans tain. Le risque, comme l’a vu Weizenbaum, est que sans sagesse et délibération, nous pourrions nous perdre dans notre propre réflexion déformée.

ELIZA nous a montré juste assez de nous-mêmes pour être cathartique

Weizenbaum ne croyait pas qu’une machine puisse jamais réellement imiter et encore moins comprendre la conversation humaine. Il y a des aspects de la vie humaine qu’un ordinateur ne peut pas comprendre, a déclaré Weizenbaum au New York Times en 1977. Il est nécessaire d’être un être humain. L’amour et la solitude ont à voir avec les conséquences les plus profondes de notre constitution biologique. Ce genre de compréhension est en principe impossible pour l’ordinateur.

C’est pourquoi l’idée de modéliser ELIZA d’après un psychothérapeute rogérien était si attrayante que le programme pouvait simplement poursuivre une conversation en posant des questions qui ne nécessitaient pas une profonde connaissance contextuelle, ou une familiarité avec l’amour et la solitude.

Nommée d’après le psychologue américain Carl Rogers, la psychothérapie rogérienne (ou centrée sur la personne) a été construite autour de l’écoute et de la reformulation de ce que dit un client, plutôt que d’offrir des interprétations ou des conseils. Peut-être que si j’y pensais 10 minutes de plus, écrivait Weizenbaum en 1984, j’aurais trouvé un barman.

Pour communiquer avec ELIZA, les gens tapaient dans une machine à écrire électrique qui connectait leur texte au programme, qui était hébergé sur un système du MIT. ELIZA analysait ce qu’elle recevait à la recherche de mots-clés qu’elle pouvait retourner en question. Par exemple, si votre texte contenait le mot mère, ELIZA pourrait répondre : Que ressens-tu pour ta mère ? S’il ne trouvait aucun mot-clé, il utiliserait par défaut une simple invite, comme dites-m’en plus, jusqu’à ce qu’il reçoive un mot-clé autour duquel il pourrait construire une question.

Weizenbaum voulait qu’ELIZA montre à quel point la compréhension informatisée du langage humain était superficielle. Mais les utilisateurs ont immédiatement noué des relations étroites avec le chatbot, s’éloignant pendant des heures pour partager des conversations intimes. Weizenbaum a été particulièrement énervé lorsque sa propre secrétaire, après avoir interagi pour la première fois avec le programme qu’elle l’avait vu construire depuis le début, lui a demandé de quitter la pièce afin qu’elle puisse continuer en privé avec ELIZA.

Peu de temps après que Weizenbaum ait publié une description du fonctionnement d’ELIZA, le programme est devenu connu à l’échelle nationale et même, dans certains cercles, un jouet national, a-t-il expliqué dans son livre de 1976, Puissance informatique et raison humaine.

À sa grande consternation, la possibilité d’automatiser le long processus de thérapie a excité les psychiatres. Les gens ont développé des attachements émotionnels et anthropomorphiques si fiables au programme qu’il est devenu connu sous le nom d’effet ELIZA. Le public a reçu l’intention de Weizenbaums exactement à l’envers, prenant sa démonstration de la superficialité de la conversation homme-machine comme preuve de sa profondeur.

Weizenbaum pensait que publier son explication du fonctionnement interne d’ELIZA dissiperait le mystère. Une fois qu’un programme particulier est démasqué, une fois que son fonctionnement interne est expliqué dans un langage suffisamment simple pour induire la compréhension, sa magie s’effondre, a-t-il écrit. Pourtant, les gens semblaient plus intéressés à poursuivre leurs conversations qu’à s’interroger sur le fonctionnement du programme.

Si les précautions de Weizenbaum s’articulaient autour d’une idée, c’était la retenue. Puisque nous n’avons actuellement aucun moyen de rendre les ordinateurs intelligents, écrivait-il, nous ne devrions pas maintenant confier aux ordinateurs des tâches qui exigent de la sagesse.

Sydney nous a montré plus de nous-mêmes que nous étions à l’aise avec

Si ELIZA était si superficielle, pourquoi était-elle si pertinente ? Étant donné que ses réponses ont été construites à partir de la saisie de texte immédiate des utilisateurs, parler avec ELIZA était essentiellement une conversation avec vous-même, quelque chose que la plupart d’entre nous faisons toute la journée dans notre tête. Pourtant, voici un interlocuteur sans aucune personnalité propre, se contentant de continuer à écouter jusqu’à ce qu’il soit invité à poser une autre question simple. Que les gens trouvent réconfort et catharsis dans ces occasions de partager leurs sentiments n’est pas si étrange.

Mais c’est là que Bing et tous les grands modèles de langage (LLM) comme lui divergent. Parler avec la génération actuelle de chatbots, c’est parler non seulement avec vous-même, mais avec d’énormes agglomérations de discours numérisés. Et à chaque interaction, le corpus de données d’entraînement disponibles s’agrandit.

Les LLM sont comme des compteurs de cartes à une table de poker. Ils analysent tous les mots qui ont précédé et utilisent ces connaissances pour estimer la probabilité du mot qui viendra le plus probablement ensuite. Puisque Bing est un moteur de recherche, il commence toujours par une invite de l’utilisateur. Ensuite, il construit les réponses un mot à la fois, en mettant à jour à chaque fois son estimation du mot suivant le plus probable.

Une fois que nous voyons les chatbots comme de gros moteurs de prédiction fonctionnant à partir de données en ligne plutôt que comme des machines intelligentes avec leurs propres idées, les choses deviennent moins effrayantes. Il devient plus facile d’expliquer pourquoi Sydney a menacé les utilisateurs qui étaient trop curieux, a tenté de dissoudre un mariage ou a imaginé un côté plus sombre d’elle-même. Ce sont toutes des choses que nous, les humains, faisons. À Sydney, nous avons vu notre moi en ligne nous être prédit.

Mais quoi est encore effrayant, c’est que ces réflexions vont maintenant dans les deux sens.

Qu’il s’agisse d’influencer nos comportements en ligne ou de conserver les informations que nous consommons, l’interaction avec de grands programmes d’IA nous change déjà. Ils n’attendent plus passivement notre contribution. Au lieu de cela, l’IA façonne désormais de manière proactive des parties importantes de nos vies, des lieux de travail aux salles d’audience. Avec les chatbots en particulier, nous les utilisons pour nous aider à réfléchir et à donner forme à nos pensées. Cela peut être bénéfique, comme l’automatisation des lettres de motivation personnalisées (en particulier pour les candidats dont l’anglais est une deuxième ou une troisième langue). Mais cela peut aussi réduire la diversité et la créativité qui découlent de l’effort humain pour donner une voix à l’expérience. Par définition, les LLM suggèrent un langage prévisible. Appuyez-vous trop sur eux, et cet algorithme de prévisibilité devient le nôtre.

Des chatbots à but lucratif dans un monde solitaire

Si ELIZA nous a changé, c’est parce que de simples questions pouvaient encore nous faire prendre conscience de quelque chose sur nous-mêmes. Les réponses courtes n’avaient pas de place pour véhiculer des arrière-pensées ou pousser leurs propres agendas. Avec la nouvelle génération d’entreprises développant des technologies d’IA, le changement se fait dans les deux sens et l’objectif est le profit.

En fixant Sydney, nous voyons bon nombre des mêmes signes avant-coureurs sur lesquels Weizenbaum a attiré l’attention il y a plus de 50 ans. Ceux-ci incluent une tendance hyperactive à l’anthropomorphisme et une foi aveugle dans l’innocuité fondamentale de la transmission des capacités et des responsabilités aux machines. Mais ELIZA était une nouveauté académique. Sydney est un déploiement à but lucratif de ChatGPT, qui représente un investissement de 29 milliards de dollars et fait partie d’une industrie de l’IA qui devrait valoir plus de 15 000 milliards de dollars dans le monde d’ici 2030.

La proposition de valeur de l’IA grandit de jour en jour et la perspective de réaligner sa trajectoire s’estompe. Dans le monde électrifié et entreprenant d’aujourd’hui, les chatbots IA prolifèrent déjà plus rapidement que n’importe quelle technologie qui les a précédés. Cela fait du présent un moment critique pour regarder dans le miroir que nous avons construit, avant que les reflets fantasmagoriques de nous-mêmes ne deviennent trop grands, et se demander s’il y avait une certaine sagesse dans le cas de Weizenbaum pour la retenue.

En tant que miroir, l’IA reflète également l’état de la culture dans laquelle la technologie fonctionne. Et l’état de la culture américaine est de plus en plus solitaire.

Pour Michael Sacasas, spécialiste indépendant de la technologie et auteur du bulletin The Convivial Society, c’est une source de préoccupation au-delà des avertissements de Weizenbaum. Nous anthropomorphisons parce que nous ne voulons pas être seuls, écrivait récemment Sacasas. Nous disposons maintenant de technologies puissantes, qui semblent être finement calibrées pour exploiter ce désir humain fondamental.

Plus nous nous sentons seuls, plus nous devenons exploitables par ces technologies. Lorsque ces chatbots convaincants deviendront aussi banals que la barre de recherche d’un navigateur, poursuit Sacases, nous aurons lancé une expérience socio-psychologique à grande échelle qui donnera des résultats imprévisibles et peut-être tragiques.

Étaient à l’aube d’un monde rempli de Sydneys de toutes sortes. Et pour être sûr, les chatbots font partie des nombreuses implémentations possibles de l’IA qui peuvent offrir d’immenses avantages, du repliement des protéines à une éducation plus équitable et accessible. Mais nous ne devrions pas nous laisser prendre au point de négliger d’examiner les conséquences potentielles. Au moins jusqu’à ce que nous comprenions mieux ce que c’est que nous créons, et comment cela va, à son tour, nous recréer.