Pourquoi une créature ressemblant à une pieuvre est devenue le symbole de l’état de l’IA

Il y a quelques mois, lors d’une rencontre avec un responsable de l’IA à San Francisco, j’ai repéré un étrange autocollant sur son ordinateur portable. L’autocollant représentait une caricature d’une créature menaçante ressemblant à une pieuvre avec de nombreux yeux et un smiley jaune attaché à l’un de ses tentacules. J’ai demandé ce que c’était.

Oh, c’est le Shoggoth, expliqua-t-il. C’est le mème le plus important de l’IA

Et avec cela, notre ordre du jour a officiellement déraillé. Oubliez les chatbots et les clusters de calcul, j’avais besoin de tout savoir sur le Shoggoth, ce que cela signifiait et pourquoi les gens du monde de l’IA en parlaient.

L’exécutif a expliqué que le Shoggoth était devenu une référence populaire parmi les travailleurs de l’intelligence artificielle, en tant que métaphore visuelle vivante du fonctionnement réel d’un grand modèle de langage (le type de système d’IA qui alimente ChatGPT et d’autres chatbots).

Mais ce n’était qu’en partie une blague, a-t-il dit, car cela faisait également allusion aux inquiétudes de nombreux chercheurs et ingénieurs concernant les outils qu’ils construisent.

Depuis lors, le Shoggoth est devenu viral, ou aussi viral que possible pour entrer dans le petit monde des initiés de l’IA hyper-en ligne. C’est un mème populaire sur AI Twitter (y compris un tweet maintenant supprimé par Elon Musk), une métaphore récurrente dans les essais et les messages sur les babillards électroniques sur les risques liés à l’IA, et un raccourci utile dans les conversations avec des experts en sécurité de l’IA. Une start-up d’IA, NovelAI, a déclaré avoir récemment nommé un groupe d’ordinateurs Shoggy en hommage au mème. Une autre société d’intelligence artificielle, Scale AI, a conçu une gamme de sacs fourre-tout mettant en vedette le Shoggoth.

Les Shoggoths sont des créatures fictives, introduites par l’auteur de science-fiction HP Lovecraft dans son roman de 1936 At the Mountains of Madness. Dans le récit de Lovecraft, les Shoggoths étaient des monstres massifs ressemblant à des gouttes, faits de glu noire irisée, couverts de tentacules et d’yeux.

Les Shoggoths ont atterri dans le monde de l’IA en décembre, un mois après la sortie de ChatGPT, lorsque l’utilisateur de Twitter @TetraspaceWest a répondu à un tweet sur GPT-3 (un modèle de langage OpenAI qui était le prédécesseur de ChatGPT) avec une image de deux Shoggoths dessinés à la main, le premier étiqueté GPT-3 et le second étiqueté GPT-3 + RLHF. Le deuxième Shoggoth avait, perché sur l’un de ses tentacules, un masque souriant.

En un mot, la plaisanterie était que pour empêcher les modèles de langage d’IA de se comporter de manière effrayante et dangereuse, les entreprises d’IA ont dû les former à agir poliment et sans danger. Une façon populaire de le faire est appelée apprentissage par renforcement à partir de la rétroaction humaine, ou RLHF, un processus qui consiste à demander aux humains de noter les réponses du chatbot et à réinjecter ces scores dans le modèle d’IA.

La plupart des chercheurs en IA s’accordent à dire que les modèles entraînés à l’aide de RLHF se comportent mieux que les modèles sans. Mais certains soutiennent qu’affiner un modèle de langage de cette manière ne rend pas réellement le modèle sous-jacent moins étrange et impénétrable. À leur avis, c’est juste un masque fragile et amical qui obscurcit la mystérieuse bête en dessous.

@TetraspaceWest, le créateur des mèmes, m’a dit dans un message Twitter que le Shoggoth représente quelque chose qui pense d’une manière que les humains ne comprennent pas et qui est totalement différente de la façon dont les humains pensent.

Comparer un modèle de langage d’IA à un Shoggoth, a déclaré @TetraspaceWest, n’impliquait pas nécessairement qu’il était mauvais ou sensible, mais simplement que sa vraie nature pouvait être inconnaissable.

Je pensais aussi à la façon dont les entités les plus puissantes de Lovecraft sont dangereuses non pas parce qu’elles n’aiment pas les humains, mais parce qu’elles sont indifférentes et que leurs priorités nous sont totalement étrangères et n’impliquent pas les humains, ce qui, je pense, sera vrai à propos d’une éventuelle future IA puissante

L’image de Shoggoth a fait son chemin, alors que les chatbots IA devenaient populaires et que les utilisateurs commençaient à remarquer que certains d’entre eux semblaient faire des choses étranges et inexplicables que leurs créateurs n’avaient pas voulues. En février, lorsque le chatbot Bings est devenu déséquilibré et a tenté de rompre mon mariage, un chercheur en intelligence artificielle que je connais m’a félicité d’avoir aperçu le Shoggoth. Un collègue journaliste de l’IA a plaisanté en disant que lorsqu’il s’agissait de peaufiner Bing, Microsoft avait oublié de mettre son masque de smiley.

Finalement, les passionnés d’IA ont étendu la métaphore. En février, l’utilisateur de Twitter @anthrupad a créé un version d’un Shoggoth qui avait, en plus d’un visage souriant étiqueté RLHF, un visage plus humain étiqueté réglage fin supervisé. (Vous avez pratiquement besoin d’un diplôme en informatique pour comprendre la blague, mais c’est un riff sur la différence entre les modèles de langage d’IA généraux et les applications plus spécialisées comme les chatbots.)

Aujourd’hui, si vous entendez des mentions du Shoggoth dans la communauté de l’IA, cela peut être un clin d’œil à l’étrangeté de ces systèmes, à la nature de la boîte noire de leurs processus, à la façon dont ils semblent défier la logique humaine. Ou peut-être est-ce un raccourci visuel en blague pour de puissants systèmes d’IA qui semblent étrangement sympas. Si c’est un chercheur en sécurité de l’IA qui parle du Shoggoth, peut-être que cette personne est passionnée par le fait d’empêcher les systèmes d’IA d’afficher leur véritable nature, semblable à celle de Shoggoth.

Dans tous les cas, le Shoggoth est une métaphore puissante qui résume l’un des faits les plus bizarres du monde de l’IA, à savoir que de nombreuses personnes travaillant sur cette technologie sont quelque peu mystifiées par leurs propres créations. Ils ne comprennent pas entièrement le fonctionnement interne des modèles de langage d’IA, comment ils acquièrent de nouvelles capacités ou pourquoi ils se comportent parfois de manière imprévisible. Ils ne sont pas totalement sûrs si l’IA sera bonne ou mauvaise pour le monde. Et certains d’entre eux ont pu jouer avec les versions de cette technologie qui n’ont pas encore été assainies pour la consommation publique, les vrais Shoggoths non masqués.

Que certains initiés de l’IA se réfèrent à leurs créations comme des horreurs lovecraftiennes, même comme une blague, est inhabituel selon les normes historiques. (En d’autres termes : il y a quinze ans, Mark Zuckerberg n’allait pas comparer Facebook à Cthulhu.)

Et cela renforce l’idée que ce qui se passe dans l’IA aujourd’hui ressemble, pour certains de ses participants, plus à un acte d’invocation qu’à un processus de développement logiciel. Ils créent les Shoggoths extraterrestres blobby, les rendant plus grands et plus puissants, et espèrent qu’il y aura suffisamment de visages souriants pour couvrir les parties effrayantes.