Des choses surprenantes se produisent lorsque vous réunissez 25 agents IA dans une ville RPG Ars Technica

Un groupe de chercheurs de l’Université de Stanford et Google ont créé un monde virtuel miniature de style RPG similaire à Les Sims, où 25 personnages, contrôlés par ChatGPT et un code personnalisé, vivent leur vie indépendamment avec un haut degré de comportement réaliste. Ils ont écrit sur leur expérience dans un article académique préimprimé publié vendredi.

« Les agents génératifs se réveillent, préparent le petit-déjeuner et se rendent au travail ; les artistes peignent pendant que les auteurs écrivent ; ils se forgent des opinions, se remarquent et initient des conversations ; ils se souviennent et réfléchissent aux jours passés tout en planifiant le lendemain », écrivent les chercheurs dans leur article, « Generative Agents: Interactive Simulacra of Human Behavior ».

Pour y parvenir, les chercheurs se sont fortement appuyés sur un grand modèle de langage (LLM) pour l’interaction sociale, en particulier l’API ChatGPT. De plus, ils ont créé une architecture qui simule les esprits avec des souvenirs et des expériences, puis laisse les agents se perdre dans le monde pour interagir. Et les humains peuvent aussi interagir avec eux.

« Les utilisateurs peuvent observer et intervenir pendant que les agents planifient leurs journées, partagent des nouvelles, établissent des relations et coordonnent les activités de groupe », écrivent-ils. C’est l’œuvre de Joon Sung Park, Joseph C. O’Brien, Carrie J. Cai, Meredith Ringel Morris, Percy Liang et Michael S. Bernstein.

Les jeux informatiques et vidéo incluent des personnages contrôlés par ordinateur depuis les années 1970, mais jamais auparavant ils n’avaient été en mesure de simuler un environnement social avec la complexité du langage naturel qui pourrait maintenant être possible grâce à des modèles d’IA génératifs comme ChatGPT. Bien que la recherche du groupe ne soit pas nécessairement un « jeu », elle pourrait être le prototype d’un avenir où des personnages de RPG dynamiques interagissent de manière complexe et inattendue.

« Imaginez tuer un PNJ et revenir en ville et assister à des funérailles pour lui », a plaisanté un utilisateur de Twitter nommé Denis Hansen en répondant à un fil de discussion sur les implications émergentes du document. À en juger par cette recherche, ce n’est peut-être pas un scénario farfelu.

La vie à Smallville

Pour étudier le groupe d’agents de l’IA, les chercheurs ont créé une ville virtuelle appelée « Smallville », qui comprend des maisons, un café, un parc et une épicerie. À des fins d’interaction humaine, le monde est représenté à l’écran à partir d’une vue aérienne à l’aide de graphiques en pixels de style rétro rappelant un RPG japonais 16 bits classique.

Smallville abrite une communauté de 25 individus distincts, chacun représenté par un avatar de sprite de base. Pour capturer l’identité de chaque agent et ses liens avec les autres membres de la communauté, les chercheurs ont créé un paragraphe de description en langage naturel comme mémoire germe. Ces descriptions incluent des détails sur la profession de chaque agent et ses relations avec d’autres agents. Par exemple, voici un extrait d’une de ces mémoires de départ fournies dans l’article :

John Lin est un commerçant de pharmacie au Willow Market and Pharmacy qui aime aider les gens. Il est toujours à la recherche de moyens de faciliter le processus d’obtention de médicaments pour ses clients. John Lin vit avec sa femme, Mei Lin, qui est professeur d’université, et son fils, Eddy Lin, qui étudie la théorie musicale. John Lin aime beaucoup sa famille.

En tant qu’environnement virtuel, Smallville est divisé en zones et en objets. Les utilisateurs humains peuvent entrer dans le monde en tant qu’agent existant ou nouveau, et les utilisateurs et les agents peuvent influencer l’état des objets par des actions. Les utilisateurs humains peuvent également interagir avec des agents d’intelligence artificielle par le biais d’une conversation ou en émettant des directives en tant que « voix intérieure ». Les utilisateurs communiquent en langage naturel, en spécifiant un personnage que l’agent les perçoit comme, ou peuvent utiliser la voix intérieure pour influencer les actions de l’agent.

Dans le développement du monde virtuel, un défi particulier est venu de la « mémoire » limitée des LLM. Cette mémoire se présente sous la forme d’une « fenêtre contextuelle », qui correspond au nombre de jetons (morceaux de mots) que ChatGPT peut traiter à la fois. Pour contourner ces limitations, les chercheurs ont conçu un système où « les éléments les plus pertinents de la mémoire des agents » sont récupérés et synthétisés en cas de besoin.

« Les agents perçoivent leur environnement et toutes les perceptions sont enregistrées dans un enregistrement complet des expériences des agents appelé flux de mémoire. Sur la base de leurs perceptions, l’architecture récupère les souvenirs pertinents, puis utilise ces actions récupérées pour déterminer une action. Ces souvenirs récupérés sont également utilisé pour former des plans à plus long terme et pour créer des réflexions de niveau supérieur, qui sont toutes deux entrées dans le flux de mémoire pour une utilisation future. »

Fait intéressant, lorsque les personnages du monde du bac à sable se rencontrent, ils se parlent souvent en utilisant le langage naturel fourni par ChatGPT. De cette façon, ils échangent des informations et forment des souvenirs de leur vie quotidienne. Lorsque les chercheurs ont combiné ces ingrédients de base et exécuté la simulation, des choses intéressantes ont commencé à se produire.

Comportement émergent

Dans l’article, les chercheurs énumèrent trois comportements émergents résultant de la simulation. Aucun de ceux-ci n’était préprogrammé mais résultait plutôt des interactions entre les agents.

Celles-ci comprenaient la « diffusion de l’information » (les agents se communiquant des informations et les diffusant socialement dans la ville), la « mémoire relationnelle » (mémoire des interactions passées entre les agents et mentionnant ces événements antérieurs plus tard) et la « coordination » (planification et participation à un Fête de la Saint-Valentin avec d’autres agents).

Au cours de l’expérience de la Saint-Valentin, un agent d’intelligence artificielle nommé Isabella Rodriguez a organisé une fête de la Saint-Valentin au « Hobbs Cafe » et a invité des amis et des clients. Elle a décoré le café avec l’aide de son amie Maria, qui a invité son béguin Klaus à la fête.

« En partant d’une seule notion spécifiée par l’utilisateur selon laquelle un agent veut organiser une fête pour la Saint-Valentin », écrivent les chercheurs, « les agents ont diffusé de manière autonome des invitations à la fête au cours des deux prochains jours, se sont fait de nouvelles connaissances, se sont invités à sortir rendez-vous à la fête et coordonnez-vous pour vous présenter ensemble à la fête au bon moment. »

Alors que 12 agents ont entendu parler de la fête par d’autres, seuls cinq agents (dont Klaus et Maria) étaient présents. Trois ont dit qu’ils étaient trop occupés et quatre agents n’y sont tout simplement pas allés. L’expérience était un exemple amusant de situations inattendues qui peuvent émerger d’interactions sociales complexes dans le monde virtuel.

Plus humain qu’humain?

Dans le cadre de leurs recherches, le groupe a embauché des évaluateurs humains pour regarder des rediffusions de la simulation afin d’évaluer dans quelle mesure les agents d’IA produisaient un comportement crédible en fonction de leur environnement et de leurs expériences, y compris « des plans, des réactions et des pensées crédibles » et « la diffusion d’informations, les relations la formation et la coordination des agents dans les différentes poches de la communauté. »

Les chercheurs ont également demandé à des humains de mettre en scène des réponses d’agents à des questions d’entrevue dans la voix de l’agent dont ils ont regardé la rediffusion. Fait intéressant, ils ont découvert que « l’architecture complète de l’agent génératif » produisait des résultats plus crédibles que les humains qui faisaient le jeu de rôle.

Cela conduit à d’autres questions, telles que les impacts et les risques éthiques de cette technologie. Les chercheurs mettent en garde contre des risques tels que la formation de « relations parasociales » inappropriées, l’impact d’inférences incorrectes, l’exacerbation des risques existants associés à l’IA générative et le risque de dépendance excessive à l’égard des agents génératifs dans le processus de conception.

Pour garantir un déploiement éthique et socialement responsable, les chercheurs soutiennent que les développeurs doivent adhérer à des principes tels que la divulgation explicite de la nature informatique des agents, assurer l’alignement des valeurs, suivre les meilleures pratiques en matière de conception d’IA humaine, conserver des journaux d’audit pour les entrées et les sorties, et non substitution d’un réel apport humain dans les études et les processus de conception.

Pour avoir un aperçu de Smallville, les chercheurs ont mis en ligne une démo interactive via un site Web spécial, mais il s’agit d’une « relecture pré-calculée d’une simulation » décrite dans l’article et non d’une simulation en temps réel. Pourtant, cela illustre bien la richesse des interactions sociales qui peuvent émerger d’un monde virtuel apparemment simple fonctionnant dans un bac à sable informatique.