L’IA dépasse les champions humains du jeu vidéo Gran Turismo
Pour dévaler un virage le long de la « ligne de course » la plus rapide sans perdre le contrôle, les pilotes de voitures de course doivent freiner, diriger et accélérer dans des séquences chronométrées avec précision. Le processus dépend des limites de friction, et elles sont régies par des lois physiques connues, ce qui signifie que les voitures autonomes peuvent apprendre à effectuer un tour à la vitesse la plus rapide possible (comme certaines l’ont déjà fait). Mais cela devient un problème beaucoup plus épineux lorsque le conducteur automatisé doit partager l’espace avec d’autres voitures. Aujourd’hui, les scientifiques ont relevé le défi virtuellement en entraînant un programme d’intelligence artificielle pour devancer les concurrents humains dans le jeu de course ultraréaliste Gran Turismo Sport. Les résultats pourraient orienter les chercheurs en voitures autonomes vers de nouvelles façons de faire fonctionner cette technologie dans le monde réel.
L’intelligence artificielle a déjà conquis les joueurs humains dans certains jeux vidéo, tels que Starcraft II et Dota 2. Mais Gran Turismo diffère des autres jeux de manière significative, déclare Peter Wurman, directeur de Sony AI America et co-auteur de la nouvelle étude, qui a été publié cette semaine dans Nature. « Dans la plupart des jeux, l’environnement définit les règles et protège les utilisateurs les uns des autres », explique-t-il. « Mais en course, les voitures sont très proches les unes des autres, et il y a un sens très raffiné de l’étiquette qui doit être appris et déployé par le [AI] agents. Pour gagner, ils doivent être respectueux de leurs adversaires, mais ils doivent aussi préserver leurs propres lignes de conduite et veiller à ne pas céder.
Pour enseigner à leur programme les ficelles du métier, les chercheurs de Sony AI ont utilisé une technique appelée apprentissage par renforcement profond. Ils ont récompensé l’IA pour certains comportements, comme rester sur la piste, garder le contrôle du véhicule et respecter l’étiquette de course. Ensuite, ils ont lancé le programme pour essayer différentes manières de courir qui lui permettraient d’atteindre ces objectifs. L’équipe Sony AI a formé plusieurs versions différentes de son IA, baptisée Gran Turismo Sophy (GT Sophy), chacune spécialisée dans la conduite d’un type particulier de voiture sur une piste particulière. Ensuite, les chercheurs ont opposé le programme à des champions humains de Gran Turismo. Lors du premier test, effectué en juillet dernier, les humains ont obtenu le score global le plus élevé de l’équipe. Lors de la deuxième manche en octobre 2021, l’IA a percé. Il a battu ses ennemis humains à la fois individuellement et en équipe, réalisant les temps au tour les plus rapides.
Les joueurs humains semblent avoir pris leurs pertes à bras le corps, et certains se sont amusés à affronter l’IA. « Certaines des choses que nous avons également entendues des pilotes étaient qu’ils avaient également appris de nouvelles choses grâce aux manœuvres de Sophy », explique Erica Kato Marcus, directrice des stratégies et des partenariats chez Sony AI. « Les lignes que l’IA utilisait étaient si délicates que je pourrais probablement les faire une fois. Mais c’était tellement, tellement difficile – je ne le tenterais jamais dans une course », déclare Emily Jones, qui a été finaliste mondiale aux FIA-Certified Gran Turismo Championships 2020 et a ensuite couru contre GT Sophy. Bien que Jones dise que rivaliser avec l’IA l’a fait se sentir un peu impuissante, elle décrit l’expérience comme impressionnante.
« La course, comme beaucoup de sports, consiste à se rapprocher le plus possible du tour parfait, mais vous ne pouvez jamais y arriver », déclare Jones. « Avec Sophy, c’était fou de voir quelque chose qui était le parfait genoux. Il n’y avait aucun moyen d’aller plus vite.
L’équipe Sony développe actuellement l’IA. « Nous avons formé un agent, une version de GT Sophy, pour chaque combinaison voiture-circuit », explique Wurman. « Et l’une des choses que nous examinons est : pouvons-nous former une seule politique qui peut s’appliquer à n’importe quelle voiture sur l’une des pistes du jeu ? » Côté commercial, Sony AI travaille également avec le développeur de Gran Turismo, la filiale de Sony Interactive Entertainment Polyphony Digital, pour potentiellement intégrer une version de GT Sophy dans une future mise à jour du jeu. Pour ce faire, les chercheurs devraient ajuster les performances de l’IA afin qu’elle puisse être un adversaire difficile mais pas invincible, même pour les joueurs moins qualifiés que les champions qui ont testé l’IA jusqu’à présent.
Étant donné que Gran Turismo fournit une approximation réaliste de voitures et de circuits spécifiques, ainsi que des paramètres physiques uniques qui régissent chacun, cette recherche pourrait également avoir des applications en dehors des jeux vidéo. « Je pense que l’un des éléments intéressants, qui le différencie du jeu Dota, est d’être dans un environnement basé sur la physique », déclare Brooke Chan, ingénieur logiciel à la société de recherche sur l’intelligence artificielle OpenAI et co-auteur du Projet OpenAI Five, qui a battu les humains à Dota 2. « Ce n’est pas dans le monde réel, mais il est toujours capable d’émuler les caractéristiques du monde réel de sorte que nous entraînons l’IA à comprendre un peu plus le monde physique. » (Chan n’a pas participé à l’étude GT Sophy.)
« Gran Turismo est un très bon simulateur – il est gamifié de plusieurs façons, mais il représente vraiment fidèlement beaucoup des différences que vous obtiendriez avec différentes voitures et différentes pistes », déclare J. Christian Gerdes, professeur de Stanford University of génie mécanique, qui n’a pas participé à la nouvelle étude. « C’est, dans mon esprit, la chose la plus proche de quiconque publie un article qui dit que l’IA peut affronter les humains dans un environnement de course. »
Cependant, tout le monde n’est pas entièrement d’accord. « Dans le monde réel, vous devez faire face à des choses comme les cyclistes, les piétons, les animaux, les chutes de camions et les chutes sur la route que vous devez pouvoir éviter, le mauvais temps, les pannes de véhicules, des choses comme ça », dit Steven Shladover, ingénieur de recherche au programme California Partners for Advanced Transportation Technology (California PATH) de l’Université de Californie, Berkeley’s Institute of Transportation Studies, qui n’a pas non plus participé au Nature papier. « Rien de tout cela n’apparaît dans le monde du jeu. »
Mais Gerdes dit que le succès de GT Sophy peut toujours être utile car il bouleverse certaines hypothèses sur la façon dont les voitures autonomes doivent être programmées. Un véhicule automatisé peut prendre des décisions basées sur les lois de la physique ou sur sa formation à l’IA. « Si vous regardez ce qui existe dans la littérature – et, dans une certaine mesure, ce que les gens mettent sur la route – les planificateurs de mouvement auront tendance à être basés sur la physique dans l’optimisation, et les parties de perception et de prédiction seront l’IA », dit Gerdes. Avec GT Sophy, cependant, la planification des mouvements de l’IA (comme décider comment aborder un virage à la limite supérieure de ses performances sans provoquer de crash) était basée sur le côté IA de la formule. « Je pense que la leçon pour les développeurs de voitures automatisées est la suivante : il y a un point de données ici que peut-être certaines de nos notions préconçues – que certaines parties de ce problème sont mieux traitées en physique – doivent être revisitées », dit-il. « L’IA pourrait également jouer là-bas. »
Gerdes suggère également que la réalisation de GT Sophy pourrait avoir des leçons pour d’autres domaines dans lesquels les humains et les systèmes automatisés interagissent. Dans Gran Turismo, souligne-t-il, l’IA doit trouver un équilibre entre le difficile problème de la réalisation de l’itinéraire le plus rapide autour de la piste et le difficile problème d’interagir en douceur avec des humains souvent imprévisibles. « Si nous avons un système d’IA capable de prendre des décisions sophistiquées dans cet environnement, cela pourrait s’appliquer, non seulement à la conduite automatisée », déclare Gerdes, « mais également à des interactions telles que la chirurgie assistée par robot ou les machines qui aident à la maison. . Si vous avez une tâche où un humain et un robot travaillent ensemble pour déplacer quelque chose, c’est, à certains égards, beaucoup plus délicat que le robot essayant de le faire lui-même.