CityXR : des villes augmentées à l’ombre de l’hyper-réalité

En 2016, le designer et cinéaste Keiichi Matsuda a sorti Hyper-Reality, un film concept qui imaginait un avenir en réalité augmentée où les réalités physiques et virtuelles ont fusionné, aboutissant à une « ville saturée de médias ».

Le film de 6 minutes présentait une vision exploratoire et largement dystopique de la façon dont notre réalité pourrait bientôt être surchargée et recouverte d’informations. Bien que le film ait près d’une décennie, il reste pertinent pour les discussions modernes sur la façon dont nous conceptualisons les cas d’utilisation des technologies émergentes de réalité virtuelle et augmentée.

Le film a été largement diffusé et largement couvert dans les médias et les organes d’information lors de sa sortie. Malgré ses images conflictuelles et intentionnellement provocatrices, il s’agit d’un concept très influent ou, peut-être plus précisément, d’un hypothétique avertissement pour ceux qui travaillent sur les technologies qui lui permettraient de devenir réalité. Matsuda lui-même a ensuite commencé à travailler dans le domaine de la réalité augmentée après la sortie du film, dirigeant les équipes de conception de Leap Motion (maintenant Ultraleap) et de Microsoft.

Huit ans après Hyper-Reality, je me suis retrouvé en tournée médiatique au Japon avec Psychic VR, une start-up VR/AR basée à Tokyo, me présentant son argumentaire pour un projet à grande échelle en développement appelé CityXR. Il s’agit d’un concept de ville augmentée qui, parfois, vire peut-être du mauvais côté de la vision de l’hyper-réalité dont il semble emprunter.

CityXR n’est que l’une des nombreuses visions audacieuses de Psychic VR pour l’avenir de la réalité virtuelle et augmentée. Au cours de la tournée médiatique de trois jours à Tokyo, la société m’a présenté une litanie de ces idées d’une manière presque écrasante.

Air Race X était le projet le plus avancé dans la transition audacieuse vers la réalité (virtuelle), se terminant par un événement en personne dans le quartier de Shibuya à Tokyo. Les médias, les investisseurs et bien d’autres se sont réunis pour voir comment la technologie de Psychic a réinventé le sport de compétition de la course aérienne dans un format hybride immersif qui a vu des avions numériques courir dans le ciel de Shibuya sur des appareils VR et AR. Bien qu’il s’agisse d’un concept admirable sur la manière dont le sport pourrait subir une réinvention immersive, la technologie démontrée lors de la course finale a finalement été abandonnée par un manque d’occlusion.

Air Race X : une vision audacieuse mais imparfaite des start-ups de Tokyo pour les sports VR/AR

Air Race X présente une vision audacieuse mais imparfaite de l’avenir des sports VR/AR. Découvrez comment Psychic VR souhaite relancer les courses aériennes compétitives dans un format immersif ici :

La technologie de base derrière Air Race X fonctionnait sur Styly, la plate-forme fondamentale de tous les plans et projets en développement de Psychic VR. Comme je l’ai mentionné dans notre article sur Air Race X, Styly est un outil tout-en-un destiné aux créateurs et aux consommateurs et constitue le fondement de la vision CityXR de l’entreprise.

Avec CityXR, Psychic voit des villes comme Tokyo se transformer en terrains de jeux augmentés et immersifs proposant un « divertissement spatial ». En ajoutant du contenu augmenté aux espaces physiques, Psychic propose « une nouvelle forme de divertissement qui utilise la technologie XR pour étendre l’espace urbain lui-même en un média expérientiel ».

Les espaces du monde réel, tels que Shibuya Crossing, auront des « couches » sociales, musicales, de jeu et artistiques augmentées, par exemple, l’utilisateur pourra basculer entre des chaînes similaires sur un téléviseur.

Il s’agit d’une perspective hyper-futuriste qui dépend également entièrement de la technologie VR/AR pour atteindre un point où les gens se promènent avec des casques, des lunettes ou une forme d’appareil de réalité augmentée utilisés à tout moment. Il est à noter que cette vision des couches de réalité augmentée est également très similaire à celle partagée par Magic Leap au début, avant que l’entreprise ne licencie un grand nombre de ses employés.

Grâce aux récents investissements des sociétés de médias, des opérateurs de télécommunications et des sociétés immobilières, il est clair que Psychic a réussi à convaincre ceux qui financent que la technologie est à la portée de sa vision.

Pour l’instant, cependant, des exemples de base sont déjà opérationnels via la RA mobile, créés et visualisables à l’aide de la plateforme Styly. Au cours de notre tournée médiatique, Psychic nous a montré une variété d’expériences AR mobiles liées à la vision plus large de CityXR. L’espoir est qu’un jour ces expériences seront plus immersives et natives, peut-être vues sur une paire de véritables lunettes AR.

À l’extérieur du bureau Psychic de Shinjuku, on nous a montré une expérience de réalité augmentée conçue pour la rue calme qui s’étend devant l’entrée. Sur un iPad encombrant de 12 pouces tenu devant nous, nous sommes guidés dans un monde AR sous-marin teinté de bleu superposé à la rue avec des bulles, des poissons et des plantes submergées chatoyantes. Les flèches nous éloignent des voitures et le long du chemin étroit réservé aux piétons, avant de terminer dans une aire de jeux voisine avec la vue d’une baleine nageant devant nous.

Il s’agit d’une expérience de base : quiconque a déjà participé à la RA mobile a probablement vu quelque chose de similaire. L’angle le plus impressionnant est la façon dont l’expérience a été cartographiée et conçue spécifiquement pour les rues entourant les bureaux de Psychic.

Ce contenu géographique hyper-spécifique est la base de la réalité augmentée CityXR conçue pour s’adapter à et sur votre environnement réel. Pour certaines implémentations, Psychic utilise des données géographiques fournies par le gouvernement japonais pour des cas d’utilisation de développement comme celui-ci. C’est la même technologie qui a permis aux avions d’Air Race X de voler avec précision autour des bâtiments de Shibuya.

Psychic n’est pas la seule entreprise à travailler sur un système géographique pour le contenu de réalité augmentée. Le créateur de Pokemon Go, Niantic, a lancé un système de positionnement visuel pour les expériences AR « à l’échelle mondiale » en mai 2022. Un peu plus d’un an plus tard, en juin 2022, Niantic a licencié 230 employés, bien que l’entreprise affirme qu’elle reste déterminée à construire « pour la classe émergente de Appareils MR et futures lunettes AR.

De retour dans les bureaux de Psychic, on me donne les rênes pour créer ma propre expérience Styly AR, conçue dans l’éditeur Web de la plateforme avec un modèle contenant des bâtiments précis et des données géographiques pour Shibuya Crossing. Une fois chargée à Shibuya, ma création apparaîtra avec précision dans le chaos du passage pour piétons le plus fréquenté au monde grâce à la RA mobile.

Déconcerté par les choix, j’ai créé une scène contenant des gorilles gigantesques, un bateau de croisière lent et un panneau d’affichage holographique scintillant affichant une image de Hello Kitty que j’avais prise la veille. J’ai également appliqué divers effets et animations aux modèles, puis j’ai sauvegardé la scène pour la visionner à Shibuya deux jours plus tard.

Psychic comprend que, aussi performant que soit Styly en tant qu’outil de création, il n’est rien sans une bibliothèque de contenu créé par un large éventail de créateurs. Pour encourager et éduquer les créateurs, Styly a créé le projet NEWVIEW, qui vise à rassembler des personnes travaillant dans les domaines de la mode, de la musique, du cinéma et bien plus encore pour créer de nouvelles expériences en utilisant la technologie AR/VR, optimisée par Styly. L’un des diplômés du projet NEWVIEW, Keisuke Ito, a ensuite créé Sen, une expérience VR présentée dans la sélection immersive de la Mostra de Venise de cette année. Cela dit, bien que Sen soit le fruit d’une collaboration entre Ito, CinemaLeap et Psychic VR, il a finalement été créé à l’aide de Unity.

Bien que le contenu créé par les utilisateurs soit un aspect de la vision de Psychic pour les villes augmentées, un autre aspect clé, le plus susceptible de générer des revenus, est le contenu créé aux côtés de grandes sociétés et sociétés de médias. Un dimanche matin pluvieux, nous avons vu quelques expériences de réalité augmentée mobile démontrant un côté de CityXR qui s’adresse davantage aux entreprises impliquées dans les récents cycles d’investissement de Psychic, un mélange d’entreprises de médias, de télécommunications, d’immobilier et de vente au détail.

Le premier était #kzn, un concert/clip virtuel mettant en vedette Kizuna AI, un « YouTuber virtuel » populaire. L’expérience a placé Kizuna au milieu de Shibuya Crossing, où elle a dansé sur la musique alors que le monde autour d’elle passait du monde augmenté au virtuel tout en se tenant aussi haut que les bâtiments qui l’entouraient.

La seconde a été décrite comme un exemple de « couche de jeu » qui pourrait être appliquée à Shibuya Crossing, qui recouvrait les bâtiments de skins et ornait l’espace qui l’entourait avec d’autres panneaux d’affichage virtuels, graphiques et icônes faisant la publicité des NFT. L’élément « jeu », bien qu’en grande partie en japonais, était essentiellement un bâtiment transformé en machine à sous, qui pouvait être lancé en appuyant sur l’écran du téléphone.

La plupart des formes de jeu sont illégales au Japon, donc la machine à sous de l’expérience ne vendait pas d’argent réel. Néanmoins, vous pouviez toujours « décrocher le jackpot » et bien que la récompense dans le jeu ne soit pas claire, une litanie de pièces virtuelles s’est déversée sur le passage devant moi.

J’ai ensuite vu mon propre monde créé par Styly in situ à Shibuya, avec des gorilles surdimensionnés, des palmiers qui tournent et mon panneau d’affichage holographique Hello Kitty dans toute leur splendeur chaotique.

Comme pour Air Race X, la seule constante des trois expériences était l’absence totale d’occlusion. Étant donné que nous étions sur le passage piéton le plus fréquenté au monde, il y avait beaucoup de monde qui se promenait. Tout le contenu de Style AR apparaissait superposé sur eux, au lieu de les masquer correctement pour une immersion totale. C’est un autre rappel que même avant de parvenir à la promesse d’un format de lunettes persistant toute la journée, il reste d’autres obstacles technologiques que même la RA mobile n’a pas encore résolus.

Monétiser la ville

En repensant aux promesses de CityXR, il est difficile de se sentir complètement confiant ni assuré de sa direction. D’une part, il est admirable de voir Psychic s’efforcer d’établir une plate-forme permettant de créer et de présenter facilement des expériences de RA à l’échelle de la ville. D’un autre côté, cela dépend de la technologie qui atteint un point de persistance qui a été notoirement difficile à cerner. Les entreprises sont mortes en essayant.

Et même si CityXR est un concept qui s’adresse à différentes extrémités du spectre, depuis le créateur indépendant individuel jusqu’à la méga-société de médias à la recherche d’un nouvel horizon de contenu, il est difficile de voir une voie vers la monétisation qui ne s’appuie pas sur le dernier. En fin de compte, Psychic VR est une start-up qui poursuit CityXR grâce à de lourds investissements externes et, à terme, le projet devra être monétisé.

Le chemin vers la monétisation du contenu créé par les utilisateurs, comme mon expérience de base à Shibuya ou le voyage AR sous-marin dans les rues de Shinjuku, nécessite beaucoup de travail et un très grand bassin de créateurs pour être vraiment viable. Pendant ce temps, il est relativement facile de voir comment d’autres aspects qui s’adressent plus naturellement à la monétisation des panneaux d’affichage virtuels, aux jeux axés sur les transactions et à la marchandisation de l’attention et de l’espace physique pourraient devenir le point central de CityXR.

Ce qui nous ramène à l’Hyper-Réalité.

Réalité hyper augmentée

La vision de Psychic VR pour CityXR ne s’oriente pas naturellement vers une direction hyper-réalité. Il y a clairement un véritable enthousiasme et des encouragements de la part de Psychic pour ce que CityXR pourrait apporter en termes d’art créé par les utilisateurs et d’expériences immersives.

D’un point de vue pratique, cependant, il tente également de jeter une base technologique qui permettrait quelque chose de plus proche de cette imagerie écrasante et dystopique. Et, bien sûr, les sociétés qui investissent dans Psychic et CityXR sont celles qui bénéficieront le plus d’un résultat qui ressemble à l’hyper-réalité.

Ce que ce film nous a montré, c’est que si vous n’êtes pas prudent ou créatif, l’utilité de la réalité augmentée pourrait tout simplement devenir un espace publicitaire partout. Ce qui manque à Styly et CityXR, c’est une alternative convaincante, surtout compte tenu de l’absence d’occlusion robuste.

Plus tôt cette année, l’écrivain d’UploadVR, Henry Stockdale, s’est entretenu avec Keiichi Matsuda et l’a interrogé sur l’impact durable de l’hyper-réalité.

« Vous savez, ce film est sorti en 2016 », a-t-il déclaré. « J’ai commencé à le faire en 2013. Cela fait vraiment dix ans que je n’ai pas commencé à travailler dessus moi-même et c’est assez incroyable de voir comment les gens me posent encore des questions à ce sujet. »

« Lorsque je vais à des conférences ou à des événements de l’industrie, cela est parfois inclus dans la dernière diapositive du discours de certains intervenants, du genre : « N’oubliez pas, c’est ce que je ne suis pas censé faire. » Et c’est génial. C’est plus que je ne pourrais jamais imaginer, vraiment pouvoir influencer l’industrie de cette façon, pouvoir avoir ce genre d’avertissement sur ce qui pourrait arriver si nous n’y prenons pas garde. »

« C’est intéressant, même si souvent les choses qui sont critiques ou satiriques d’une manière ou d’une autre n’ont pas vraiment d’importance. [actual] effet en fin de compte, parce que je pense que les gens sont motivés par ce qui motive leur entreprise. »

À la lumière de CityXR, les commentaires de Matsuda semblent étrangement pertinents, voire peut-être un autre avertissement risquant d’être ignoré.

Divulgation : Les vols, l’hébergement et la nourriture ont été payés par Psychic VR pour la tournée médiatique de trois jours.