Les expressions faciales pourraient être utilisées pour interagir en réalité virtuelle
Quand quelqu’un tire sur un casque de réalité virtuelle, il est prêt à plonger dans un monde simulé. Ils pourraient être en train de traîner dans VRChat ou de couper des rythmes dans Beat Saber. Quoi qu’il en soit, interagir avec ce monde implique généralement des contrôleurs manuels. Mais la nouvelle technologie de réalité virtuelle ou VR en provenance d’Australie est mains libres. Les expressions faciales permettent aux utilisateurs d’interagir avec l’environnement virtuel.
Cette configuration pourrait rendre les mondes virtuels plus accessibles aux personnes qui ne peuvent pas utiliser leurs mains, explique Arindam Dey. Il étudie l’interaction homme-machine à l’Université du Queensland à Brisbane. D’autres technologies de réalité virtuelle mains libres ont permis aux gens de se déplacer dans des mondes virtuels en utilisant des tapis roulants et des eye-trackers. Mais tout le monde ne peut pas marcher sur un tapis roulant. Et la plupart des gens trouvent difficile de fixer un endroit suffisamment longtemps pour que le système VR enregistre l’action. Faire simplement des grimaces peut être un moyen plus simple pour les personnes handicapées de naviguer dans la réalité virtuelle.
Les expressions faciales pourraient également améliorer l’expérience VR pour les personnes qui peuvent utiliser des contrôleurs manuels, ajoute Dey. Ils peuvent permettre des interactions spéciales que nous faisons avec nos visages, comme sourire, embrasser et faire des bulles.
L’équipe Deys a partagé ses conclusions en avril Journal international d’études informatiques humaines .
Face aux nouvelles technologies
Dans le nouveau système des chercheurs, les utilisateurs de réalité virtuelle portent une casquette parsemée de capteurs. Ces capteurs enregistrent l’activité cérébrale. Les capteurs peuvent également capter les mouvements du visage qui signalent certaines expressions. Les données faciales peuvent ensuite être utilisées pour contrôler le mouvement des utilisateurs dans un monde virtuel.
Les expressions faciales signalent généralement des émotions. L’équipe de Deys a donc conçu trois environnements virtuels à explorer pour les utilisateurs. Un environnement appelé happy demandait aux participants d’attraper des papillons avec un filet virtuel. Neutral leur a demandé de ramasser des objets dans un atelier. Et dans celui qui fait peur, ils ont dû tirer sur des zombies. Ces environnements ont permis aux chercheurs de voir si des situations conçues pour provoquer certaines émotions affectaient la capacité de quelqu’un à contrôler la réalité virtuelle par des expressions.
Dix-huit jeunes adultes ont testé la technologie. La moitié d’entre eux ont appris à utiliser trois expressions faciales pour se déplacer dans les mondes virtuels. Un sourire les fit avancer. Un froncement de sourcils les fit s’arrêter. Et pour accomplir une tâche, ils serraient les dents. Dans le monde heureux, cette tâche consistait à tirer un filet. Dans l’environnement neutre, il ramassait un objet. Dans le monde effrayant, il tirait sur un zombie.
L’autre moitié des participants a interagi avec les mondes virtuels à l’aide de manettes. C’était le groupe de contrôle. Cela a permis aux chercheurs de comparer l’utilisation des expressions faciales avec la forme la plus courante d’interaction VR.
Après une formation, les participants ont passé quatre minutes dans chacun des mondes virtuels. Après avoir visité chaque monde, les participants ont répondu à des questions sur leur expérience : dans quelle mesure leur manette était-elle facile à utiliser ? À quel point se sentaient-ils présents dans ce monde ? À quel point cela semblait-il réel? Etc.
L’utilisation d’expressions faciales a permis aux participants de se sentir plus présents dans les mondes virtuels. Mais les expressions étaient plus difficiles à utiliser que les contrôleurs manuels. Les enregistrements du capuchon chargé de capteurs ont montré que le cerveau des personnes utilisant des expressions faciales travaillait plus dur que celui de ceux qui utilisaient des contrôleurs manuels. Mais cela pourrait simplement être dû au fait que ces personnes apprenaient une nouvelle façon d’interagir en réalité virtuelle. Peut-être que la méthode d’expression faciale deviendrait plus facile avec le temps. Il est important de noter que les paramètres virtuels destinés à déclencher différentes émotions n’affectaient pas la capacité de quelqu’un à contrôler sa réalité virtuelle à l’aide d’expressions faciales.
Travail à faire
Cette recherche repousse les limites de l’interaction mains libres en réalité virtuelle, déclare Wenge Xu. Il étudie les interactions homme-machine à la Birmingham City University en Angleterre. Il n’a pas participé à l’étude. C’est nouveau et excitant, dit-il. Mais des recherches supplémentaires sont nécessaires pour améliorer la convivialité des entrées basées sur l’expression faciale.
Les chercheurs prévoient d’autres tests et améliorations. Par exemple, tout le monde dans cette étude était valide. À l’avenir, Dey espère tester la technologie avec des personnes handicapées.
Il prévoit également d’explorer des moyens de faciliter l’interaction par le biais d’expressions faciales. Cela peut impliquer de remplacer les capuchons chargés de capteurs par une autre technologie de lecture de visage. Une idée : utiliser des caméras qui capturent les mouvements du visage ou les gestes du visage, dit-il. Ou des capteurs pourraient être intégrés dans le coussin en mousse d’un casque VR. Dey imagine qu’un jour, les gens formeront des systèmes de réalité virtuelle en utilisant leurs propres ensembles d’expressions.
La technologie m’a aidé tout au long du chemin [in a] monde qui n’était pas forcément fait pour moi, dit Tylia Flores. En tant que personne atteinte de paralysie cérébrale, les méthodes standard d’interaction ne sont pas toujours disponibles pour elle. Elle pense que la nouvelle technologie pourrait rendre la réalité virtuelle plus accessible aux personnes dont les mouvements physiques sont limités.