Le prototype de gant haptique de science-fiction Metas vous permet de ressentir des objets VR à l’aide de poches d’air

Vous ne pouvez pas caresser un chien avec les nouveaux gants de réalité virtuelle de haute technologie de Metas. Mais les chercheurs se rapprochent.

Meta (anciennement Facebook) est connu pour ses mouvements de grande envergure dans la réalité virtuelle et augmentée. Depuis sept ans, cependant, il travaille tranquillement sur l’un de ses projets les plus ambitieux à ce jour : un gant haptique qui reproduit des sensations telles que saisir un objet ou passer la main le long d’une surface. Bien que Metas ne laisse pas le gant sortir de sa division de recherche Reality Labs, la société le montre pour la première fois aujourd’hui, et elle considère l’appareil aux côtés d’autres technologies portables comme l’avenir de l’interaction VR et AR.

À un niveau simplifié, le prototype haptique Metas est un gant doublé d’une quinzaine de coussinets en plastique striés et gonflables appelés actionneurs. Les coussinets sont agencés pour s’adapter le long de la paume du porteur, sous ses doigts et au bout de ses doigts. Le gant agit également comme un contrôleur VR. Le dos comporte de petits marqueurs blancs qui permettent aux caméras de suivre la façon dont les doigts se déplacent dans l’espace, et ses capteurs internes captent la façon dont les doigts du porteur se plient.

Lorsque vous mettez le gant et entrez dans une expérience VR ou AR, un système de contrôle sophistiqué ajuste le niveau de gonflage, créant une pression sur différentes parties de votre main. Si vous touchez un objet virtuel du bout des doigts, vous ressentirez la sensation de cet objet qui s’enfonce dans votre peau. Si vous saisissez un objet virtuel, les longs actionneurs à doigts se raidissent, créant une sensation de résistance. Ces sensations s’associent à des signaux visuels et sonores pour produire l’illusion d’un toucher physique.

La technologie s’appuie sur le domaine relativement nouveau de la robotique douce, remplaçant les moteurs volumineux par de minuscules valves d’air. Meta y travaille presque depuis l’acquisition de la startup Oculus VR en 2014. Elle a développé son premier prototype à un doigt avec un seul actionneur en 2015.

L’une des premières expériences dont se souvient Michael Abrash, directeur de Reality Labs, a été de regarder une plaque virtuelle depuis l’intérieur d’un casque VR où un seul actionneur, combiné à l’image virtuelle et au son du frottement de la céramique rugueuse, était incroyablement convaincant. J’ai vu l’assiette, et j’ai vu mon doigt sur l’assiette, et j’ai entendu ce genre de bruit de grattage à travers elle et j’ai ressenti la vibration, dit-il. Et je vais vous dire, je passais mon doigt sur une assiette en céramique.

Le toucher simulé n’est pas un phénomène entièrement nouveau. Même en combinant la réalité virtuelle avec quelque chose d’aussi simple que les vibrations du contrôleur, les gens ont davantage l’impression de toucher quelque chose, et de nombreuses entreprises ont travaillé sur des dispositifs portables qui permettent de suivre les mains des utilisateurs ou de fournir une sensation haptique. Certains intègrent même des sensations de température, ce que Reality Labs ne privilégie pas.

Mais Meta est sur le point de commercialiser des gants haptiques de masse d’une manière que d’autres entreprises ne peuvent pas faire. La plupart des fabricants d’appareils haptiques vendent des produits spécialisés pour les institutions militaires, industrielles ou universitaires. En revanche, Meta produit le système Quest VR dominant axé sur le consommateur et investit des milliards de dollars dans la construction d’un métaverse qui intègre la réalité virtuelle et la réalité augmentée. S’il lance un système de gants haptiques, Meta peut garantir que le système fonctionnera sur le Quest et encourager les développeurs d’applications à l’utiliser.

Reality Labs imagine les gants comme l’une des multiples méthodes de contrôleur pour les futurs lunettes et casques, aux côtés de solutions plus légères basées sur l’électromyographie ou l’EMG, un système qui lit les signaux nerveux sur votre bras et les traduit en entrée numérique. Meta a acquis la société de bracelets EMG CTRL-Labs en 2019, et l’équipe EMG travaille séparément de l’équipe de conception haptique, bien que les deux technologies puissent facilement se chevaucher.

[Doug] Engelbart et Xerox PARC sont la seule fois où fondamentalement la façon dont nous interagissons avec le monde numérique a jamais changé, dit Abrash se référant à l’invention de la souris et de la conception d’ordinateur de bureau Alto dans les années 1970, quelque chose qui a aidé à définir le cours de la vie personnelle moderne. l’informatique. Les lunettes AR vont exiger que cela se produise. Vous n’allez pas vous promener avec un clavier et une souris. Vous n’allez pas sortir votre téléphone pour interagir avec lui. Pour certaines tâches, vous voudrez peut-être un simple bracelet. Pour d’autres, vous voudriez des sensations tactiles plus complètes.

Cependant, il existe encore de nombreux obstacles à la production de gants haptiques prêts à l’emploi.

D’une part, l’équipe souhaite augmenter considérablement la densité des actionneurs des gants, passant de dizaines à des centaines voire des milliers en quelques années. À l’heure actuelle, les gants peuvent offrir une sensation de contours d’objets, mais pas de distinctions fines entre les surfaces, ils s’appuient plutôt sur le pouvoir suggestif de l’audio et des images. Vous pourriez caresser un chien, mais vous ne sentiriez pas la texture, explique Katherine Healy, ingénieure de Reality Labs. Vous avez besoin d’un actionnement à haute densité pour pouvoir vraiment ressentir cette sensation, et ce gant ne le fait pas. Meta n’accorde peut-être pas la priorité à quelque chose d’aussi spécifique que la fourrure, mais il souhaite produire plus largement une sensation de haute qualité.

D’un autre côté ou plus littéralement, la même main que les gants ont besoin d’une réduction de taille spectaculaire. Le prototype de Metas est plus svelte que quelque chose comme un Nintendo Power Glove des années 90, mais cela ne veut pas dire grand-chose. Healy dit que l’appareil doit être suffisamment léger pour que les gens aient l’impression qu’ils peuvent normalement interagir avec le monde réel ainsi qu’avec le monde virtuel, et il doit fonctionner entièrement sans fil, plutôt que de s’appuyer sur une attache comme c’est le cas actuellement.

Pour rendre les choses encore plus compliquées, les gants haptiques doivent s’adapter précisément à la peau du porteur. Cela pourrait nécessiter la conception de versions différentes pour chaque acheteur, éventuellement par le biais d’un processus tel que le tricot 3D, qui peut produire un vêtement à partir d’un design numérique personnalisé. Ensuite, il y a des questions pratiques comme comment nettoyer un gant de haute technologie en ce moment, il est soigneusement essuyé avec de l’alcool. Avec les vêtements en général, nous nous attendons à ce qu’ils soient lavables, dit Healy. Nous aimerions pouvoir créer un gant lavable. Comment? Nous ne savons pas encore. Mais cela fait partie de notre vision.

Si les gants sont commercialisés, ils seront confrontés aux mêmes problèmes de confidentialité et de sécurité que les autres dispositifs portables qui collectent des informations biométriques. Abrash compare l’utilisation de technologies telles que les bracelets EMG à la frappe sur un clavier, ce qui est rarement décrit comme une menace potentielle. Mais la technologie portable peut analyser le mouvement physique des personnes à un niveau précis, tandis que même les modèles de frappe de base peuvent prédire l’apparition de maladies comme la maladie de Parkinson. Meta devra établir des politiques régissant la quantité de ces données qui quittent les appareils des utilisateurs et qui d’autre y a accès.

Pour l’instant, l’équipe essaie juste de déterminer à quel point le réel est réel assez pour VR tactile. L’une des choses intéressantes à propos des gants haptiques est qu’évidemment, nous ne pouvons pas reproduire exactement la réalité, ce qui est différent de l’audiovisuel, explique Abrash. Un écran super dense pourrait être presque distinct d’une image réelle, et une onde sonore pourrait capturer la sensation d’entendre quelqu’un parler. Mais Meta ne peut pas faire de manière réaliste un gant qui empêchera votre main de passer par une table virtuelle. Au lieu de cela, il doit trouver le point où vous suspendez votre incrédulité et acceptez que la table soit là, même si objectivement, cela ressemble plus à de la jello qu’à du bois dur. Il y a une nouvelle physique où rien n’est solide à grande échelle.

Et pour le chien ? Il me semble probable que si les gants haptiques fonctionnent, vous pourrez caresser un chien, mais ce sera un chien virtuel et ce sera une expérience légèrement différente, dit Abrash. Mais fondamentalement émotionnellement, expérientiellement, cela semblera réel.