Un étudiant de l’USC Viterbi crée un système de boutons de réalité virtuelle – USC Viterbi | École d’ingénieurs

Le projet de Cami Gomez combine des graphismes VR avec des modèles imprimés en 3D pour simuler la sensation d’appuyer sur un bouton.

Sophomore Cami Gomez, comme des milliers d’autres étudiants, a eu une première année non conventionnelle à l’USC. Sa première année était complètement virtuelle. Mais cela ne l’a pas empêchée de trouver l’opportunité d’ingénierie pratique de ses rêves.

Ma première année était entièrement en ligne et je craignais de ne pouvoir poursuivre aucune opportunité de recherche, a déclaré Gomez. Mais j’ai fini par trouver une chance de développer mes compétences en génie électrique et informatique grâce au laboratoire HaRVI du professeur Heather Culbertson.

Grâce au HaRVI Lab, abréviation de Haptics, Robotics et Virtual Interaction Lab, Gomez a travaillé sur le développement de la pression sur les boutons virtuels. Le projet a combiné des graphiques VR avec des modèles imprimés en 3D pour simuler la sensation d’appuyer sur un bouton.

Gomez, une majeure en génie électrique et informatique, a passé 10 semaines à travailler sur le projet à distance avec l’aide d’un mentor étudiant diplômé, Sandeep Kollanur, titulaire d’un doctorat en informatique. étudiant.

Sandeep et le professeur Culbertson ont été et continuent d’être des mentors incroyables pour moi, a déclaré Gomez. Ils m’ont aidé à chaque étape de ce projet.

Développer un esprit d’ingénierie

L’intérêt de Gomez pour l’ingénierie informatique a commencé bien avant son travail sur le projet HaRVI. Elle fait remonter cet intérêt au lycée.

Mon professeur de calcul au lycée a été la première personne qui m’a poussé à essayer l’ingénierie, a déclaré Gomez. Elle m’a même donné le numéro d’un ancien ingénieur à contacter. J’étais incertain au début, mais je les ai contactés. Je me suis vraiment intéressé à leur travail dans les laboratoires de réalité virtuelle de Facebook, alors j’y ai fait un stage pendant ma première année de lycée.

Grâce à ce stage, Gomez a rencontré une variété de mentors qui l’ont aidée à cultiver sa passion pour l’ingénierie. Alors qu’elle continuait à suivre cet intérêt, Gomez a réalisé à quel point ses autres intérêts étaient pris en compte dans l’ingénierie.

J’ai l’impression d’avoir une grande variété d’intérêts. Par exemple, j’aime les arts visuels et la musique, deux choses qui sont souvent considérées comme très différentes de l’ingénierie, a expliqué Gomez. Mais, j’ai appris que l’ingénierie nécessite un esprit créatif. L’ingénierie consiste à trouver des solutions aux problèmes, et mon expérience dans les domaines créatifs m’a aidé à résoudre les problèmes.

« L’ingénierie consiste à trouver des solutions aux problèmes, et mon expérience dans les domaines créatifs m’a aidé à résoudre les problèmes. Cami Gomez.

Apprendre quelque chose de nouveau

Au fur et à mesure qu’elle acquérait plus d’expérience en ingénierie, Gomez a suivi cet intérêt à l’université. Elle a rejoint l’USC en tant qu’étudiante de première année en génie électrique et informatique en 2020. Gomez a commencé son travail sur le projet virtuel de poussée de bouton l’été suivant, par le biais du programme USCs Robotics and Autonomous Systems (REU).

Gomez a exprimé son intérêt à travailler sur ce projet en raison de la nature pratique de ses tests et applications. L’haptique, la science de la transmission et de la compréhension de l’information par le toucher, est à la base de ce projet. Le fait d’appuyer sur un bouton virtuel implique autant des objets tactiles que de la réalité virtuelle.

Je n’avais jamais travaillé avec l’haptique auparavant, donc cela semblait être une excellente occasion d’apprendre quelque chose de nouveau, a déclaré Gomez. Et, une fois que j’ai commencé à en apprendre davantage sur l’haptique, j’ai réalisé à quel point cela m’intéressait.

Simuler un clic sur un bouton

Le projet lui-même est constitué de deux appareils interactifs portés sur les mains des utilisateurs. La main gauche de l’utilisateur appuie sur le bouton virtuel et le clic sur le bouton est simulé sur la main droite de l’utilisateur. L’appareil de gauche s’appelle un contrôleur Leap Motion.

La plupart des appareils VR, tels que l’Oculus Quest 2 et le casque Sony Playstation VR, sont généralement portés sur le visage. Cependant, Gomez décrit le contrôleur Leap Motion comme une paire de lunettes VR pour vos mains.

Sur sa main droite, l’utilisateur porte un appareil contenant un actionneur et un amplificateur. Lorsque le contrôleur Leap Motion détecte une pression sur un bouton virtuel, l’actionneur se déplace sur l’appareil de droite. Cela simule un clic sur un bouton.

Le travail de Cami Gomez se concentre sur les outils et techniques de réalité virtuelle et d’haptique.

Pendant la durée du programme REU, Gomez a principalement utilisé des objets disponibles autour de sa maison pour créer le système. Cependant, avec l’aide de Kollanur et du professeur Culbertson, elle a commencé à reconstruire le projet en personne au cours du semestre d’automne 2021.

La fin du projet a également été en quelque sorte le début du projet, a déclaré Gomez. Mon objectif pour l’été était que l’appareil détecte une pression sur un bouton et simule un clic. J’ai pu atteindre cet objectif. Maintenant, le plan est d’améliorer ce système.

Elle a également réfléchi à la manière d’étendre ce projet au-delà de la simple pression de boutons. Déplacer les curseurs, tourner les boutons rotatifs et cliquer sur d’autres types de boutons ont tous des sensations uniques. En imprimant en 3D des modèles de ces objets et en interagissant avec eux, l’équipe détermine comment reproduire virtuellement ces sensations.

Découvrez le monde de manière tactique

Actuellement, la réalité virtuelle est principalement utilisée dans l’industrie du jeu vidéo, car les casques offrent aux joueurs une expérience de jeu beaucoup plus immersive que les téléviseurs ou les écrans d’ordinateur. Cependant, Gomez envisage que la réalité virtuelle ait également des applications dans le domaine médical.

La réalité virtuelle peut permettre aux gens d’interagir avec des objets qu’ils ne pourraient normalement pas voir ou toucher en personne, explique Gomez. À mesure que les technologies VR progressent, les environnements virtuels contenant des objets interactifs imprimés en 3D deviennent de plus en plus réalistes. Cela peut être mis à profit pour donner aux patients hospitalisés une chance de découvrir le monde de manière tactique. C’est ce que j’espère que ce projet jettera les bases.

Publié le 5 juillet 2022

Dernière mise à jour le 5 juillet 2022