Des chercheurs de Rowan créent une réalité virtuelle et augmentée pour l’armée américaine

Dans les scénarios d’entraînement et les combats réels, les membres de l’armée doivent prendre des décisions cruciales sur la base d’informations limitées tout en étant exposés aux éléments. Pour les aider à se préparer à ces conditions, en particulier les troupes logées dans des tourelles de mitrailleurs sur des véhicules blindés et tactiques, une équipe de recherche interdisciplinaire de l’Université Rowan développe un système de réalité virtuelle (VR) et d’intelligence artificielle conçu pour assurer la sécurité du personnel militaire, pendant les combats. et de la formation.

« L’atout le plus important de la nation est le soldat », a déclaré le Dr Shreekanth Mandayam, professeur et coordonnateur des études supérieures au Département de génie électrique et informatique de la Collège d’ingénierie Henry M. Rowan et chercheur principal sur le projet. « L’un des endroits où le soldat est le plus exposé au danger est à l’intérieur d’une tourelle. Ce projet vise à trouver des moyens d’améliorer la capacité de survie de la personne la plus vulnérable aux dommages.

Le projet de 2,4 millions de dollars est financé par le Commandement du développement des capacités de combat de l’armée américaine – Centre d’armement à Picatinny Arsenal, NJ

La portée du projet est quadruple : créer un environnement de réalité virtuelle réaliste et précis, développer un système d’intelligence artificielle pour aider le personnel militaire à prendre des décisions, créer un système de communication entre l’opérateur du véhicule et le tireur et créer une interface conviviale pour chacun de ces systèmes.

Tout d’abord, Mandayam et son équipe d’étudiants en génie et de professeurs du Rowan Virtual Reality Center créeront une simulation VR où l’utilisateur adoptera le point de vue du tireur dans la tourelle. Les chercheurs s’entretiendront avec des responsables de l’armée pour connaître toute l’étendue des expériences que les troupes sont susceptibles de rencontrer.

Pendant ce temps, une équipe d’étudiants et de professeurs d’art biomédical, dirigée par Amanda Almon, professeure agrégée et coordonnatrice de programme du baccalauréat en beaux-arts en art et visualisation biomédicale de la Collège de communication et d’arts créatifs Ric Edelman, créera des storyboards, des illustrations et des modèles 3D de l’environnement visuel dans la simulation VR. Pour représenter avec précision les opérations, Almon et son équipe collaboreront avec des experts et référenceront des cartes de terrain, des vidéos et des photos du paysage et de l’architecture, des conditions météorologiques historiques et des environnements de champ de bataille.

Étant donné que les équipes d’art et de réalité virtuelle travaillent en étroite collaboration pour fabriquer un monde virtuel entier, chaque domaine d’experts doit apprendre la langue vernaculaire de l’autre discipline afin de collaborer, a déclaré Almon.

« L’un des défis est la communication interdisciplinaire », a déclaré Almon. « Si nous pouvons combler ces lacunes, c’est là que réside l’enthousiasme de la subvention. Ensuite, nous pouvons vraiment faire des choses incroyables parce que nous utilisons tous nos talents et compétences collectifs. »

Dans le scénario de réalité virtuelle, les utilisateurs seront confrontés à une multitude de menaces, du terrain rocheux à l’action ennemie. Une équipe d’intelligence artificielle, dirigée par le Dr Nidhal Bouaynaya, doyen associé à la recherche et aux études supérieures et professeur au Département de génie électrique et informatique du Henry M. Rowan College of Engineering, construira un système d’IA qui identifiera les éléments connus et menaces inconnues dans le scénario et évaluer plus en détail s’il faut ou non s’engager.

« Il peut en fait prédire ce qui va se passer ou prédire si la situation est sûre ou non », a déclaré Bouaynaya. «Cela améliorera de nombreuses opérations et les rendra également plus sûres pour nos militaires, en particulier en ce qui concerne les menaces dans les scénarios d’engagement. Vous disposez d’un système d’IA qui détecte tout ce qui vous entoure, intègre et traite toutes les informations des différents capteurs et prend des décisions en temps réel.

La prochaine facette du projet consiste à créer un système de communication qui relaie efficacement ces informations d’évaluation de la menace non seulement au tireur dans la tourelle, mais à d’autres qui en ont besoin, tels que les généraux et les opérateurs de véhicules tactiques.

« Quelle est la meilleure information à donner en premier et dans quel ordre présentez-vous les informations pour qu’une personne dans une situation très stressante puisse les comprendre et pouvoir agir en conséquence ? » dit Mandaya.

Dr Polly Tremoulet, professeure agrégée de psychologie au Collège des sciences et mathématiques, utilisera des concepts psychologiques et techniques pour déterminer les moyens les plus efficaces de présenter des informations aux utilisateurs, de l’évaluation des menaces à la fourniture d’une vue à 360 degrés du paysage. À travers des entretiens et des observations d’exercices d’entraînement où des tireurs de tourelle expérimentés interagissent avec des intérieurs de véhicules réels ou simulés, Tremoulet et son équipe détermineront quelles informations afficher et comment (comme sur un écran de casque ou un écran dans la tourelle).

« Nous ne voulons pas les submerger. Nous ne voulons pas présenter trop d’informations », a déclaré Tremoulet. « Nous essayons de trouver cet équilibre entre s’il y a quelque chose d’important, comment attirer leur attention avec cet affichage visuel, mais pas les aveugler parce qu’ils cessent de surveiller quelque chose qui est également important. »

Les deux premières années du projet comprendront la création du scénario virtuel, des systèmes d’IA et de communication et de l’interface utilisateur graphique. Ensuite, le système sera testé sur le terrain. Pris ensemble, le travail d’intégration se traduira par un scénario de réalité virtuelle et augmentée pour la formation à l’aide d’une technologie de pointe.

« C’est un projet complexe qui rassemble des experts de différents collèges et disciplines pour résoudre un problème très critique et important pour protéger nos soldats », a déclaré Mandayam.