Renforcement de la réalité augmentée et virtuelle pour la maintenance militaire

Dans mon précédent Nextgov chronique, j’ai eu l’occasion d’interviewer le directeur général d’une entreprise qui utilise l’intelligence artificielle pour aider l’armée à planifier ses calendriers de maintenance. Ce programme utilise l’IA d’une très bonne manière qui joue sur ses points forts, à savoir sa capacité à prendre en compte des milliers de points de données, bien plus qu’un humain ne le pourrait jamais, pour élaborer un plan d’action pour la maintenance qui maximise à la fois l’efficacité et la sécurité. Cependant, lorsque vient le temps d’effectuer la maintenance, ces tâches doivent être déléguées à un humain. Mais que se passe-t-il si ces tâches physiques sont aussi extrêmement compliquées ?

Le CV-22 Osprey est un parfait exemple d’avion militaire à la fois révolutionnaire et compliqué à entretenir. Mis en service pour la première fois en 2007, il peut servir à la fois d’hélicoptère et d’avion. En plus d’être vraiment incroyable à regarder, sa polyvalence dans presque tous les environnements l’a mis en service dans l’Air Force et les Marines. Les balbuzards ont participé à des missions de combat en Irak, en Libye, au Koweït et en Afghanistan. Mais il a également connu pas mal de problèmes en raison de la difficulté d’entretien de l’avion. Selon un rapport en Magazine de la puissance marine, en 2019, quatre Osprey CV-22 sur 10 en service actif n’étaient pas disponibles pour le combat. Il y avait une variété de raisons citées, mais les problèmes d’entretien étaient une cause principale.

Une société appelée GridRaster essaie d’aider à améliorer la situation en utilisant à la fois des programmes de réalité augmentée (AR) et de réalité virtuelle (VR) conçus pour les équipes de maintenance chargées de la maintenance de l’avion. Ils travaillent avec l’Air Force Special Operations Command sur cet effort.

J’ai pu interviewer le co-fondateur et COO de GridRaster Dijam Panigrahi sur l’apport de technologies comme la RA et la VR, qui sont le plus souvent utilisées dans les jeux vidéo comme « Pokemon » ou « The Witcher » de nos jours, dans le monde pratique de la maintenance des avions.

Nextgov : La plupart des plates-formes de réalité virtuelle nécessitent un casque et de nombreux autres équipements spéciaux, tandis que la réalité augmentée peut fonctionner sur un smartphone ou une tablette. Mais vous avez trouvé un moyen de prendre en charge les deux technologies via une seule plate-forme ?

Origine: Oui, notre plate-forme peut prendre en charge les applications AR et VR. Nous y parvenons en fournissant une API unifiée. En VR, nous pouvons diffuser des expériences à une latence ultra-faible sur le réseau en très haute fidélité, garantissant le réalisme. Pour la réalité augmentée, nous utilisons également les flux de caméras et fournissons un alignement de haute précision des objets virtuels dans le monde physique.

Quelques exemples d’applications appropriées sont la formation de pilotes dans un environnement ultra-réaliste pour la réalité virtuelle puis la maintenance d’avions en utilisant la réalité augmentée.

Nextgov : Quel est le secret pour que cela fonctionne avec les deux technologies, car elles sont assez différentes ? En VR, les utilisateurs font l’expérience d’un monde entièrement virtuel où vous pourriez presque oublier qu’il s’agit d’un environnement rendu. La réalité augmentée, en revanche, est totalement basée sur le monde réel, que les utilisateurs voient à travers la caméra de leur appareil. Le rendu se passe en plus de cela, que ce soit ses monstres dans un jeu ou les spécifications techniques d’une pièce CV-22 Osprey pour les équipes de maintenance.

Origine: GridRaster y parvient en créant un solide portefeuille de brevets autour de ses principales avancées techniques, qui sont capturées par trois composants clés de la plate-forme.

La première est la cartographie spatiale 3D. En diffusant les données brutes de la caméra, y compris les données de couleur RVB et, le cas échéant, les données de profondeur de l’appareil au serveur GridRaster, nous obtenons une reconstruction de scène 3D haute fidélité, une segmentation de scène et une reconnaissance d’objet 3D à l’aide de la vision 3D et de l’IA basée sur l’apprentissage en profondeur.

La deuxième partie est la vision par ordinateur 3D AI. C’est là que la segmentation sémantique et l’identification des objets sont effectuées sur le monde 3D reconstruit, et les objets d’intérêt sont enregistrés dans la base de données des modèles 3D et des jumeaux numériques.

Enfin, nous utilisons un rendu à faible latence. Le composant de rendu GridRasters rend l’objet ou la scène 3D à une fréquence d’images élevée et à une faible latence des photons de mouvement avec un rendu et une reconstruction prédictifs sur l’appareil. La cartographie spatiale du monde réel est continuellement mise à jour à l’aide de la vision par ordinateur 3D et le modèle est rendu précisément sur l’objet correspondant selon les besoins.

Nextgov : Pourquoi l’Air Force cherche-t-elle à aider ses techniciens travaillant dans les programmes de maintenance d’Osprey ?

Origine: La complexité du câblage de l’avion pour le CV-22 Osprey continue d’augmenter avec la mise en service et le déploiement de communications avancées, de systèmes intégrés de survie des aéronefs et de systèmes de collecte de données d’aéronefs. Les professionnels de la maintenance sont tenus de connaître toutes les variantes des systèmes. Les techniciens doivent maintenir des installations de câblage, des routages, des fixations et des emplacements de réduction extraordinairement complexes. La moindre erreur s’accompagne d’un risque de sécurité extrême et d’une perte potentielle de l’avion.

Le câblage de la nacelle CV-22 a été un facteur de dégradation majeur de l’état de préparation, 90 % des travaux de maintenance étant effectués en relation avec la nacelle. Le Commandement des opérations spéciales de l’Air Force a recherché des solutions pour améliorer la précision et la vitesse des installations sur le terrain et une approche simplifiée de la maintenance soutenue des faisceaux de câbles.

Les technologies de réalité augmentée changent la donne pour atteindre les objectifs de préparation aux missions.

Nextgov : La version militaire du programme de maintenance est toujours en cours de test et d’évaluation, mais vous utilisez actuellement une version civile. Dans ce système, les équipes de maintenance sont en mesure de voir les configurations de câblage appropriées rendues sur leurs appareils, puis de les aligner sur la réalité à l’aide de caméras embarquées pour vérifier leur travail et obtenir de l’aide en cas de besoin. Cela a-t-il amélioré la précision des techniciens ?

Origine: Absolument. Le support est un outil si puissant qu’il peut aider un novice à travailler à un niveau plus expert car toutes les instructions sont superposées juste devant lui avec toutes les informations contextuelles. Nous avons vu dans des scénarios similaires dans une grande entreprise de l’aérospatiale et de la défense où des techniciens avec à peine un an d’expérience ont pu surpasser des techniciens avec quatre ou cinq ans d’expérience. C’est également un outil absolument incroyable pour combler le fossé des compétences qui s’est accumulé dans la plupart des organisations industrielles telles que la fabrication.

Nextgov : Étant à la pointe de cet effort, avez-vous des prédictions sur l’avenir de la technologie AR et VR en termes d’applications militaires ?

Origine: La réalité augmentée et la réalité virtuelle ont déjà été établies comme un excellent moyen de modélisation, de simulations et de formation. Et la RA sera utilisée de manière encore plus importante pour améliorer le maintien en puissance des aéronefs. Au fur et à mesure que la technologie évolue, nous allons voir de nombreux autres cas d’utilisation.

Je suis particulièrement enthousiasmé par les holodecks à réalité mixte, où les officiers supérieurs et les décideurs des centres de commandement centraux peuvent se téléporter vers des avant-postes distants avec accès à toutes les informations contextuelles et prendre des décisions collaboratives sur les missions. On n’en est pas trop loin. Je pense que ce sera possible au cours des trois à quatre prochaines années.

John Breeden II est un journaliste et critique primé avec plus de 20 ans d’expérience dans le domaine de la technologie. Il est le PDG de la Bureau des rédacteurs techniques, un groupe qui crée du contenu de leadership éclairé technologique pour les organisations de toutes tailles. Twitter : @LabGuys