Google AI vous permet de « voler » dans une photographie de paysage
Google a créé un programme dans lequel le spectateur peut « survoler » une photo fixe à l’aide de modèles 3D artificiellement intelligents (IA).
Dans un nouvel article intitulé InfiniteNature-Zero, les chercheurs prennent une photo de paysage puis utilisent l’IA pour « voler » dedans comme un oiseau, avec un logiciel intelligent générant un faux paysage grâce à l’apprentissage automatique.
Face à cette tâche ardue, les chercheurs ont dû fournir des informations qu’une photo fixe ne fournit pas, telles que les zones cachées d’une photo. Par exemple, un endroit caché derrière des arbres doit être généré. Cela peut être fait par « inpainting », l’IA simulera ce qu’elle pense être là par le processus d’apprentissage automatique avec d’énormes ensembles de données.
De même, pour obtenir l’effet de vol, l’IA doit générer ce qui se trouve en dehors des frontières de la photographie. C’est ce qu’on appelle la « surimpression » et ressemble beaucoup à l’outil sensible au contenu de Photoshop où l’IA générera une image plus large basée sur la photo originale et aidée par son apprentissage approfondi à partir d’ensembles de données massifs.
Comme le savent tous ceux qui ont déjà zoomé sur une photo, la qualité de l’image s’effondre au fur et à mesure qu’elle se décompose en pixels flous. Pour éviter que cela ne se produise, Google utilise la superrésolution, un processus dans lequel l’IA synthétise une image bruyante et pixélisée en une image nette.
Le programme, que les chercheurs ont nommé « Génération de vues perpétuelles de scènes naturelles à partir d’images uniques », combine ces trois techniques : inpainting, outpainting et superrésolution, pour créer l’effet de vol.
Lors de précédentes tentatives des chercheurs, l’image se décomposait presque immédiatement lorsque le spectateur arrivait. Mais dans le dernier article, crédité de Google Research, de l’Université Cornell et de l’UC Berkeley, l’image se maintient beaucoup mieux et plus longtemps. Cependant, il est encore loin d’être parfait mais offre une grande amélioration par rapport aux efforts précédents.
Le dernier article représente également un pas en avant dans la mesure où les précédents générateurs de vues perpétuelles étaient entraînés par des séquences de drones réelles, alors que ces nouveaux exemples ont été créés à partir de simples photographies de paysages.
« Cette IA est tellement plus intelligente que la précédente publiée il y a à peine un an », déclare Kroly Zsolnai-Fehr, de Two Minute Papers.
« Et cela nécessite des données de formation beaucoup plus faciles à produire en même temps. Et, je me demande ce que nous serons capables de seulement deux autres articles sur la ligne. Trop cool! »
Recherche sur l’IA de Google
L’équipe d’intelligence artificielle de Google utilise les champs de rayonnement neuronal (NeRF) qui permettaient auparavant aux chercheurs de créer des modèles 3D détaillés d’emplacements du monde réel et de débruiter puissamment les images, permettant ainsi à l’utilisateur de « voir dans le noir ».
Cependant, les programmes ci-dessus s’appuyaient sur un grand cache d’images de l’emplacement qu’il générait, alors que le nouveau générateur de vues perpétuelles n’avait besoin que d’une seule image.
Plus tôt cette année, PetaPixel a rapporté que Samsung Labs développait un moyen de créer des avatars haute résolution, ou deepfakes, à partir d’une seule image fixe appelée MegaPortraits.