Les lunettes intelligentes Metas deviennent artificiellement intelligentes. Nous les avons emmenés faire un tour.

Signe que l’industrie technologique devient de plus en plus étrange, Meta prévoit bientôt de publier une grande mise à jour qui transforme les Ray-Ban Meta, ses lunettes d’appareil photo qui enregistrent des vidéos, en un gadget que l’on voit uniquement dans les films de science-fiction.

Le mois prochain, les lunettes pourront utiliser un nouveau logiciel d’intelligence artificielle pour voir le monde réel et décrire ce que vous regardez, à l’instar de l’assistant IA du film Her.

Les lunettes, disponibles en différentes montures à partir de 300 dollars et en verres à partir de 17 dollars, ont principalement été utilisées pour prendre des photos et des vidéos et écouter de la musique. Mais avec le nouveau logiciel d’IA, ils peuvent être utilisés pour scanner des monuments célèbres, traduire des langues et identifier des races d’animaux et des fruits exotiques, entre autres tâches.

Pour utiliser le logiciel d’IA, les utilisateurs disent simplement « Hé, Meta », suivi d’une invite, telle que « Regardez et dites-moi de quel genre de chien il s’agit ». L’IA répond alors par une voix générée par ordinateur qui est diffusée à travers les minuscules haut-parleurs des lunettes.

Le concept du logiciel d’IA est si nouveau et original que lorsque Brian X. Chen, un chroniqueur technique qui a examiné les Ray-Ban l’année dernière, et Mike Isaac, qui couvre Meta et porte des lunettes intelligentes pour produire une émission de cuisine, en ont entendu parler. ça, nous mourions d’envie de l’essayer. Meta nous a donné un accès anticipé à la mise à jour et nous avons testé la technologie au cours des dernières semaines.

Nous avons porté les lunettes au zoo, dans les épiceries et dans un musée tout en soumettant l’IA à des questions et des demandes.

Le résultat : nous avons été simultanément amusés par les assistants virtuels qui faisaient des gaffes, par exemple, prenant un singe pour une girafe, et impressionnés lorsqu’ils effectuaient des tâches utiles, comme déterminer qu’un paquet de biscuits était sans gluten.

Un porte-parole de Meta a déclaré que, comme la technologie était encore nouvelle, l’intelligence artificielle ne ferait pas toujours les choses correctement et que les commentaires amélioreraient les lunettes au fil du temps.

Le logiciel Metas a également créé des transcriptions de nos questions et des réponses de l’IA, que nous avons capturées sous forme de captures d’écran. Voici les moments forts de notre mois de coexistence avec l’assistant Metas.

Animaux domestiques

BRIEN : Naturellement, la toute première chose sur laquelle j’ai dû essayer Metas AI était mon corgi, Max. J’ai regardé le chien dodu et j’ai demandé : Hé, Meta, qu’est-ce que je regarde ?

Un mignon chien Corgi assis par terre avec la langue sortie, a déclaré l’assistant. Exact, surtout la partie sur le fait d’être mignon.

MIKE: Metas AI a correctement reconnu mon chien, Bruna, comme un bouvier bernois noir et brun. Je m’attendais à moitié à ce que le logiciel d’IA pense qu’elle était un ours, l’animal avec lequel elle est le plus souvent confondue par les voisins.

Animaux de zoo

BRIEN : Une fois que l’IA a correctement identifié mon chien, la prochaine étape logique consistait à l’essayer sur des animaux de zoo. J’ai donc récemment visité le zoo d’Oakland, en Californie, où, pendant deux heures, j’ai observé une douzaine d’animaux, dont des perroquets, des tortues, des singes et des zèbres. J’ai dit : Hé, Meta, regarde et dis-moi de quel genre d’animal il s’agit.

L’IA se trompait la grande majorité du temps, en partie parce que de nombreux animaux étaient en cage et plus loin. Il a confondu un primate avec une girafe, un canard avec une tortue et un suricate avec un panda géant, entre autres confusions. D’un autre côté, j’ai été impressionné lorsque l’IA a correctement identifié une espèce de perroquet connue sous le nom d’ara bleu et or, ainsi que des zèbres.

La partie la plus étrange de cette expérience a été de parler à un assistant IA en présence d’enfants et de leurs parents. Ils ont fait semblant de ne pas écouter le seul adulte solo du parc alors que je me murmurais apparemment.

Nourriture

MIKE: J’ai aussi eu une période particulière pour faire les courses. Être à l’intérieur d’un Safeway et me parler était un peu embarrassant, alors j’ai essayé de garder ma voix basse. J’ai encore quelques regards de côté.

Quand Metas AI fonctionnait, c’était charmant. J’ai ramassé un paquet d’Oreos étranges et lui ai demandé de regarder l’emballage et de me dire s’ils étaient sans gluten. (Ce n’était pas le cas.) Il a répondu correctement à des questions comme celles-ci environ la moitié du temps, même si je ne peux pas dire que cela a permis de gagner du temps par rapport à la lecture de l’étiquette.

Mais la seule raison pour laquelle je me suis mis dans ces verres était en premier lieu pour lancer ma propre émission de cuisine sur Instagram, une façon flatteuse de dire que je m’enregistre en train de préparer de la nourriture pour la semaine tout en me parlant. Ces lunettes ont rendu le travail beaucoup plus facile que d’utiliser un téléphone et une seule main.

L’assistant IA peut également proposer une aide en cuisine. Si j’ai besoin de savoir combien de cuillères à café contient une cuillère à soupe et que mes mains sont couvertes d’huile d’olive, par exemple, je peux lui demander de me le dire. (Il y a trois cuillères à café dans une cuillère à soupe, juste pour information.)

Mais lorsque j’ai demandé à l’IA d’examiner une poignée d’ingrédients que j’avais et de proposer une recette, elle a craché des instructions rapides pour une crème aux œufs, pas vraiment utiles pour suivre les instructions à mon rythme.

Une poignée d’exemples parmi lesquels choisir auraient pu être plus utiles, mais cela pourrait nécessiter des modifications de l’interface utilisateur et peut-être même un écran à l’intérieur de mes objectifs.

Un porte-parole de Meta a déclaré que les utilisateurs pourraient poser des questions de suivi pour obtenir des réponses plus précises et plus utiles de la part de son assistant.

BRIEN : Je suis allé à l’épicerie et j’ai acheté le fruit le plus exotique que j’ai pu trouver, un chérimole, un fruit vert écailleux qui ressemble à un œuf de dinosaure. Lorsque j’ai donné à Metas AI plusieurs chances de l’identifier, il a fait une supposition différente à chaque fois : une noix de pécan enrobée de chocolat, un fruit à noyau, une pomme et, enfin, un durian, qui était proche, mais pas de banane.

Monuments et musées

MIKE: La capacité des nouveaux logiciels à reconnaître les points de repère et les monuments semblait fonctionner. En regardant un pâté de maisons du centre-ville de San Francisco, face à un dôme imposant, Metas AI a répondu correctement : l’hôtel de ville. C’est une astuce intéressante et peut-être utile si vous êtes un touriste.

D’autres fois, c’était aléatoire. Alors que je rentrais de la ville à ma maison à Oakland, j’ai demandé à Meta sur quel pont je me trouvais tout en regardant par la fenêtre devant moi (les deux mains sur le volant, bien sûr). La première réponse a été le Golden Gate Bridge, qui était une erreur. Au deuxième essai, il a compris que j’étais sur le Bay Bridge, ce qui m’a fait me demander s’il avait juste besoin d’une photo plus claire des nouvelles portions, de grands poteaux de suspension blancs, pour avoir raison.

BRIEN : J’ai visité le musée d’art moderne de San Francisco pour vérifier si Metas AI pouvait faire le travail d’un guide touristique. Après avoir pris des photos d’environ deux douzaines de tableaux et demandé à l’assistant de me parler de l’œuvre d’art que je regardais, l’IA pouvait décrire les images et les médias utilisés pour composer l’art, ce qui serait bien pour un étudiant en histoire de l’art, mais il n’a pas pu identifier l’artiste ou le titre. (Un porte-parole de Meta a déclaré qu’une autre mise à jour logicielle publiée après ma visite au musée avait amélioré cette capacité.)

Après la mise à jour, j’ai essayé de regarder sur mon écran d’ordinateur des images d’œuvres d’art plus célèbres, dont la Joconde, et l’IA les a correctement identifiées.

Langues

BRIEN : Dans un restaurant chinois, j’ai montré un élément de menu écrit en chinois et j’ai demandé à Meta de le traduire en anglais, mais l’IA a déclaré qu’elle ne prenait actuellement en charge que l’anglais, l’espagnol, l’italien, le français et l’allemand. (J’ai été surpris, car Mark Zuckerberg a appris le mandarin.)

MIKE: Il a fait un très bon travail en traduisant le titre d’un livre en allemand à partir de l’anglais.

Conclusion

Les lunettes Metas alimentées par l’IA offrent un aperçu intrigant d’un avenir qui semble lointain. Les défauts soulignent les limites et les défis liés à la conception de ce type de produit. Les lunettes pourraient probablement mieux identifier les animaux et les fruits du zoo, par exemple, si l’appareil photo avait une résolution plus élevée, mais un objectif plus agréable ajouterait du volume. Et peu importe où nous étions, il était gênant de parler à un assistant virtuel en public. On ne sait pas si cela semblera normal un jour.

Mais quand cela a fonctionné, cela a bien fonctionné et nous nous sommes amusés et le fait que Metas AI puisse faire des choses comme traduire des langues et identifier des points de repère à l’aide d’une paire de lunettes branchées montre à quel point la technologie a évolué.