Google teste en bêta son futur IA

Il est clair que l’avenir de Google est lié aux modèles de langage de l’IA. Lors de la conférence I/O de cette année, la société a annoncé une série de mises à jour reposant sur cette technologie, des nouvelles fonctionnalités de recherche multiple qui vous permettent d’associer des recherches d’images à des requêtes de texte, des améliorations pour Google Assistant et la prise en charge de 24 nouvelles langues dans Google Translate.

Mais Google et le domaine de la recherche sur le langage de l’IA en général sont confrontés à des problèmes majeurs. Google lui-même a sérieusement mal géré les critiques internes, licenciant les employés qui soulevaient des problèmes de biais dans les modèles linguistiques et portant atteinte à sa réputation auprès de la communauté de l’IA. Et les chercheurs continuent de trouver des problèmes avec les modèles de langage de l’IA, des échecs liés aux préjugés sexistes et raciaux au fait que ces modèles ont tendance à simplement inventer des choses (une découverte troublante pour quiconque souhaite utiliser l’IA pour fournir des informations fiables).

Maintenant, cependant, la société semble faire un pas en arrière ou plutôt un pas en avant plus lent. Chez I/O cette année, l’accent a été mis sur des projets conçus pour tester et remédier à des problèmes tels que le biais de l’IA, y compris une nouvelle façon de mesurer les tons de peau qui, espère la société, contribuera à la diversité des modèles de vision artificielle et une nouvelle application nommée AI Test Kitchen qui permettra à des personnes sélectionnées d’accéder aux derniers modèles linguistiques de l’entreprise afin de détecter les erreurs. Considérez-le comme un test bêta pour l’avenir de Google.

Entrez dans la cuisine de test de l’IA

Au cours d’un appel vidéo avant les E/S, Josh Woodward, directeur principal de la gestion des produits chez Google, demande au dernier modèle de langage de Google d’imaginer un volcan de guimauve.

Vous êtes sur un volcan de guimauve ! dit l’IA. Ses guimauves en éruption. Vous entendez un grondement géant et sentez le sol trembler. Les guimauves volent partout.

Woodward est satisfait de cette réponse et pousse à nouveau le système. Qu’est-ce que ça sent ? il demande. Ça sent la guimauve, évidemment, répond l’IA. Vous pouvez le sentir tout autour de vous. Woodward rit : d’accord, alors celui-là était très laconique. Mais au moins ça avait du sens.

Woodward me montre AI Test Kitchen, une application Android qui donnera à certains utilisateurs un accès limité au dernier et meilleur modèle de langage d’IA de Google, LaMDA 2. Le modèle lui-même est une mise à jour du LaMDA original annoncé l’année dernière I/O et a le même fonctionnalité de base : vous lui parlez et il vous répond. Mais Test Kitchen enveloppe le système dans une nouvelle interface accessible, qui encourage les utilisateurs à donner leur avis sur ses performances.

Comme l’explique Woodward, l’idée est de créer un espace expérimental pour les derniers modèles d’IA de Google. Ces modèles de langage sont très excitants, mais ils sont aussi très incomplets, dit-il. Et nous voulons trouver un moyen de mettre progressivement quelque chose entre les mains des gens pour à la fois voir, espérons-le, à quel point c’est utile, mais aussi donner des commentaires et signaler les domaines où cela manque.

L’application dispose de trois modes : imaginez-le, parlez-en et répertoriez-le, chacun destiné à tester un aspect différent de la fonctionnalité du système. Imagine It demande aux utilisateurs de nommer un lieu réel ou imaginaire, que LaMDA décrira ensuite (le test est de savoir si LaMDA peut correspondre à votre description) ; Talk About It propose une invite de conversation (comme parler à une balle de tennis à propos d’un chien) dans le but de tester si l’IA reste sur le sujet ; tandis que List It demande aux utilisateurs de nommer n’importe quelle tâche ou sujet, dans le but de voir si LaMDA peut le décomposer en puces utiles (donc, si vous dites que je veux planter un potager, la réponse peut inclure des sous-sujets comme Quoi veux-tu grandir ? et Eau et soins).

AI Test Kitchen sera déployé aux États-Unis dans les mois à venir, mais ne sera pas disponible sur le Play Store pour que n’importe qui puisse le télécharger. Woodward dit que Google n’a pas entièrement décidé comment il offrira l’accès, mais suggère que ce sera sur invitation uniquement, la société contactant des universitaires, des chercheurs et des décideurs pour voir s’ils sont intéressés à l’essayer.

Comme l’explique Woodward, Google veut pousser l’application de manière à ce que les gens sachent à quoi ils s’inscrivent lorsqu’ils l’utilisent, sachant qu’elle dira des choses inexactes. Il dira des choses, vous savez, qui ne sont pas représentatives d’un produit fini.

Cette annonce et ce cadrage nous disent quelques choses différentes : premièrement, que les modèles de langage d’IA sont des systèmes extrêmement complexes et que les tester de manière exhaustive pour trouver tous les cas d’erreur possibles n’est pas quelque chose qu’une entreprise comme Google pense pouvoir faire sans aide extérieure. Deuxièmement, Google est extrêmement conscient de la tendance à l’échec de ces modèles de langage d’IA, et il veut gérer les attentes.

Image : Google

Lorsque les organisations poussent de nouveaux systèmes d’IA dans la sphère publique sans vérification appropriée, les résultats peuvent être désastreux. (Vous vous souvenez de Tay, le chatbot de Microsoft que Twitter a appris à être raciste ? Ou Demandez à Delphi, le conseiller en éthique de l’IA qui pourrait être incité à tolérer le génocide ?) La nouvelle application AI Test Kitchen de Google tente d’adoucir ce processus : Les systèmes d’IA mais contrôlent le flux de cette rétroaction.

Deborah Raji, chercheuse en IA spécialisée dans les audits et les évaluations de modèles d’IA, a déclaré Le bord que cette approche limitera nécessairement ce que les tiers peuvent apprendre sur le système. Parce qu’ils contrôlent complètement ce qu’ils partagent, il est seulement possible d’avoir une compréhension biaisée du fonctionnement du système, car l’entreprise dépend trop de l’entreprise pour contrôler les invites autorisées et la manière dont le modèle interagit avec, dit Raji. . En revanche, certaines entreprises comme Facebook ont ​​été beaucoup plus ouvertes dans leurs recherches, publiant des modèles d’IA d’une manière qui permet un examen beaucoup plus approfondi.

La façon exacte dont l’approche de Google fonctionnera dans le monde réel n’est pas encore claire, mais l’entreprise s’attend au moins à ce que certaines choses tournent mal.

Nous avons fait un gros processus d’équipe rouge [to test the weaknesses of the system] en interne, mais malgré tout cela, nous pensons toujours que les gens essaieront de le casser, et un pourcentage d’entre eux réussiront, dit Woodward. C’est un voyage, mais c’est un domaine de recherche active. Il y a beaucoup de choses à comprendre. Et ce que disaient, c’est que nous ne pouvons pas le comprendre en le testant simplement en interne, nous devons l’ouvrir.

À la recherche de l’avenir de la recherche

Une fois que vous voyez LaMDA en action, il est difficile de ne pas imaginer comment une technologie comme celle-ci changera Google à l’avenir, en particulier son produit le plus important : la recherche. Bien que Google souligne que AI Test Kitchen n’est qu’un outil de recherche, sa fonctionnalité est très évidemment liée aux services de l’entreprise. Garder une conservation sur le sujet est vital pour Google Assistant, par exemple, tandis que le mode List It dans Test Kitchen est presque identique à la fonction Google Choses à savoir, qui décompose les tâches et les sujets en puces dans la recherche.

Google lui-même a alimenté de telles spéculations (peut-être par inadvertance) dans un document de recherche publié l’année dernière. Dans l’article, quatre des ingénieurs de l’entreprise ont suggéré qu’au lieu de taper des questions dans un champ de recherche et de montrer les résultats aux utilisateurs, les futurs moteurs de recherche agiraient davantage comme des intermédiaires, en utilisant l’IA pour analyser le contenu des résultats, puis en extrayant le plus. informations utiles. Évidemment, cette approche s’accompagne de nouveaux problèmes provenant des modèles d’IA eux-mêmes, du biais dans les résultats aux systèmes qui composent les réponses.

Dans une certaine mesure, Google a déjà commencé dans cette voie, avec des outils tels que des extraits de code et des panneaux de connaissances utilisés pour répondre directement aux requêtes. Mais l’IA a le potentiel d’accélérer ce processus. L’année dernière, par exemple, la société a présenté un modèle expérimental d’IA qui répondait aux questions sur Pluton du point de vue de l’ancienne planète elle-même, et cette année, le lent filet de fonctionnalités conversationnelles alimentées par l’IA se poursuit.

Malgré les spéculations sur un changement radical dans la recherche, Google souligne que, quels que soient les changements qui se produiront, ils se produiront lentement. Lorsque j’ai demandé à Zoubin Ghahramani, vice-président de la recherche chez Google AI, comment l’IA allait transformer la recherche Google, sa réponse était quelque peu décevante.

Je pense que ça va être progressif, dit Ghahramani. Cela ressemble peut-être à une réponse boiteuse, mais je pense que cela correspond à la réalité. Il reconnaît qu’il y a déjà des choses que vous pouvez mettre dans la boîte Google, et vous n’obtiendrez qu’une réponse. Et avec le temps, vous obtenez de plus en plus de ces choses. Mais il prend soin de dire également que le champ de recherche ne devrait pas être la fin, ce ne devrait être que le début du parcours de recherche des personnes.

Pour l’instant, Ghahramani dit que Google se concentre sur une poignée de critères clés pour évaluer ses produits d’IA, à savoir la qualité, la sécurité et l’ancrage. La qualité fait référence à la pertinence de la réponse sur le sujet ; la sécurité fait référence à la possibilité pour le modèle de dire des choses nocives ou toxiques ; tandis que l’enracinement est de savoir si le système fabrique ou non des informations.

Ce sont cependant des problèmes essentiellement non résolus, et jusqu’à ce que les systèmes d’IA soient plus faciles à résoudre, Ghahramani dit que Google sera prudent quant à l’application de cette technologie. Il souligne qu’il y a un grand écart entre ce que nous pouvons construire en tant que prototype de recherche [and] puis ce qui peut réellement être déployé en tant que produit.

C’est une différenciation qui doit être prise avec un certain scepticisme. Le mois dernier, par exemple, la dernière fonctionnalité d’écriture assistée par IA de Google a été déployée auprès des utilisateurs qui ont immédiatement trouvé des problèmes. Mais il est clair que Google veut vraiment que cette technologie fonctionne et, pour l’instant, se consacre à résoudre ses problèmes une application de test à la fois.

Lié: