La nouvelle IA de Metas permet aux gens de créer des chatbots. Ils l’utilisent pour le sexe.
Alors que des entreprises comme OpenAI, Microsoft et Google forment rigoureusement leurs modèles d’IA pour éviter une foule de tabous, y compris des conversations trop intimes, Allie a été construit à l’aide d’un code technologique open source qui est librement accessible au public et n’a pas de telles restrictions. Basé sur un modèle créé par Meta, appelé LLaMA, Allie fait partie d’une marée montante de produits d’IA spécialisés que tout le monde peut créer, des outils d’écriture aux chatbots en passant par les applications d’analyse de données.
Les partisans voient l’IA open source comme un moyen de contourner le contrôle des entreprises, une aubaine pour les entrepreneurs, les universitaires, les artistes et les militants qui peuvent expérimenter librement avec une technologie transformatrice.
L’argument général en faveur de l’open source est qu’il accélère l’innovation dans l’IA, a déclaré Robert Nishihara, PDG et co-fondateur de la start-up Anyscale, qui aide les entreprises à exécuter des modèles d’IA open source.
Les clients d’Anyscales utilisent des modèles d’IA pour découvrir de nouveaux produits pharmaceutiques, réduire l’utilisation de pesticides dans l’agriculture et identifier les produits frauduleux vendus en ligne, a-t-il déclaré. Ces applications seraient plus coûteuses et plus difficiles, voire impossibles, si elles s’appuyaient sur une poignée de des produits offerts par les plus grandes entreprises d’IA.
Pourtant, cette même liberté pourrait également être exploitée par de mauvais acteurs. Des modèles open source ont été utilisés pour créer de la pédopornographie artificielle en utilisant des images d’enfants réels comme matériel source. Les critiques craignent que cela ne permette également la fraude, le piratage informatique et des campagnes de propagande sophistiquées.
Plus tôt ce mois-ci, deux sénateurs américains, Richard Blumenthal (D-Conn.) et Josh Hawley (R-Mo.) ont envoyé une lettre au PDG de Meta, Mark Zuckerberg, avertissant que la publication de LLaMA pourrait entraîner son utilisation abusive dans le spam, la fraude , logiciels malveillants, violations de la vie privée, harcèlement et autres actes répréhensibles et préjudices. Ils ont demandé quelles mesures Meta prenait pour empêcher de tels abus.
Le créateur d’Allies, qui s’est exprimé sous couvert d’anonymat par crainte de nuire à sa réputation professionnelle, a déclaré que les chatbots commerciaux tels que Replika et ChatGPT sont fortement censurés et ne peuvent pas offrir le type de conversations sexuelles qu’il désire. Avec des alternatives open source, dont beaucoup sont basées sur le modèle Metas LLaMA, l’homme a déclaré qu’il pouvait créer ses propres partenaires de conversation sans entraves.
Il est rare d’avoir l’opportunité d’expérimenter l’état de l’art dans n’importe quel domaine, a-t-il déclaré dans une interview.
Le créateur d’Allies a fait valoir que la technologie open source profite à la société en permettant aux gens de créer des produits qui répondent à leurs préférences sans les garde-fous de l’entreprise.
Je pense que c’est bien d’avoir un débouché sûr à explorer, dit-il. Je ne peux pas vraiment penser à quelque chose de plus sûr qu’un jeu de rôle basé sur du texte contre un ordinateur, sans aucun humain impliqué.
Sur YouTube, les influenceurs proposent des tutoriels sur la façon de créer des chatbots non censurés. Certains sont basés sur une version modifiée de LLaMA, appelée Alpaca AI, que les chercheurs de l’Université de Stanford ont publiée en mars, pour la supprimer une semaine plus tard en raison de problèmes de coût et des insuffisances de nos filtres de contenu.
Nisha Deo, porte-parole de Meta, a déclaré que le modèle particulier référencé dans les vidéos YouTube, appelé GPT-4 x Alpaca, a été obtenu et rendu public en dehors de notre processus d’approbation. Les représentants de Stanford n’ont pas renvoyé de demande de commentaire.
Les modèles d’IA open source et les applications créatives qui s’en inspirent sont souvent publiés sur Hugging Face, une plateforme de partage et de discussion de projets d’IA et de science des données.
Lors d’une audition du comité scientifique de la Chambre jeudi, Clem Delangue, PDG de Hugging Faces, a exhorté le Congrès à envisager une législation soutenant et incitant les modèles open source, qui, selon lui, sont extrêmement alignés sur les valeurs américaines.
Dans une interview après l’audience, Delangue a reconnu que les outils open source peuvent être abusés. Il a noté un modèle formé intentionnellement sur le contenu toxique, GPT-4chan, que Hugging Face avait supprimé. Mais il a déclaré qu’il pensait que les approches open source permettaient à la fois une plus grande innovation et plus de transparence et d’inclusivité que les modèles contrôlés par les entreprises.
Je dirais qu’en fait, la plupart des dommages aujourd’hui sont causés par les boîtes noires, a déclaré Delangue, faisant référence à des systèmes d’IA dont le fonctionnement interne est opaque plutôt qu’open-source.
Les règles de Hugging Faces n’interdisent pas les projets d’IA qui produisent des résultats sexuellement explicites. Mais ils interdisent le contenu sexuel qui implique des mineurs, ou qui est utilisé ou créé à des fins de harcèlement, d’intimidation ou sans le consentement explicite des personnes représentées. Plus tôt ce mois-ci, la société basée à New York a publié une mise à jour de ses politiques de contenu, mettant l’accent sur le consentement comme une valeur fondamentale guidant la façon dont les gens peuvent utiliser la plate-forme.
Alors que Google et OpenAI sont devenus plus secrets sur leurs modèles d’IA les plus puissants, Meta est devenu un surprenant champion d’entreprise de l’IA open source. En février, il a publié LLaMA, un modèle de langage moins puissant que GPT-4, mais plus personnalisable et moins cher à exécuter. Meta a initialement retenu des parties clés du code des modèles et prévu de limiter l’accès aux chercheurs autorisés. Mais début mars, ces pièces, connues sous le nom de poids des modèles, avaient fui sur les forums publics, rendant LLaMA librement accessible à tous.
L’open source est une force positive pour faire progresser la technologie, a déclaré Metas Deo. C’est pourquoi nous avons partagé LLaMA avec des membres de la communauté de recherche pour nous aider à évaluer, apporter des améliorations et itérer ensemble.
Depuis lors, LLaMA est peut-être devenu le modèle open source le plus populaire pour les technologues cherchant à développer leurs propres applications d’IA, a déclaré Nishihara. Mais ce n’est pas le seul. En avril, la société de logiciels Databricks a publié un modèle open source appelé Dolly 2.0. Et le mois dernier, une équipe basée à Abu Dhabi a publié un modèle open source appelé Falcon qui rivalise avec LLaMA en termes de performances.
Marzyeh Ghassemi, professeur adjoint d’informatique au MIT, a déclaré qu’elle défendait les modèles de langage open source, mais avec des limites.
Ghassemi a déclaré qu’il était important de rendre publique l’architecture derrière les puissants chatbots, car cela permet aux gens d’examiner comment ils sont construits. Par exemple, si un chatbot médical était créé sur une technologie open source, a-t-elle déclaré, les chercheurs pourraient voir si les données sont formées sur des informations sensibles sur les patients, ce qui ne serait pas possible sur les chatbots utilisant un logiciel fermé.
Mais elle reconnaît que cette ouverture comporte des risques. Si les gens peuvent facilement modifier les modèles de langage, ils peuvent rapidement créer des chatbots et des créateurs d’images qui produisent de la désinformation, des discours de haine et du matériel inapproprié de haute qualité.
Ghassemi a déclaré qu’il devrait y avoir des réglementations régissant qui peut modifier ces produits, comme un processus de certification ou d’accréditation.
Comme si nous autorisions les gens à utiliser une voiture, a-t-elle dit, nous devons réfléchir à des cadres similaires [for people] pour réellement créer, améliorer, auditer, éditer ces modèles de langage ouverts.
Certains dirigeants d’entreprises comme Google, qui garde son chatbot Bard sous clé, considèrent les logiciels open source comme une menace existentielle pour leur entreprise, car les grands modèles de langage accessibles au public deviennent presque aussi compétents que les leurs.
Nous ne sommes pas positionnés pour gagner [AI] la course aux armements et OpenAI non plus, a écrit un ingénieur de Google dans une note publiée par le site technologique Semianalysis en mai. Je parle, bien sûr, de l’open source. En clair, ils nous dépassent Alors que nos modèles ont toujours un léger avantage en termes de qualité, l’écart se réduit étonnamment vite.
Nathan Benaich, associé général d’Air Street Capital, une société d’investissement en capital-risque basée à Londres et spécialisée dans l’IA, a noté que bon nombre des plus grandes avancées de l’industrie technologique au cours des décennies ont été rendues possibles par les technologies open source, y compris les modèles de langage d’IA d’aujourd’hui.
S’il n’y a que quelques entreprises qui construisent les modèles d’IA les plus puissants, elles ne cibleront que les cas d’utilisation les plus importants, a déclaré Benaich, ajoutant que la diversité des enquêtes est une aubaine pour la société.
Gary Marcus, un scientifique cognitif qui a témoigné devant le Congrès sur la réglementation de l’IA en mai, a rétorqué que l’accélération de l’innovation en matière d’IA pourrait ne pas être une bonne chose, compte tenu des risques que la technologie pourrait poser à la société.
Nous n’avons pas d’armes nucléaires open source, a déclaré Marcus. L’IA actuelle est encore assez limitée, mais les choses pourraient changer.