OpenAI lance une nouvelle fonctionnalité qui permet aux développeurs de personnaliser GPT-3, son puissant modèle de traitement du langage naturel (NLP)
GPT-3 est le modèle avancé de traitement du langage naturel développé par OpenAI. Il renvoie une complétion de texte en langage naturel en réponse à toute demande de texte, telle qu’une expression ou une phrase. Les développeurs utilisent GPT-3 (via la facturation à la demande via la programmation d’applications (API)) dans leurs applications pour effectuer des tâches telles que la traduction de texte et le développement de code logiciel.
OpenAI a récemment publié une nouvelle fonctionnalité qui permettra aux développeurs de créer leurs propres versions de GPT-3. La nouvelle option de personnalisation est désormais disponible dans l’API.
GPT-3 peut exécuter un large éventail de tâches en langage naturel avec seulement quelques instances, une notion connue sous le nom d’apprentissage en quelques coups ou de conception rapide. GPT-3 peut être personnalisé pour produire de bien meilleurs résultats, car il permet aux utilisateurs de fournir beaucoup plus d’instances que ne le permet la conception rapide.
L’adaptabilité de GPT-3 est due à son architecture unique. L’IA est basée sur une conception Transformer, une technique populaire pour créer des modèles de traitement du langage naturel. GPT-3, en revanche, est plus avancé que le réseau neuronal habituel basé sur Transformer. Il possède 175 milliards de paramètres, bien plus que de nombreux réseaux de neurones différents dans la même catégorie. Ce sont les paramètres qui contrôlent la façon dont une IA interprète les entrées.
La capacité de GPT-3 à effectuer un large éventail de tâches est également due à la façon dont l’équipe a formé l’IA. Ils ont formé GPT-3 sur des centaines de milliards de points de données collectés à partir de diverses sources en laboratoire. En conséquence, GPT-3 peut apprendre à accomplir une nouvelle tâche à partir de quelques instances seulement dans certains cas.
Les développeurs n’ont pas besoin de former GPT-3 sur un grand nombre d’exemples avant de l’utiliser dans leurs applications. Cependant, il a été remarqué que l’augmentation de la quantité de données d’apprentissage utilisées dans un projet peut augmenter considérablement la précision du traitement. La nouvelle capacité de personnalisation de l’IA d’OpenAI peut atteindre cet objectif.
Les développeurs peuvent utiliser la nouvelle fonctionnalité pour former GPT-3 sur un ensemble de données particulier afin de l’optimiser pour un cas d’utilisation spécifique. Il permet également aux développeurs de former GPT-3 sur les nouvelles informations dès qu’elles deviennent disponibles. Par exemple, une entreprise qui utilise GPT-3 pour évaluer les commentaires des clients peut recycler l’IA chaque semaine en fonction des idées les plus récentes des utilisateurs.
L’équipe a montré qu’un réglage fin avec moins de 100 échantillons peut augmenter les performances de GPT-3 sur certaines tâches. Ils mentionnent que doubler le nombre d’échantillons améliore linéairement la qualité.
Viable Inc., une entreprise financée par du capital-risque, utilise GPT-3 pour alimenter un service qui aide les entreprises à analyser les commentaires des consommateurs et à identifier les suggestions qui se répètent le plus souvent. Selon OpenAI, Viable a augmenté la précision des résumés de commentaires de 24 % avec la nouvelle fonctionnalité de personnalisation.
La formation de GPT-3 sur des ensembles de données personnalisés présente l’avantage supplémentaire de réduire potentiellement les dépenses d’IA. Les applications doivent envoyer à GPT-3 une invite de texte indiquant ce qu’elles doivent faire pour accomplir une tâche. Le nombre de mots dans les invites de l’application détermine le montant facturé par OpenAI pour l’utilisation de GPT-3. La personnalisation de GPT-3 avec un ensemble de données d’entraînement spécialisé pour un cas d’utilisation donné peut permettre à l’IA d’effectuer la tâche avec des invites plus simples avec moins de mots, réduisant ainsi les coûts de l’API.
La dernière version d’OpenAI illustre l’intérêt croissant du secteur pour la technologie AutoML. L’utilisation d’ensembles de données d’entraînement spécifiques pour personnaliser les réseaux de neurones peut apporter des gains de fiabilité significatifs.
L’IA est disponible en plusieurs variantes distinctes, chacune avec des performances, une précision et un coût différents. OpenAI a également collaboré avec Microsoft pour créer Codex, une édition spéciale de GPT-3 avec des fonctionnalités de complétion de code pour les développeurs.
Obtenez l’accès : https://beta.openai.com/docs/guides/fine-tuning/preparing-your-dataset
Les références:
Suggéré