Ce cadre d’apprentissage automatique fait collaborer des tâches hétérogènes de traitement du langage naturel via l’apprentissage fédéré

L’un des éléments clés du succès significatif des grands modèles d’apprentissage automatique dans diverses applications de traitement du langage naturel (TAL) est l’apprentissage à partir de la quantité massive de données. Cependant, les préoccupations croissantes du public en matière de confidentialité et le durcissement des lois sur la protection des données créent des barrières entre les propriétaires de données, ce qui rend plus difficile (et souvent même interdit) la collecte et la conservation centralisées de données privées pour les modèles de formation. L’apprentissage fédéré (FL) a été suggéré pour former des modèles de manière coopérative en utilisant des données décentralisées de manière à préserver la confidentialité, gagnant rapidement en attrait dans le milieu universitaire et les entreprises. FL est motivé par de telles préoccupations en matière de protection de la vie privée.

La méthodologie décrite par FEDAVG est largement utilisée dans les recherches précédentes sur l’adoption de l’apprentissage fédéré pour les applications NLP : les clients forment le modèle en fonction des données locales séparément et communiquent leurs modifications de modèle à un serveur pour l’agrégation fédérée. L’utilisation d’un tel cadre FL présente divers inconvénients pour les applications pratiques de la PNL. Premièrement, seuls les participants ayant le même objectif d’apprentissage peuvent s’inscrire à un cours FL pour former des modèles de manière collaborative pour un apprentissage fédéré. Deuxièmement, le cadre peut ne pas convenir à ceux qui souhaitent garder leur objectif d’apprentissage privé en raison de problèmes de confidentialité ou de conflits d’intérêts. Un accord sur les objectifs d’apprentissage doit être atteint au préalable entre les participants dans ce cadre.

Ces restrictions restreignent considérablement l’adoption de FL dans les applications NLP puisque l’apprentissage fédéré vise à connecter des îlots de données disparates plutôt que de simplement coordonner les participants avec le même objectif d’apprentissage. Le cadre FL ASSIGN-THEN-CONTRAST (en abrégé ATC), qui permet aux participants ayant des objectifs d’apprentissage hétérogènes ou privés d’apprendre à partir d’informations partagées via l’apprentissage fédéré, est la solution qu’ils proposent dans cette recherche pour répondre à ces restrictions.

Le cadre suggéré propose un paradigme de formation en deux étapes pour les cours de FL intégrés, qui comprend :

(i) ASSIGN : dans cette phase, le serveur donne aux clients des tâches unifiées pour la formation locale et la diffusion des modèles globaux les plus récents. Pour apprendre à partir de données locales sans utiliser leurs objectifs d’apprentissage, les clients peuvent entreprendre une formation locale en utilisant les tâches qui leur sont attribuées.

(ii) CONTRASTE : Pour partager des informations importantes, les clients optimisent une perte contrastive tout en suivant une formation locale en fonction de leurs objectifs d’apprentissage particuliers. Pour utiliser efficacement ces mises à jour de modèles, le serveur les combine stratégiquement en fonction des distances calculées entre les clients. Ils fournissent des analyses empiriques d’une variété de tâches de compréhension du langage naturel (NLU) et de création de langage naturel (NLG) sur six ensembles de données couramment utilisés, y compris la catégorisation de texte, la réponse aux questions, le résumé de texte abstrait et la génération de questions.

Les résultats expérimentaux montrent à quel point l’ATC aide les clients ayant des objectifs d’apprentissage divers ou privés à participer à un cours de FL et à en tirer profit. La création de cours FL à l’aide du cadre suggéré ATC entraîne des gains notables pour les clients ayant divers objectifs d’apprentissage par rapport à de nombreuses méthodologies de base. On peut essayer la plateforme sur Google Colab. L’implémentation du code est disponible gratuitement sur GitHub.

VérifiezPapier et GithubGenericName.Tout crédit pour cette recherche va aux chercheurs sur ce projet. Aussi, n’oubliez pas de rejoindrenotre page Redditetcanal de discordeoù nous partageons les dernières nouvelles sur la recherche en IA, des projets d’IA sympas, et plus encore.