Comment le traitement du langage naturel aide à promouvoir l’inclusivité dans les communautés en ligne

Présenté par Cohere

Pour créer des communautés en ligne saines, les entreprises ont besoin de meilleures stratégies pour éliminer les publications nuisibles. Dans cet événement VB On-Demand, les experts AI/ML de Cohere et Google Cloud partagent des informations sur les nouveaux outils qui modifient la façon dont la modération est effectuée.

Regardez gratuitement, à la demande !

Les joueurs subissent une quantité stupéfiante d’abus en ligne. Une étude récente a révélé que cinq adultes sur six (1845) ont subi du harcèlement dans les jeux multijoueurs en ligne, soit plus de 80 millions de joueurs. Trois jeunes gamers sur cinq (1317) ont été harcelés, soit près de 14 millions de gamers. Le harcèlement fondé sur l’identité est en augmentation, tout comme les cas de rhétorique suprématiste blanche.

Cela se passe dans un monde en ligne de plus en plus bruyant, où 2,5 quintillions d’octets de données sont produits chaque jour, faisant de la modération du contenu, toujours une proposition délicate et basée sur l’homme, un défi plus grand que jamais.

Les arguments concurrents suggèrent qu’il ne s’agit pas d’une augmentation du harcèlement, c’est juste plus visible parce que les jeux et les médias sociaux sont devenus plus populaires, mais ce que cela signifie vraiment, c’est que plus de personnes que jamais souffrent de toxicité, déclare Mike Lavia, responsable des ventes aux entreprises chez Cohere. Cela cause beaucoup de tort aux gens et cela cause beaucoup de tort dans la façon dont il crée des relations publiques négatives pour les jeux et d’autres communautés sociales. Il demande également aux développeurs d’équilibrer la modération et la monétisation, alors maintenant les développeurs essaient de rattraper leur retard.

Les méthodes humaines ne suffisent pas

La manière traditionnelle de traiter la modération de contenu consistait à avoir un regard humain sur le contenu, à valider s’il enfreignait les règles de confiance et de sécurité, et à le marquer comme toxique ou non toxique. Les humains sont encore principalement utilisés, simplement parce que les gens ont l’impression qu’ils sont probablement les plus précis pour identifier le contenu, en particulier pour les images et les vidéos. Cependant, former les humains aux politiques de confiance et de sécurité et identifier les comportements nuisibles prend beaucoup de temps, dit Lavia, car ce n’est souvent pas noir ou blanc.

La façon dont les gens communiquent sur les médias sociaux et les jeux, et la façon dont la langue est utilisée, en particulier au cours des deux ou trois dernières années, évoluent rapidement. Les bouleversements mondiaux constants ont un impact sur les conversations, dit Lavia. Au moment où un humain est formé pour comprendre un modèle toxique, vous pourriez être obsolète et les choses commencent à glisser entre les mailles du filet.

Le traitement du langage naturel (TLN), ou la capacité d’un ordinateur à comprendre le langage humain, a progressé à pas de géant au cours des dernières années et est devenu un moyen innovant d’identifier la toxicité dans un texte en temps réel. Des modèles puissants qui comprennent le langage humain sont enfin disponibles pour les développeurs, et réellement abordables en termes de coût, de ressources et d’évolutivité pour s’intégrer dans les flux de travail et les piles technologiques existants.

Comment les modèles de langage évoluent en temps réel

Une partie de la modération consiste à se tenir au courant des événements actuels, car le monde extérieur ne reste pas en dehors de ses communautés et conversations en ligne qui ont un impact constant. Les modèles de base sont formés sur des téraoctets de données, en grattant le Web, puis un réglage fin maintient les modèles pertinents pour la communauté, le monde et l’entreprise. Une entreprise apporte ses propres données IP pour affiner un modèle afin de comprendre son activité spécifique ou sa tâche spécifique à accomplir.

C’est là que vous pouvez étendre un modèle pour ensuite comprendre votre entreprise et exécuter la tâche à un niveau très performant, et ils peuvent être mis à jour assez rapidement, dit Lavia. Et puis, au fil du temps, vous pouvez créer des seuils pour lancer le recyclage et en pousser un nouveau sur le marché, afin de pouvoir créer une nouvelle intention de toxicité.

Vous pouvez signaler toute conversation sur la Russie et l’Ukraine, qui n’est pas nécessairement toxique, mais qui mérite d’être suivie. Si un utilisateur est signalé un grand nombre de fois au cours d’une session, il est signalé, surveillé et signalé si nécessaire.

Les modèles précédents ne pourraient pas détecter cela, dit-il. En réentraînant le modèle pour inclure ce type de données d’entraînement, vous lancez la possibilité de commencer à surveiller et à identifier ce type de contenu. Avec l’IA, et avec ces plates-formes comme celles que développe Cohere, il est très facile de recycler des modèles et de les recycler continuellement au fil du temps, selon vos besoins.

Vous pouvez étiqueter la désinformation, les discussions politiques, les événements actuels, tout type de sujet qui ne correspond pas à votre communauté et provoque le type de division qui décourage les utilisateurs.

Ce que vous voyez avec Facebook et Twitter et certaines des plates-formes de jeu, où il y a un taux de désabonnement important, est principalement dû à cet environnement toxique, dit-il. Il est difficile de parler d’inclusivité sans parler de toxicité, car la toxicité dégrade l’inclusivité. Beaucoup de ces plateformes doivent trouver ce juste milieu entre la monétisation et la modération de leurs plateformes pour s’assurer que tout le monde est en sécurité.

Pour en savoir plus sur le fonctionnement des modèles NLP et sur la manière dont les développeurs peuvent les exploiter, comment créer et faire évoluer des communautés inclusives de manière rentable et bien plus encore, ne manquez pas cet événement à la demande !

Regardez gratuitement à la demande maintenant !

Ordre du jour

• Adapter les outils à la langue vernaculaire et aux politiques uniques de vos communautés
• Accroître la capacité de comprendre les nuances et le contexte du langage humain
• Utiliser un langage IA qui apprend à mesure que la toxicité évolue
• Accélération significative de la capacité à identifier la toxicité à grande échelle

Présentateurs

• David Wynnresponsable du conseil en solutions, Google Cloud pour les jeux
• Mike LaviaResponsable des ventes aux entreprises, Cohere
• Dean TakahashiLead Writer, GamesBeat (modérateur)