Comment Walmart, Delta, Chevron et Starbucks utilisent l’IA pour surveiller les messages des employés

De grands employeurs américains tels que Walmart, Delta Air Lines, T-Mobile, Chevron et Starbucks, ainsi que des marques européennes comme Nestlé et AstraZeneca, se sont tournés vers une start-up de sept ans, Aware, pour surveiller les discussions parmi leurs employés. , selon l’entreprise.

Jeff Schumann, co-fondateur et PDG de la startup basée à Columbus, dans l’Ohio, affirme que l’IA aide les entreprises à « comprendre les risques liés à leurs communications », en obtenant une lecture de l’opinion des employés en temps réel, plutôt que de dépendre d’un rapport annuel ou biannuel. enquête annuelle.

Grâce aux données anonymisées du produit d’analyse d’Aware, les clients peuvent voir comment les employés d’un certain groupe d’âge ou dans une zone géographique particulière réagissent à une nouvelle politique d’entreprise ou à une campagne marketing, selon Schumann. Les dizaines de modèles d’IA d’Aware, conçus pour lire du texte et traiter des images, peuvent également identifier l’intimidation, le harcèlement, la discrimination, la non-conformité, la pornographie, la nudité et d’autres comportements, a-t-il déclaré.

L’outil d’analyse d’Aware, celui qui surveille les sentiments et la toxicité des employés, n’a pas la capacité de signaler les noms individuels des employés, selon Schumann. Mais son outil eDiscovery distinct peut le faire, en cas de menaces extrêmes ou d’autres comportements à risque prédéterminés par le client, a-t-il ajouté.

Aware a déclaré que Walmart, T-Mobile, Chevron et Starbucks utilisent sa technologie pour la gouvernance, les risques et la conformité, et que ce type de travail représente environ 80 % des activités de l’entreprise.

CNBC n’a pas reçu de réponse de Walmart, T-Mobile, Chevron, Starbucks ou Nestlé concernant leur utilisation d’Aware. Un représentant d’AstraZeneca a déclaré que la société utilise le produit eDiscovery mais qu’elle n’utilise pas d’analyse pour surveiller le sentiment ou la toxicité. Delta a déclaré à CNBC qu’elle utilisait les analyses et l’eDiscovery d’Aware pour surveiller les tendances et les sentiments afin de recueillir les commentaires des employés et d’autres parties prenantes, et pour la conservation des dossiers juridiques sur sa plateforme de médias sociaux.

Il n’est pas nécessaire d’être un passionné de romans dystopiques pour voir où tout pourrait mal tourner.

Jutta Williams, co-fondatrice de Humane Intelligence, une organisation à but non lucratif responsable de l’IA, a déclaré que l’IA ajoute une nouvelle ride potentiellement problématique aux soi-disant programmes de risque interne, qui existent depuis des années pour évaluer des choses comme l’espionnage industriel, en particulier dans les communications par courrier électronique.

Parlant de manière générale de l’IA de surveillance des employés plutôt que de la technologie d’Aware en particulier, Williams a déclaré à CNBC : « Une grande partie de cela devient un crime de pensée. » Elle a ajouté : « Cela revient à traiter les gens comme des stocks d’une manière que je n’ai jamais vue. »

L’IA de surveillance des employés est un élément en expansion rapide mais de niche d’un marché plus vaste de l’IA qui a explosé au cours de l’année écoulée, suite au lancement du chatbot ChatGPT d’OpenAI fin 2022. L’IA générative est rapidement devenue l’expression à la mode pour les appels de résultats d’entreprise, et une certaine forme de le la technologie automatise les tâches dans presque tous les secteurs, des services financiers et de la recherche biomédicale à la logistique, aux voyages en ligne et aux services publics.

Les revenus d’Aware ont bondi de 150 % par an en moyenne au cours des cinq dernières années, a déclaré Schumann à CNBC, et son client type compte environ 30 000 employés. Les principaux concurrents incluent Qualtrics, Relativity, Proofpoint, Smarsh et Netskope.

Selon les normes de l’industrie, Aware reste plutôt simple. La société a levé des fonds pour la dernière fois en 2021, lorsqu’elle a récolté 60 millions de dollars lors d’un cycle dirigé par Goldman Sachs Asset Management. Comparez cela avec le modèle de langage à grande échelle, ou LLM, des sociétés telles que OpenAI et Anthropic, qui ont chacune levé des milliards de dollars, en grande partie auprès de partenaires stratégiques.

Schumann a lancé l’entreprise en 2017 après avoir passé près de huit ans à travailler sur la collaboration d’entreprise au sein de la compagnie d’assurance Nationwide.

Avant cela, il était entrepreneur. Et Aware n’est pas la première entreprise qu’il a créée qui suscite des réflexions sur Orwell.

En 2005, Schumann a fondé une société appelée BigBrotherLite.com. Selon son profil LinkedIn, l’entreprise a développé un logiciel qui « a amélioré l’expérience de visionnage numérique et mobile » de la série télé-réalité CBS « Big Brother ». Dans le roman classique d’Orwell « 1984 », Big Brother était le chef d’un État totalitaire dans lequel les citoyens étaient sous surveillance perpétuelle.

« J’ai construit un lecteur simple axé sur une expérience de consommation plus propre et plus simple permettant aux gens de regarder l’émission télévisée sur leur ordinateur », a déclaré Schumann dans un e-mail.

Chez Aware, il fait quelque chose de très différent.

Chaque année, l’entreprise publie un rapport regroupant des informations sur des milliards de personnes. En 2023, le nombre était de 6,5 milliards de messages envoyés dans de grandes entreprises, tablant sur les facteurs de risque perçus et les scores de sentiment sur le lieu de travail. Schumann qualifie les milliards de messages envoyés chaque année sur les plateformes de communication sur le lieu de travail de « l’ensemble de données non structurées qui connaît la croissance la plus rapide au monde ».

En incluant d’autres types de contenu partagé, tels que des images et des vidéos, l’IA analytique d’Aware analyse plus de 100 millions d’éléments de contenu chaque jour. Ce faisant, la technologie crée un graphe social d’entreprise, identifiant quelles équipes en interne se parlent plus que d’autres.

« Il suit toujours le sentiment des employés en temps réel, ainsi que la toxicité en temps réel », a déclaré Schumann à propos de l’outil d’analyse. « Si vous étiez une banque utilisant Aware et que le sentiment du personnel augmentait au cours des 20 dernières minutes, c’est parce qu’ils parlent de quelque chose de positif, collectivement. La technologie serait capable de leur dire quoi que ce soit. »

Aware a confirmé à CNBC qu’il utilise les données de ses entreprises clientes pour former ses modèles d’apprentissage automatique. Le référentiel de données de l’entreprise contient environ 6,5 milliards de messages, représentant environ 20 milliards d’interactions individuelles entre plus de 3 millions d’employés uniques, a indiqué l’entreprise.

Lorsqu’un nouveau client s’inscrit à l’outil d’analyse, il faut environ deux semaines aux modèles d’IA d’Aware pour s’entraîner aux messages des employés et connaître les schémas d’émotion et de sentiment au sein de l’entreprise afin qu’elle puisse distinguer ce qui est normal et anormal, a déclaré Schumann.

« Il n’y aura pas de noms de personnes, pour protéger la vie privée », a déclaré Schumann. Au contraire, dit-il, les clients verront que « peut-être que la main-d’œuvre de plus de 40 ans dans cette partie des États-Unis voit les changements dans [a] politique très négativement en raison du coût, mais tout le monde en dehors de ce groupe d’âge et de ce lieu la voit positivement parce qu’elle les impacte d’une manière différente.

Mais l’outil eDiscovery d’Aware fonctionne différemment. Une entreprise peut configurer un accès basé sur les rôles aux noms des employés en fonction de la catégorie « risque extrême » choisie par l’entreprise, ce qui demande à la technologie d’Aware d’extraire le nom d’un individu, dans certains cas, pour les ressources humaines ou un autre représentant de l’entreprise.

« Certains des cas les plus courants sont la violence extrême, l’intimidation extrême, le harcèlement, mais cela varie selon le secteur », a déclaré Schumann, ajoutant que dans les services financiers, les délits d’initiés présumés seraient suivis.

Par exemple, un client peut spécifier une politique de « menaces violentes », ou toute autre catégorie, en utilisant la technologie d’Aware, a déclaré Schumann, et demander aux modèles d’IA de surveiller les violations dans Slack, Microsoft Teams et Workplace by Meta. Le client peut également associer cela à des indicateurs basés sur des règles pour certaines phrases, déclarations, etc. Si l’IA découvre quelque chose qui viole les politiques spécifiées d’une entreprise, elle peut fournir le nom de l’employé au représentant désigné du client.

Ce type de pratique est utilisé depuis des années dans les communications par courrier électronique. Ce qui est nouveau, c’est l’utilisation de l’IA et ses applications sur les plateformes de messagerie sur le lieu de travail telles que Slack et Teams.

Amba Kak, directeur exécutif de l’AI Now Institute de l’Université de New York, s’inquiète de l’utilisation de l’IA pour aider à déterminer ce qui est considéré comme un comportement à risque.

« Cela a un effet dissuasif sur ce que les gens disent sur le lieu de travail », a déclaré Kak, ajoutant que la Commission fédérale du commerce, le ministère de la Justice et la Commission pour l’égalité des chances en matière d’emploi ont tous exprimé leurs inquiétudes à ce sujet, même si elle n’a pas parlé spécifiquement de ce sujet. La technologie d’Aware. « Il s’agit autant de problèmes de droits des travailleurs que de problèmes de confidentialité. »

Schumann a déclaré que bien que l’outil eDiscovery d’Aware permette aux équipes d’enquête de sécurité ou de ressources humaines d’utiliser l’IA pour effectuer des recherches dans d’énormes quantités de données, une « capacité similaire mais basique existe déjà aujourd’hui » dans Slack, Teams et d’autres plateformes.

« Une distinction clé ici est qu’Aware et ses modèles d’IA ne prennent pas de décisions », a déclaré Schumann. « Notre IA facilite simplement l’analyse de ce nouvel ensemble de données pour identifier les risques potentiels ou les violations des politiques. »

Même si les données sont agrégées ou anonymisées, les recherches suggèrent qu’il s’agit d’un concept erroné. Une étude historique sur la confidentialité des données utilisant les données du recensement américain de 1990 a montré que 87 % des Américains pouvaient être identifiés uniquement en utilisant leur code postal, leur date de naissance et leur sexe. Les clients avertis qui utilisent son outil d’analyse ont le pouvoir d’ajouter des métadonnées au suivi des messages, telles que l’âge, l’emplacement, la division, l’ancienneté ou la fonction de l’employé.

« Ce qu’ils disent s’appuie sur une notion très dépassée et, je dirais, entièrement démystifiée à ce stade, selon laquelle l’anonymisation ou l’agrégation est comme une solution miracle pour résoudre les problèmes de confidentialité », a déclaré Kak.

De plus, selon des recherches récentes, le type de modèle d’IA utilisé par Aware peut être efficace pour générer des inférences à partir de données agrégées, en faisant des suppositions précises, par exemple sur les identifiants personnels en fonction de la langue, du contexte, des termes d’argot et plus encore.

« Aucune entreprise n’est essentiellement en mesure de donner des garanties complètes quant à la confidentialité et à la sécurité des LLM et de ce type de systèmes », a déclaré Kak. « Personne ne peut vous dire avec un visage impassible que ces défis sont résolus. »

Et qu’en est-il des recours des salariés ? Si une interaction est signalée et qu’un travailleur est sanctionné ou licencié, il est difficile pour lui d’offrir une défense s’il n’a pas accès à toutes les données impliquées, a déclaré Williams.

« Comment faites-vous face à votre accusateur quand on sait que l’explicabilité de l’IA est encore immature ? » » a déclaré Williams.

Schumann a répondu : « Aucun de nos modèles d’IA ne prend de décision ou de recommandation concernant la discipline des employés. »

« Lorsque le modèle signale une interaction », a déclaré Schumann, « il fournit un contexte complet sur ce qui s’est passé et quelle politique cela a déclenché, donnant aux équipes d’enquête les informations dont elles ont besoin pour décider des prochaines étapes, conformément aux politiques de l’entreprise et à la loi. »

MONTRE: L’IA est « vraiment en jeu ici » avec les récents licenciements technologiques