J’ai utilisé des outils de travail d’IA pour faire mon travail. Voici comment ça s’est passé.
Les entreprises technologiques affirment qu’elles aident les travailleurs à résoudre leurs plus gros problèmes. Microsoft et Google affirment que leurs derniers outils d’IA peuvent automatiser les choses banales, aider les personnes qui ont du mal à se lancer dans l’écriture et même les aider à l’organisation, à la relecture, à la préparation et à la création.
Parmi tous les adultes qui travaillent aux États-Unis, 34 % pensent que l’IA les aidera et les nuira à parts égales au cours des 20 prochaines années, selon une enquête publiée l’année dernière par le Pew Research Center. Mais près de 31 % ne savent pas trop quoi penser, selon l’enquête.
Le Help Desk a donc mis ces nouveaux outils d’IA à l’épreuve avec des tâches de travail courantes. Voici comment ça s’est passé.
Idéalement, l’IA devrait accélérer le rattrapage du courrier électronique, n’est-ce pas ? Pas toujours.
Cela peut vous aider à parcourir plus rapidement, à démarrer un e-mail ou à développer des points rapides que vous souhaitez aborder. Mais cela peut aussi faire des hypothèses, se tromper ou nécessiter plusieurs tentatives avant d’offrir le résultat souhaité.
Copilot de Microsoft permet aux utilisateurs de choisir parmi plusieurs tons et longueurs avant de commencer à rédiger. Les utilisateurs créent une invite indiquant ce qu’ils souhaitent que leur e-mail dise, puis demandent à l’IA de s’ajuster en fonction des changements qu’ils souhaitent voir.
Même si l’IA incluait souvent les éléments souhaités dans la réponse, elle ajoutait également souvent des déclarations que nous n’avions pas demandées dans l’invite lorsque nous sélectionnions des options courtes et informelles. Par exemple, lorsque nous lui avons demandé de divulguer que l’e-mail avait été rédigé par Copilot, il a parfois ajouté des commentaires marketing tels que qualifier le technicien de cool ou supposer que l’e-mail était intéressant ou fascinant.
Lorsque nous lui avons demandé de rendre l’e-mail moins positif, au lieu de diminuer l’enthousiasme, cela a rendu l’e-mail négatif. Et si on apportait trop de modifications, on perdait de vue la demande initiale.
Ils hallucinent, a déclaré Ethan Mollick, professeur agrégé à la Wharton School de l’Université de Pennsylvanie qui étudie les effets de l’IA sur le travail. C’est ce que fait l’IA pour créer des détails.
Lorsque nous utilisions un ton direct et une courte durée, l’IA produisait moins de fausses hypothèses et davantage de résultats souhaités. Mais à quelques reprises, il a renvoyé un message d’erreur suggérant que l’invite contenait du contenu avec lequel Copilot ne pouvait pas fonctionner.
Si nous dépendions entièrement de l’IA, au lieu d’apporter des modifications manuelles majeures aux suggestions, obtenir une réponse appropriée prenait souvent plusieurs, voire plusieurs, essais. Même alors, un collègue a répondu à un e-mail généré par l’IA avec une réponse simple à la gêne : MDR.
Nous l’avons appelé Copilot pour une raison, a déclaré Colette Stallbaumer, directrice générale de Microsoft 365 et du marketing du futur du travail. Ce n’est pas un pilote automatique.
Google Gemini propose moins d’options pour rédiger des e-mails, permettant aux utilisateurs d’élaborer, de formaliser ou de raccourcir. Cependant, il faisait moins d’hypothèses et s’en tenait souvent uniquement à ce qui figurait dans l’invite. Cela dit, cela semble parfois robotique.
Copilot peut également résumer les e-mails, ce qui peut vous aider rapidement à rattraper un long fil de discussion ou à parcourir le mini-roman verbeux de vos collègues, et il propose des citations cliquables. Mais cela mettait parfois en avant des points moins pertinents par exemple, me rappelant mon propre titre inscrit dans ma signature.
L’IA semblait faire mieux lorsqu’elle était alimentée en documents ou en données. Mais il lui arrivait encore d’inventer des choses, de renvoyer des messages d’erreur ou de ne pas comprendre le contexte.
Nous avons demandé à Copilot d’utiliser un document rempli de notes de journalistes, certes remplies de sténographies, de fragments et de phrases interminables, et lui avons demandé de rédiger un rapport. À première vue, le résultat semblait convaincant que l’IA avait donné un sens aux notes désordonnées. Mais après un examen plus approfondi, il n’était pas clair si quoi que ce soit provenait réellement du document, car les conclusions étaient larges, excessives et ne comprenaient pas de citations.
Si vous lui donnez un document sur lequel travailler, il peut l’utiliser comme base, a déclaré Mollick. Il peut avoir moins d’hallucinations, mais de manière plus subtile et plus difficile à identifier.
Lorsque nous lui avons demandé de poursuivre une histoire que nous avions commencé à écrire, en lui fournissant un document rempli de notes, il a résumé ce que nous avions déjà écrit et a produit quelques paragraphes supplémentaires. Mais il est devenu clair qu’une grande partie de ces éléments ne provenait pas du document fourni.
Fondamentalement, ce sont des algorithmes spéculatifs, a déclaré Hatim Rahman, professeur adjoint à la Kellogg School of Management de l’Université Northwestern, qui étudie l’impact de l’IA sur le travail. Ils ne comprennent pas comme les humains. Ils fournissent la réponse statistiquement probable.
Les résumés étaient moins problématiques et les citations cliquables permettaient de confirmer facilement chaque point. Copilot a également été utile pour éditer des documents, capturant souvent des acronymes qui devaient être épelés et résolvant les problèmes de ponctuation ou de concision, un peu comme un outil de vérification orthographique renforcé.
Avec les feuilles de calcul, l’IA peut être un peu délicate et vous devez d’abord convertir les données au format tableau. Copilot a produit des réponses plus précises aux questions sur les tableaux avec des formats simples. Mais pour les feuilles de calcul plus volumineuses comportant des catégories et des sous-catégories ou d’autres répartitions complexes, nous ne parvenions pas à trouver des informations pertinentes ou à identifier avec précision les tendances ou les points à retenir.
Réunions et présentations
Microsoft affirme que l’un des meilleurs endroits où les utilisateurs peuvent utiliser Copilot est Teams, l’application de collaboration qui propose des outils tels que le chat et les réunions vidéo. Notre test a montré que l’outil peut être utile pour des notes de réunion rapides, des questions sur des détails spécifiques et même quelques conseils pour améliorer vos réunions. Mais comme c’est généralement le cas pour d’autres outils d’IA de réunion, la transcription n’est pas parfaite.
Tout d’abord, les utilisateurs doivent savoir que leur administrateur doit activer les transcriptions afin que Copilot puisse interagir avec la transcription pendant et après la réunion, ce que nous avions initialement manqué. Ensuite, pendant ou après la réunion, les utilisateurs peuvent utiliser Copilot pour poser des questions sur la réunion. Nous avons demandé des questions sans réponse, des mesures à prendre, un récapitulatif de la réunion, des détails spécifiques et comment nous aurions pu rendre la réunion plus efficace. Il peut également afficher des clips vidéo correspondant à des réponses spécifiques si vous enregistrez la réunion.
L’IA a pu se souvenir de plusieurs détails, lister avec précision les actions à entreprendre et les questions restées sans réponse, et donner un récapitulatif avec des citations de la transcription. Certaines de ses réponses étaient un peu confuses, comme lorsqu’il confondait le nom d’un lieu avec l’emplacement et aboutissait à quelque chose qui ressemblait un peu à une salade de mots. Il a pu identifier le ton de la réunion (amical et décontracté, avec des blagues et des plaisanteries) et censuré les injures avec des astérisques. Et il a fourni des conseils pour des réunions plus efficaces : pour nous, cela signifiait créer un ordre du jour de réunion et réduire les bavardages et les blagues qui faisaient sortir la conversation du sujet.
Copilot peut également aider les utilisateurs à réaliser une présentation PowerPoint, complète avec les pages de titre et les images correspondantes, basée sur un document en quelques secondes. Mais cela ne signifie pas que vous devez utiliser la présentation telle quelle.
L’organisation et le format des documents semblent jouer un rôle dans le résultat. Dans un cas, Copilot a créé un agenda avec des mots et des dates aléatoires tirés du document. D’autres fois, il s’agissait d’une diapositive avec simplement le nom et la responsabilité d’une personne. Mais il a produit de meilleurs documents avec des formats clairs (pensez à une introduction et des sous-sections).
Bien que la génération d’images Copilots pour les diapositives soit généralement liée, son interprétation était parfois trop littérale. Google Gemini peut également aider à créer des diapositives et à générer des images, bien que le plus souvent lorsqu’on essaie de créer des images, nous avons reçu un message disant : Pour l’instant, nous montrons des résultats limités pour les gens. Essayez autre chose.
L’IA peut aider à générer des idées, à rédiger à partir d’une page blanche ou à trouver rapidement un élément spécifique. Cela peut également être utile pour rattraper son retard sur les e-mails, les réunions et résumer de longues conversations ou documents. Une autre astuce astucieuse ? Copilot peut rassembler les dernières discussions, e-mails et documents sur lesquels vous avez travaillé avec votre patron avant votre prochaine réunion ensemble.
Mais tous les résultats et contenus nécessitent une inspection minutieuse pour en vérifier l’exactitude, quelques ajustements ou des modifications approfondies, et les deux sociétés technologiques conseillent aux utilisateurs de vérifier tout ce qui est généré par l’IA. Je ne veux pas que les gens abdiquent leurs responsabilités, a déclaré Kristina Behr, vice-présidente de la gestion des produits pour les applications de collaboration chez Google Workspace. Cela vous aide à faire votre travail. Cela ne fait pas votre travail.
Et comme c’est le cas avec l’IA, plus l’invite contient de détails et d’orientations, meilleur est le résultat. Ainsi, au fur et à mesure que vous effectuez chaque tâche, vous souhaiterez peut-être vous demander si l’IA vous fera gagner du temps ou créera réellement plus de travail.
Le travail nécessaire pour générer des résultats tels que des textes et des vidéos a diminué, a déclaré Rahman. Mais le travail de vérification s’est considérablement accru.