Revue | TurboTax et H&R Block utilisent désormais l’IA pour les conseils fiscaux. C’est affreux.

Voici un exemple : où votre enfant doit-il déclarer ses impôts s’il va à l’université à l’extérieur de l’État ? Lorsque j’ai demandé, le robot Intuit Assist de TurboTaxs a offert des conseils non pertinents sur les crédits d’impôt et les extensions. Le robot H&R Blocks AI Tax Assist m’a donné la fausse impression qu’elle devait déposer ses déclarations aux deux endroits. (La bonne réponse : elle ne dépose une déclaration dans l’autre État que si elle y a gagné un revenu.)

Question après question, j’ai reçu bon nombre des mêmes réponses aléatoires, trompeuses ou inexactes de l’IA.

Que se passe-t-il? Nous avons tous entendu parler des incroyables possibilités de l’IA générative. Mais nous devons maintenant parcourir un défilé de terribles produits d’IA, alors que les entreprises intègrent une IA encore expérimentale dans les choses de tous les jours. Pour les consommateurs, c’est à nous de trouver comment évaluer chaque nouvelle IA que nous rencontrons. (Vous rencontrez une IA qui nécessite une enquête ? Envoyez-moi un e-mail.)

La bonne nouvelle est que vous pouvez ignorer complètement les chatbots tout en continuant à faire vos impôts. Mon expérience montre que nous devrions nous méfier particulièrement de l’IA générative lorsqu’elle entraîne des conséquences réelles si elle est erronée. Et nous ne pouvons pas nécessairement faire confiance aux entreprises qui expérimentent l’IA pour prendre les bonnes décisions afin de protéger nos intérêts.

J’ai testé l’IA de TurboTax et de H&R Block avec l’aide de deux vrais professionnels de la fiscalité que j’ai recrutés chez EP Wealth Advisors, une société indépendante de gestion de patrimoine. L’IA d’auto-assistance de TurboImpôt, à laquelle vous accédez en cliquant sur le point d’interrogation dans un cercle dans le coin supérieur droit de l’écran, a raté plus de la moitié des 16 questions du test. demandé. Le plus souvent, il donnait des réponses totalement hors de propos. Après avoir partagé mes résultats avec Intuit, le créateur de TurboTax, la société a modifié en partie la façon dont le robot sélectionne ses réponses. Mais sa nouvelle version d’Intuit Assist s’est toujours révélée inutile sur un quart des questions.

H&R Blocks AI a donné des réponses inutiles à plus de 30 % des questions. Il a bien fonctionné sur 529 plans et déductions hypothécaires, mais a recommandé avec confiance un statut de dépôt incorrect et a décrit par erreur les directives de l’IRS sur la crypto-monnaie.

Je pense que mon travail en tant que fiscaliste est très sûr, a déclaré Beverly Goodman, responsable fiscale chez EP Wealth, qui m’a aidé à analyser les conseils de l’IA.

Les deux sociétés incluent un texte sous leurs chatbots les décrivant comme des travaux en cours. Intuit Assist est toujours en développement et s’améliorera avec votre aide, déclare TurboTax. Al Tax Assist est un assistant numérique en cours d’apprentissage, veuillez donc consulter toutes les réponses, déclare H&R Block.

C’est clair : lorsque les petits caractères d’un produit disent de ne pas nous faire confiance, vous ne devriez pas le faire.

Les deux sociétés affirment que les risques pour les préparateurs de déclarations de revenus sont limités car ils n’utilisent pas l’IA pour calculer les impôts uniquement pour répondre aux questions et aider les gens à comprendre leurs déclarations. Ils ont tous deux contesté mes tests, affirmant que leurs réponses en matière d’IA ne pouvaient pas être vues en dehors de leur offre plus large de préparation d’impôts, qui comprend un logiciel plus traditionnel pour vérifier les déclarations. Les deux sociétés proposent également un moyen de poser vos questions à des agents humains, bien que dans le cas de TurboTax, cela entraîne généralement des frais supplémentaires.

Mais imaginez simplement que quelqu’un s’appuie sur les mauvais conseils du chatbot pour prendre des décisions critiques sur les éléments à signaler, ou même sur le statut de dépôt à utiliser. Être audité est tout simplement terrifiant ; donc, dans une moindre mesure, vous perdez encore plus de temps à déclarer vos impôts. Les réponses fausses et inutiles sont fausses et inutiles. Période.

Mes résultats sont anecdotiques. Les deux sociétés ont refusé de divulguer leurs propres données sur l’exactitude et la pertinence de leur chatbot. Mais si un journaliste et quelques fiscalistes peuvent si facilement repérer les failles de leur IA, je me demande pourquoi ces entreprises ne l’ont pas fait. Ou pire : peut-être qu’ils s’en fichaient.

Comment les robots fiscaux ont déraillé

Intuit et H&R Block m’ont tous deux expliqué que l’objectif de l’intégration de l’IA dans leurs produits était d’aider les utilisateurs à répondre à des questions qui les amèneraient autrement à se tourner vers Google pour obtenir des réponses potentiellement peu fiables. Cela pourrait vous faire gagner du temps ou économiser les frais liés à une conversation avec un expert humain (que, je suppose, ces entreprises sont motivées à essayer de réduire).

Mais dans les performances de ces chatbots, nous pouvons constater des limites dans l’état actuel de l’art de l’IA qui auraient dû être des signaux d’alarme pour les produits où la précision est primordiale.

Les entreprises utilisent l’IA générative de différentes manières. Intuit l’a intégré à TurboTax à plusieurs fins : fournir une assistance autonome aux questions des utilisateurs, fournir des commentaires supplémentaires pendant le processus de dépôt, fournir des explications personnalisées sur les déclarations terminées et traduire son service en espagnol. Mes tests se sont concentrés sur cette première partie, les questions-réponses, car elle semblait la plus utile.

Les réponses que vous recevez sont un mélange de réponses écrites et de liens vers des pages rédigées par le personnel de TurboImpôt et sa communauté d’experts d’entraide. Intuit a déclaré que le robot est un hybride du système d’auto-assistance dont il disposait depuis des années et d’une nouvelle technologie d’IA générative conçue pour aider les personnes ayant des questions moins courantes.

Lors de mon premier test, l’IA m’a fréquemment dirigé vers des résultats rédigés par la communauté TurboImpôt. Mais il a fait un très mauvais travail pour trouver des réponses pertinentes, renvoyant parfois vers des pages qui laissaient une mauvaise impression sur ce que devrait être la réponse. Cela m’a rappelé le vieux Clippy inutile de Microsoft Office.

Pourquoi l’IA était-elle si hors sujet ? Notre technologie héritée était positionnée pour être le premier endroit d’où Intuit Assist tirait des réponses, a déclaré la porte-parole d’Intuit, Karen Nolan. Nous avons maintenant mis à jour cela afin que les réponses d’auto-assistance d’Intuit Assists soient d’abord extraites d’une capacité de recherche plus avancée et à multiples facettes.

Après qu’Intuit ait mis à jour son logiciel, ma deuxième série de tests a donné lieu à de nombreuses réponses plus correctes et simples, comme à des questions sur la demande de crédits d’impôt pour l’éducation et un nouveau climatiseur. Mais le chatbot a quand même répondu avec des réponses et des liens vers des informations non pertinentes un quart du temps.

H&R Blocks AI est une partie plus importante de son site Web et constitue davantage un chatbot typique dans la veine de ChatGPT. H&R Block m’a dit qu’il utilisait la technologie sous-jacente de Microsoft et qu’il l’avait spécifiquement formé pour obtenir des réponses de son institut fiscal interne.

Ses réponses à mes questions étaient plus pertinentes, mais il était également plus susceptible d’inventer des réponses tout simplement fausses. Par exemple, sur la recommandation d’un fiscaliste, j’ai posé une question spécifique sur les crypto-monnaies : devez-vous déclarer les transactions dites de lavage, dont le résultat est nul ? Le robot H&R Blocks a déclaré que l’IRS ne s’était pas prononcé sur la question. Mais ce n’est pas vrai, et les règles de vente de lavage ne s’appliquent pas à la cryptographie.

La société affirme avoir organisé les réponses d’AI Tax Assists en utilisant les questions les plus courantes qu’elle a reçues des clients au cours de l’année précédente, de sorte que des questions de niche comme celle sur les règles de vente de cryptographie peuvent ne pas être entièrement traitées.

H&R Block a également suggéré que mes questions manquaient de spécificité et de clarté dont l’IA a besoin pour être efficace.

Imaginez si vous receviez ce genre d’excuses de la part d’un préparateur de déclarations de revenus humain.

Les utilisateurs ne sont pas des cobayes

De toute évidence, les deux robots nécessitaient davantage de travail. Alors pourquoi les mettre dans un produit utilisé par de vraies personnes stressées à l’idée de faire de vraies taxes ?

Les entreprises semblent avoir une barre différente de la mienne en ce qui concerne ce qui est responsable. Ils pensent que c’est normal de donner de mauvaises réponses à certaines personnes, à condition que certaines personnes en obtiennent de bons et le système continue de s’améliorer. En d’autres termes, ils étaient leurs cobayes.

La fonctionnalité de questions et réponses que j’ai testée en est encore à ses débuts et ne représente qu’une petite partie de l’utilisation plus large de l’IA dans TurboTax, a déclaré Intuits Nolan. Au cours de notre première année seulement, nous continuons d’innover sur Intuit Assist et sur la manière de mieux servir nos clients, a-t-elle déclaré.

Mon point de vue : si l’IA est présente dans votre produit, elle doit fonctionner.

La porte-parole de H&R Block, Teri Daley, a écrit dans un e-mail : Est-ce parfait, non. Est-ce que ce sera le cas un jour, probablement pas. Principalement parce que nous avons un système fiscal très compliqué avec une formulation ambiguë.

Elle poursuit : Nous croyons que nous sommes très prudents en plaçant le texte directement au-dessus de la zone d’invite pour rappeler aux individus de confirmer leurs réponses. Nous sommes convaincus que les autres fonctionnalités intégrées au logiciel DIY, telles que l’entretien guidé et la possibilité pour les particuliers de se connecter gratuitement à un Tax Pro, sont ce qui garantit en fin de compte un retour correct.

L’inclusion d’une clause de non-responsabilité n’est pas prudente, car elle transfère la responsabilité aux utilisateurs qui ne sont probablement pas en mesure d’évaluer la situation. Être responsable impliquerait de tester et d’améliorer le produit en coulisses jusqu’à ce qu’il puisse donner les bonnes réponses aux questions et sache dire je ne sais pas quand il ne le fait pas.

H&R Block a également vanté le fait qu’il offre un accès à des agents humains sans frais supplémentaires. C’est une bonne chose, mais sur des sujets fiscaux complexes, il faut souvent déjà être un fiscaliste pour savoir que l’une des réponses de l’IA est suspecte.

Une entreprise qui commercialise l’IA en tant que source d’information ne devrait-elle pas être responsable des dommages qui en découlent ? Malheureusement, sans lois plus strictes, les clauses de non-responsabilité en petits caractères pourraient suffire à protéger Intuit et H&R Block de toute responsabilité légale pour vous avoir donné de mauvais conseils.

Au moins, ils font ce qu’il faut sur un front : les deux sociétés me disent qu’elles garantissent l’exactitude de votre déclaration de revenus finale et qu’elles vous fourniront une assistance si vous êtes audité parce que vous avez écouté les mauvais conseils de leur IA. Espérons que cela passe par un humain, et non par un chatbot.