AIs 6 pires scénarios

Le pire des cas d’Hollywood Le scénario impliquant l’intelligence artificielle (IA) est familier comme un film de science-fiction à succès : les machines acquièrent une intelligence semblable à celle des humains, atteignent la sensibilité et se transforment inévitablement en seigneurs maléfiques qui tentent de détruire la race humaine. Ce récit capitalise sur notre peur innée de la technologie, reflet du changement profond qui accompagne souvent les nouveaux développements technologiques.

Cependant, comme Malcolm Murdock, ingénieur en apprentissage automatique et auteur du roman 2019
Le prix quantique, le dit, l’IA n’a pas besoin d’être sensible pour nous tuer tous. Il existe de nombreux autres scénarios qui nous anéantiront avant que l’IA sensible ne devienne un problème.

Nous entrons dans un territoire dangereux et inexploré avec la montée en puissance de la surveillance et du suivi grâce aux données, et nous n’avons presque aucune compréhension des implications potentielles.
Andrew Lohn, Université de Georgetown

Dans des entretiens avec des experts en IA,
Spectre IEEE a découvert six pires scénarios d’IA du monde réel qui sont beaucoup plus banals que ceux décrits dans les films. Mais ils n’en sont pas moins dystopiques. Et la plupart n’ont pas besoin d’un dictateur malveillant pour les mener à bien. Au contraire, ils pourraient simplement se produire par défaut, se déroulant de manière organique, c’est-à-dire si rien n’est fait pour les arrêter. Pour éviter ces pires scénarios, nous devons abandonner nos notions de culture pop sur l’IA et prendre au sérieux ses conséquences imprévues.

1. Quand la fiction définit notre réalité

Une tragédie inutile peut frapper si nous permettons à la fiction de définir notre réalité. Mais quel choix y a-t-il quand on ne sait pas faire la différence entre ce qui est vrai et ce qui est faux dans le monde numérique ?

Dans un scénario terrifiant, l’augmentation des images, des vidéos, des sons et des textes deepfakes générés à l’aide d’outils avancés d’apprentissage automatique pourrait un jour amener les décideurs de la sécurité nationale à prendre des mesures concrètes sur la base de fausses informations, conduisant à une crise majeure, ou pire encore, une guerre.

Andrew Lohn, chercheur principal au Georgetown Universitys Center for Security and Emerging Technology (CSET), déclare que les systèmes compatibles avec l’IA sont désormais capables de générer de la désinformation à [large scales]. En produisant de plus grands volumes et une plus grande variété de faux messages, ces systèmes peuvent masquer leur vraie nature et optimiser leur succès, améliorant ainsi l’impact souhaité au fil du temps.

La simple notion de deepfakes en période de crise peut également amener les dirigeants à hésiter à agir si la validité des informations ne peut être confirmée en temps opportun.

Marina Favaro, chercheuse à l’Institut de recherche et de politique de sécurité à Hambourg, en Allemagne, note que les deepfakes compromettent notre confiance dans les flux d’informations par défaut. L’action et l’inaction causées par les deepfakes ont le potentiel de produire des conséquences désastreuses pour le monde.

2. Une course dangereuse vers le bas

Lorsqu’il s’agit d’IA et de sécurité nationale, la vitesse est à la fois le point et le problème. Étant donné que les systèmes compatibles avec l’IA confèrent de plus grands avantages en termes de vitesse à leurs utilisateurs, les premiers pays à développer des applications militaires bénéficieront d’un avantage stratégique. Mais quels principes de conception pourraient être sacrifiés dans le processus ?

Les choses pourraient se défaire des plus petites failles du système et être exploitées par des pirates. Helen Toner, directrice de la stratégie au CSET, suggère qu’une crise pourrait commencer comme un point de défaillance unique inoffensif qui rend toutes les communications sombres, provoquant la panique des gens et l’arrêt de l’activité économique. Un manque persistant d’informations, suivi d’autres erreurs de calcul, peut conduire à une situation incontrôlable.

Vincent Boulanin, chercheur principal à l’Institut international de recherche sur la paix de Stockholm (SIPRI), en Suède, prévient que des catastrophes majeures peuvent se produire lorsque les grandes puissances coupent les coins ronds afin de gagner l’avantage d’y arriver en premier. Si un pays privilégie la vitesse à la sécurité, aux tests ou à la surveillance humaine, ce sera une course dangereuse vers le bas.

Par exemple, les responsables de la sécurité nationale peuvent être tentés de déléguer les décisions de commandement et de contrôle, supprimant la surveillance humaine des modèles d’apprentissage automatique que nous ne comprenons pas parfaitement, afin d’obtenir un avantage de vitesse. Dans un tel scénario, même un lancement automatisé de systèmes de défense antimissile initié sans autorisation humaine pourrait produire une escalade involontaire et conduire à une guerre nucléaire.

3. La fin de la vie privée et du libre arbitre

À chaque action numérique, nous produisons de nouveaux e-mails de données, textes, téléchargements, achats, publications, selfies et emplacements GPS. En permettant aux entreprises et aux gouvernements d’avoir un accès illimité à ces données, nous remettons les outils de surveillance et de contrôle.

Avec l’ajout de la reconnaissance faciale, de la biométrie, des données génomiques et de l’analyse prédictive basée sur l’IA, Lohn de CSET craint que nous entrions en territoire dangereux et inexploré avec l’augmentation de la surveillance et du suivi des données, et nous n’avons presque aucune compréhension du potentiel implications.

Michael C. Horowitz, directeur de Perry World House, à l’Université de Pennsylvanie, met en garde contre la logique de l’IA et ce que cela signifie pour la répression domestique. Dans le passé, la capacité des autocrates à réprimer leurs populations reposait sur un groupe important de soldats, dont certains pouvaient se ranger du côté de la société et mener un coup d’État. L’IA pourrait réduire ce genre de contraintes.

La puissance des données, une fois collectées et analysées, s’étend bien au-delà des fonctions de contrôle et de surveillance pour permettre un contrôle prédictif. Aujourd’hui, les systèmes compatibles avec l’IA prédisent quels produits achètent bien, quels divertissements regardent bien et quels liens cliquent bien. Lorsque ces plates-formes nous connaissent bien mieux que nous ne nous connaissons nous-mêmes, nous pouvons ne pas remarquer le lent glissement qui nous prive de notre libre arbitre et nous soumet au contrôle de forces externes.

Mike McQuade

4. Une boîte de skinner humain

La capacité des enfants à retarder la gratification immédiate, à attendre la deuxième guimauve, était autrefois considérée comme un prédicteur majeur de réussite dans la vie. Bientôt, même les enfants de la deuxième guimauve succomberont au conditionnement alléchant des algorithmes basés sur l’engagement.

Les utilisateurs de médias sociaux sont devenus des rats dans des expériences de laboratoire, vivant dans des boîtes Skinner humaines, collés aux écrans de leurs smartphones, obligés de sacrifier un temps et une attention plus précieux aux plateformes qui en profitent à leurs dépens.

Helen Toner de CSET dit que les algorithmes sont optimisés pour garder les utilisateurs sur la plate-forme aussi longtemps que possible. En offrant des récompenses sous forme de likes, de commentaires et de suivis, explique Malcolm Murdock, les algorithmes court-circuitent le fonctionnement de notre cerveau, rendant notre prochain engagement irrésistible.

Pour maximiser les profits publicitaires, les entreprises détournent notre attention de notre travail, de notre famille et de nos amis, de nos responsabilités et même de nos passe-temps. Pour aggraver les choses, le contenu nous fait souvent sentir misérable et pire qu’avant. Toner avertit que plus nous passons de temps sur ces plateformes, moins nous passons de temps à poursuivre une vie positive, productive et épanouissante.

5. La tyrannie de la conception d’IA

Chaque jour, nous confions une plus grande partie de notre vie quotidienne à des machines compatibles avec l’IA. C’est problématique car, comme l’observe Horowitz, nous n’avons pas encore complètement compris le problème des biais dans l’IA. Même avec les meilleures intentions, la conception des systèmes activés par l’IA, à la fois les données de formation et les modèles mathématiques, reflète les expériences et les intérêts étroits des personnes biaisées qui les programment. Et nous avons tous nos préjugés.

En conséquence, Lydia Kostopoulos, vice-présidente senior des connaissances technologiques émergentes chez KnowBe4, société de sécurité informatique basée à Clearwater, en Floride, affirme que de nombreux systèmes compatibles avec l’IA ne prennent pas en compte les diverses expériences et caractéristiques de différentes personnes. Étant donné que l’IA résout les problèmes sur la base de perspectives et de données biaisées plutôt que sur les besoins uniques de chaque individu, de tels systèmes produisent un niveau de conformité qui n’existe pas dans la société humaine.

Même avant l’essor de l’IA, la conception d’objets communs dans notre vie quotidienne s’adressait souvent à un type particulier de personne. Par exemple, des études ont montré que les voitures, les outils portatifs, y compris les téléphones portables, et même les réglages de température dans les environnements de bureau ont été établis pour convenir à l’homme de taille moyenne, mettant les personnes de tailles et de morphologies diverses, y compris les femmes, au premier plan. désavantagés et parfois plus menacés pour leur vie.

Lorsque les individus qui ne respectent pas la norme biaisée sont négligés, marginalisés et exclus, l’IA se transforme en un gardien kafkaïen, refusant l’accès au service client, aux emplois, aux soins de santé et bien plus encore. Les décisions de conception de l’IA peuvent restreindre les gens plutôt que les libérer des préoccupations quotidiennes. Et ces choix peuvent également transformer certains des pires préjugés humains en pratiques d’embauche et d’hypothèque racistes et sexistes, ainsi qu’en prononcés de peines profondément erronés et biaisés.

6. La peur de l’IA prive l’humanité de ses avantages

Étant donné que l’IA d’aujourd’hui fonctionne sur des ensembles de données, des modèles statistiques avancés et des algorithmes prédictifs, le processus de construction de l’intelligence des machines se concentre finalement sur les mathématiques. Dans cet esprit, a déclaré Murdock, l’algèbre linéaire peut faire des choses incroyablement puissantes si elle n’est pas prudente. Mais que se passe-t-il si les gens ont tellement peur de l’IA que les gouvernements la réglementent d’une manière qui prive l’humanité de nombreux avantages de l’IA ? Par exemple, le programme DeepMinds AlphaFold a réalisé une percée majeure dans la prédiction de la façon dont les acides aminés se replient dans les protéines, permettant aux scientifiques d’identifier la structure de 98,5% des protéines humaines. Ce jalon fournira une base fructueuse pour l’avancement rapide des sciences de la vie. Considérez les avantages d’une communication améliorée et d’une compréhension interculturelle rendues possibles par une traduction transparente dans n’importe quelle combinaison de langues humaines, ou l’utilisation de systèmes compatibles avec l’IA pour identifier de nouveaux traitements et remèdes contre les maladies. Les mesures réglementaires instinctives des gouvernements pour se protéger contre les pires scénarios de l’IA pourraient également se retourner contre nous et produire leurs propres conséquences négatives imprévues, dans lesquelles nous avons tellement peur de la puissance de cette formidable technologie que nous refusons de l’exploiter pour le bien réel qu’elle peut faire dans le monde.

Cet article apparaît dans le numéro imprimé de janvier 2022 sous le titre « IAs Real Worst-Case Scenarios ».