Un groupe de réflexion lié aux milliardaires de la technologie a joué un rôle clé dans l’ordre de Biden en matière d’IA

Les altruistes efficaces concentrent désormais une grande partie de leur attention sur l’IA et poussent de plus en plus Washington à s’attaquer au potentiel apocalyptique des technologies, y compris le risque que les IA avancées puissent un jour être utilisées pour développer des armes biologiques. Les critiques affirment que les mouvements axés sur les risques spéculatifs futurs servent les intérêts des grandes entreprises technologiques en détournant l’attention des décideurs politiques des méfaits existants de l’IA, y compris sa tendance à promouvoir les préjugés raciaux ou à saper la protection des droits d’auteur.

Le lien entre les idées altruistes efficaces et l’industrie de l’IA est déjà étroit. De nombreux membres du personnel clé des plus grandes entreprises d’IA sont des partisans d’un altruisme efficace. Aujourd’hui, RAND, un groupe de réflexion influent vieux de plusieurs décennies, sert de véhicule puissant par lequel ces idées pénètrent dans la politique américaine.

Chez RAND, le PDG Jason Matheny et le scientifique principal de l’information Jeff Alstott sont des altruistes efficaces bien connus, et les deux hommes ont des liens avec l’administration Biden : ils ont travaillé ensemble au Bureau de la politique scientifique et technologique de la Maison Blanche et au Conseil de sécurité nationale avant de rejoindre RAND. l’année dernière.

Le porte-parole de RAND, Jeffrey Hiday, a confirmé que le personnel de RAND, y compris Alstott, avait été impliqué dans la rédaction des exigences en matière de reporting et d’autres parties du décret sur l’IA. Hiday a déclaré que RAND existe pour (mener) des recherches et des analyses sur des sujets critiques d’actualité, (et) ensuite (partager) ces recherches, analyses et expertises avec les décideurs politiques.

RAND a reçu plus de 15 millions de dollars en subventions discrétionnaires sur l’IA et la biosécurité d’Open Philanthropy plus tôt cette année. Le groupe altruiste efficace a des liens personnels et financiers avec les sociétés d’IA Anthropic et OpenAI, et les hauts dirigeants de RAND ont été étroitement liés aux structures d’entreprise clés de ces sociétés.

Matheny est l’un des cinq membres d’Anthropics Long-Term Benefit Trust. Et Tasha McCauley, scientifique adjointe de la direction de RAND, qui aurait une peur profondément ancrée de l’apocalypse de l’IA, a quitté le conseil d’administration d’OpenAI le mois dernier après avoir tenté de destituer de son poste le PDG d’OpenAI, Sam Altman.

Deux boursiers en IA financés par l’Horizon Institute for Public Service, une organisation financée par Open Philanthropy qui place du personnel à travers Washington pour travailler sur les risques existentiels et d’autres questions politiques liées à l’IA et aux biotechnologies travaillent à RAND. Ces boursiers font partie d’un réseau plus large, financé par Open Philanthropy et d’autres groupes liés à la technologie, qui finance le personnel de l’IA au Congrès, dans les agences fédérales et dans les principaux groupes de réflexion de Washington.

L’influence croissante de RAND sur la politique en matière d’IA à la Maison Blanche survient alors que ses employés ont commencé à exprimer leurs inquiétudes quant à la nouvelle association des groupes de réflexion avec un altruisme efficace.

Lors d’une réunion générale des employés de RAND le 25 octobre, dont un enregistrement audio a été obtenu par POLITICO, un employé craignait que la relation de RAND avec Open Philanthropy ne porte atteinte à sa réputation rigoureuse et objective en faveur de l’avancement du programme d’altruisme efficace.

Dans le même enregistrement, Matheny a déclaré que RAND avait aidé la Maison Blanche à rédiger le décret sur l’IA. Signé le 30 octobre, l’ordonnance impose de nouvelles exigences générales en matière de reporting aux entreprises à la pointe de l’IA et de la biotechnologie. Ces exigences donnent du mordant à l’approche de l’administration Biden en matière d’IA et elles ont été fortement influencées par Alstott et d’autres membres du personnel de RAND.

Un chercheur en IA connaissant la rédaction des décrets, qui a demandé l’anonymat en raison de la sensibilité du sujet, a déclaré à POLITICO qu’Alstott et d’autres membres du personnel de RAND avaient fourni une aide substantielle à la Maison Blanche lors de la rédaction du décret. Le chercheur a déclaré qu’Alstott et d’autres personnes chez RAND étaient particulièrement impliqués dans l’élaboration des exigences en matière de reporting figurant dans la section 4.

Entre autres choses, l’article 4 de l’ordonnance exige que les entreprises fournissent des informations détaillées sur le développement de modèles d’IA avancés et sur les grands groupes de micropuces utilisés pour leur formation. Il impose également des exigences de sécurité plus strictes pour ces modèles d’IA, met en œuvre de nouveaux mécanismes de sélection pour les entreprises de biotechnologie impliquées dans la synthèse génétique et promeut des règles de connaissance du client pour les entreprises d’IA et de biotechnologie.

Bon nombre des aspects les plus spécifiques du décret étaient des idées précédemment défendues par Alstott. Les six recommandations politiques globales formulées par Alstott lors d’une audition au Sénat en septembre sur les menaces basées sur l’IA ont trouvé leur place dans la section 4 d’une manière ou d’une autre. Cela inclut le seuil exact auquel les entreprises sont tenues de communiquer des informations sur les modèles d’IA avancés. Alstott et la Maison Blanche fixent ce seuil à plus de 10^26 opérations.

Lors de la réunion générale des employés de RAND le 25 octobre, cinq jours avant que Biden ne signe l’ordre, Matheny a fait allusion à l’influence de RAND, affirmant que le Conseil de sécurité nationale (le ministère de la Défense) et (le ministère de la Sécurité intérieure) étaient profondément engagés. inquiet du risque catastrophique lié aux futurs systèmes d’IA et a demandé à RAND de produire plusieurs analyses. Le PDG de RAND a déclaré que ces analyses ont éclairé de nouveaux contrôles à l’exportation et une action exécutive clé attendue de la Maison Blanche la semaine prochaine.

Un e-mail du 30 octobre envoyé par Alstott à un certain nombre de comptes RAND plusieurs heures avant que la Maison Blanche ne publie le décret dont POLITICO a obtenu une copie comprenait une pièce jointe qu’Alstott a qualifiée de version (de l’ordre) d’il y a une semaine. La possession par Alstott d’une copie à jour de la commande une semaine avant sa signature suggère son étroite implication dans son élaboration.

Hiday a confirmé l’exactitude de l’enregistrement audio de la réunion générale du 25 octobre, ainsi que de l’e-mail envoyé par Alstott.

Hiday a déclaré que RAND avait fourni les recommandations initiales pour au moins certaines des dispositions qui se terminaient dans la section 4. Le chercheur en IA connaissant la rédaction des ordres a déclaré que l’ordre des opérations suggérait que le groupe de réflexion exerçait un niveau d’influence inapproprié à la Maison Blanche. . En servant de premier conseiller pour les dispositions clés du décret sur l’IA plutôt que de simplement aider l’administration Biden à rédiger et à mettre en œuvre ses propres priorités, le chercheur a exprimé ses inquiétudes quant au fait que RAND s’est éloigné du cadre d’une opération d’assistance technique et s’est lancé dans une opération d’influence.

Hiday a rejeté l’idée selon laquelle RAND aurait mal inséré les priorités d’Open Philanthropys en matière d’IA et de biosécurité dans le décret après avoir reçu plus de 15 millions de dollars de subventions discrétionnaires sur l’IA et la biosécurité de la part du bailleur de fonds altruiste efficace plus tôt cette année.

Les personnes et les organisations qui financent la recherche RAND n’ont aucune influence sur les résultats de notre travail, y compris nos recommandations politiques, a déclaré Hiday. Le porte-parole de RAND a ajouté que des politiques strictes sont en place pour garantir l’objectivité.

Lorsqu’on lui a demandé si Matheny ou Alstott, tous deux récents employés de la Maison Blanche, avaient tiré parti de leurs relations antérieures au sein de l’administration pour influencer la politique en matière d’IA, Hiday a déclaré que tous ceux qui rejoignent RAND, y compris (Matheny) et (Alstott), arrivent avec un réseau étendu de relations professionnelles qui sont utilisé dans l’ensemble de notre organisation pour garantir la portée et l’impact les plus larges de nos recherches au profit du bien public.

La porte-parole de la Maison Blanche, Robyn Patterson, n’a ni confirmé ni nié la participation de RAND à la rédaction du décret sur l’IA, ni répondu aux questions sur la relation de RAND avec Open Philanthropy.

Patterson a déclaré que les actions de Biden sur l’IA répondent à un large éventail de risques, notamment les risques pour les droits civils, la vie privée, les consommateurs, les travailleurs, les défaillances du marché et la sécurité nationale, et qu’elles garantissent également que nous exploitons l’IA de manière appropriée pour relever certains des défis les plus importants de l’IA. notre époque, comme guérir les maladies et lutter contre le changement climatique.

Le porte-parole d’Open Philanthropy, Mike Levine, a déclaré que son organisation était fière d’avoir soutenu des experts indépendants qui ont été invités à contribuer aux efforts du président Biden pour tirer parti de l’élan des engagements volontaires de la Maison Blanche (sur la sécurité de l’IA). Levine a noté que certains chercheurs qui ont critiqué l’influence efficace de l’altruisme sur la politique en matière d’IA ont loué certains aspects du décret de Biden. En plus des nouvelles exigences en matière de déclaration, l’ordonnance comprenait plusieurs sections destinées à remédier aux méfaits existants de l’IA.

Certains employés de RAND font part de leurs inquiétudes internes quant à la manière dont les liens de l’organisation avec l’Open Philanthropy et l’altruisme efficace pourraient avoir un impact sur l’objectivité des groupes de réflexion vieux de 75 ans.

Lors de la même réunion générale du 25 octobre, un intervenant non identifié a déclaré que les liens entre RAND et Open Philanthropy soulignés dans un précédent article de POLITICO semblaient en contradiction avec la réputation des vénérables groupes de réflexion pour leur analyse rigoureuse et objective. L’interrogateur a demandé à Matheny s’il pensait que la promotion d’un programme d’altruisme efficace, avec des témoignages et des notes politiques sous la marque RAND, était appropriée.

Matheny a répondu en partie qu’il serait irresponsable de la part de (RAND) de ne pas s’attaquer aux éventuels risques catastrophiques posés par l’IA, en particulier lorsque les décideurs politiques nous le demandent.

Il a également affirmé que POLITICO avait présenté à tort les préoccupations concernant la sécurité de l’IA comme étant un problème marginal alors qu’en fait, il s’agit aujourd’hui du problème dominant parmi la plupart des principaux chercheurs en IA.

Lors de la même réunion, un autre intervenant non identifié a demandé à Matheny de commenter la volonté d’embaucher des personnes (altruistes efficaces) au sein de RAND et de créer un groupe uniforme de boursiers en dehors de l’écosystème normal de RAND. L’interrogateur a déclaré que la relation entre RAND et Open Philanthropy mise en évidence dans l’article de POLITICO menace la confiance dans notre organisation.

Matheny a répondu en partie que RAND a fait preuve de la même diligence raisonnable dans notre recrutement que dans nos publications. Le PDG de RAND a ajouté que, au contraire, (il) a vu Open Philanthropy être plus neutre dans la manière dont nous avons effectué le travail.

Hiday a déclaré à POLITICO qu’il n’y avait aucune pression pour embaucher des personnes (altruistes efficaces) au sein de RAND, mais a noté que le groupe de réflexion héberge plusieurs types différents de programmes de bourses.