Quel est le rôle du gros bouton rouge en matière de cybersécurité ? – QG technique

Les entreprises ont besoin d’un gros bouton rouge pour leur IA générative pour la maintenance quotidienne des processus et la gestion des identités.
Mais un kill switch aura également de la valeur dans le cadre d’un solide portefeuille de cybersécurité au cours des prochaines années.
Nous devons garder le contrôle de l’IA générative, et un gros bouton rouge nous y aide.

Plus l’IA générative est déployée dans les applications commerciales à travers le monde, plus il devient essentiel que les entreprises aient accès à un kill switch, un gros bouton rouge, comme on l’appelle de manière semi-comique, qu’elles peuvent utiliser pour arrêter les actions de l’IA sur leurs données ou leurs autres systèmes.

En partie à cause du kill switch du langage, du gros bouton rouge (souvent également utilisé, tout aussi incorrectement, pour désigner ce qui déclenche une guerre nucléaire) et en partie à cause de décennies de culture pop et de science-fiction qui nous ont nourris de l’idée de gros boutons rouges. ce qui signifie la fin absolue de quelque chose. De nombreuses personnes dans l’industrie technologique et dans le monde civil au sens large en sont venues à imaginer le gros bouton rouge comme une sanction finale centralisée.

Vous savez être utilisé lorsque les machines se lèvent et nous tuent tous. Ce genre de terminateur-écraseur final qui fait griller le cerveau des robots ou des systèmes informatiques malveillants qui se sont levés et ont déterminé que nous, les humanoïdes, ne sommes qu’un gaspillage de peau.

Sam Altman d’OpenAI, la société à l’origine de ChatGPT, l’Optimus Prime de l’IA générative à grands modèles de langage, a reconnu qu’en cas de révolution catastrophique mondiale de la GenAI, l’entreprise pourrait absolument fermer ses fermes de serveurs et ses centres de données et reprendre efficacement ses activités génératives. Enfant IA à terre.

Ceux d’entre vous qui sont assez vieux pour se souvenir Jeux de guerre (1983) trouveront naturellement cela profondément rassurant. Sans parler de ceux d’entre vous qui sont assez vieux pour s’en souvenir 2001 : Une odyssée de l’espace (1968).

Mais le point crucial est que les entreprises ne sont en aucun cas confrontées ou ne s’attendent pas à être confrontées à des clichés de science-fiction désormais dépassés tels que l’essor mondial des machines à la Skynet (Terminateur, 1984). Ils sont confrontés à la possibilité que l’IA générative à grand modèle de langage qu’ils choisissent d’utiliser fonctionne mal en termes de fonctions qu’elle remplit, depuis la formation de robots chirurgicaux jusqu’à l’approbation ou le refus de prêts hypothécaires, en passant par le guide courtois d’un client à travers un problème.

Si et quand cela se produit, vous n’avez pas besoin de fermer toute l’existence de l’IA générative que vous avez choisie, style Altman off-switch. Le fait est que vous n’aurez peut-être pas vraiment besoin de désactiver définitivement l’IA générative de votre côté, ni lorsque votre imprimante a un bourrage papier, vous ne faites pas exploser l’imprimante.

Tu pourrais vouloir mais vous ne le faites pas. Ainsi, la nature d’un gros bouton rouge dans la plupart des applications commerciales de l’IA générative est extrêmement éloignée de l’idée de science-fiction et linguistiquement chargée à laquelle nous étions habitués.

Un marteau peut fonctionner comme un gros bouton rouge, mais il est plutôt plus permanent.

L’alternative plus permanente au kill switch devrait rester strictement un fantasme.

Dans la première partie de cet article, nous avons discuté avec Kevin Bocek, vice-président, stratégie de sécurité et intelligence des menaces chez Venafi (une société spécialisée dans l’identité des machines), pour avoir une idée de pourquoi les entreprises pourraient très bien avoir besoin d’un gros bouton rouge pour leur IA générative, semblable aux boutons similaires du monde réel sur n’importe quelle machine de fabrication hardcore.

Pendant qu’il présidait, nous avons interrogé Kevin sur ce à quoi pourrait ressembler l’avenir en matière de réglementation et de taxation de l’IA générative.

Règlement et gros bouton rouge.

THQ :

Nous avons dit qu’il existe de bonnes raisons pour lesquelles les entreprises voudraient un gros bouton rouge pour leur IA. Et oui, nous comprenons que ce n’est pas un réel gros bouton rouge, pourtant cela nous déprime et détruit notre imagination. Mais allons-nous vers l’idée selon laquelle les entreprises ne seraient peut-être pas autorisées à utiliser l’IA générative ? sans un si gros morceau rouge de code de déconnexion ?

Ko :

Ce n’est pas impossible, car l’IA générative sera déployée à la fois dans des situations de vie ou de mort et dans des décisions qui changent la vie. Nous avons dit que la certification des modèles serait nécessaire, car si vous consultez un médecin ou un avocat, vous voulez savoir s’ils ont les compétences nécessaires pour faire le travail, et l’IA sera la même, vous voudrez savoir si elle est adaptée à son objectif et correctement formés.

En ce qui concerne le gros bouton rouge et l’environnement réglementaire, il semble crédible que les entreprises devront non seulement disposer d’un moyen de gérer l’identité de leur IA générative LLM, mais également d’un moyen de mettre en pause, de corriger, d’activer et de désactiver le système. , un gros rouge –

THQ :

– Un truc pressable, oui.

Ko :

Comme nous l’avons dit, nous avons de gros boutons rouges sur pratiquement tout ce qui concerne les opérations commerciales. Les ordinateurs ont certainement des kill switch intégrés, tout comme les systèmes d’entreprise ont des kill switch intégrés.

Il existe des kill switch qui dictent le code que vos machines sont autorisées à exécuter, soit sur votre ordinateur local, soit sur le serveur. Et un grand modèle de langage n’est, en soi, qu’un simple code.

Le kill switch est donc quelque chose que nous connaissons bien, il suffit de l’appliquer aux nouvelles technologies. Et le fait que l’IA générative accomplira des tâches à un niveau élevé, avec un niveau d’impact élevé, signifie qu’il n’est pas impossible que la réglementation, le cas échéant, exige des normes de fonctionnement particulières, qui pourraient inclure un coupe-circuit.

Un grand pouvoir implique de grandes responsabilités.

THQ :

C’est ça le problème, n’est-ce pas ? Plus nous confions de responsabilités à ces systèmes, plus nous leur donnons de pouvoir, et donc plus ils doivent être contrôlables.

Ko :

Ouais. Et nous avons à peine commencé. Aujourd’hui, vous pouvez utiliser ChatGPT pour rédiger un e-mail.

Vous pourriez, en tant que développeur, l’utiliser pour écrire du code.

Vous pouvez l’utiliser pour permettre une expérience avec un client qui constitue la base de votre entreprise. Nous n’en sommes vraiment pas au point où il prend des décisions, prend des mesures sur lui-même.

Mais ce moment arrive.

Les entreprises et les conseils d’administration planifient déjà à quoi ressembleront leurs opérations en 2024, 2025 et 2026, et l’impact de l’IA générative est largement intégré dans la planification budgétaire. Cela va certainement dans la planification des compétences. Les entreprises se demandent déjà quelles sont les compétences dont nous aurons besoin pour l’avenir ? Avons-nous besoin des mêmes compétences ? Les mêmes personnes? Les gens sont toujours importants, mais les questions s’inscrivent dans l’idée d’un kill switch.

Le kill switch ou

Quand appuie-tu sur le bouton ? Et qui doit mettre la main dessus ?

Qui appuie sur le gros bouton rouge ?

Une entreprise assume un risque de responsabilité en exécutant l’IA générative pour des fonctions de haut niveau qui étaient auparavant exécutées par des personnes.

C’est quelque chose qu’une machine en elle-même ne fait pas. Il n’assume ni responsabilité ni risque. C’est pourquoi nous avons des gens. C’est pourquoi nous employons du personnel, du directeur général jusqu’aux travailleurs de première ligne – responsabilité et risque. L’IA générative peut donc faire des choses incroyables, mais en fin de compte, il faudra quand même que quelqu’un prenne la décision de se demander si la technologie fait ce qu’elle est censée faire et si ce n’est pas le cas, il devra appuyer sur le coupe-circuit.

THQ :

Vous avez dit que l’IA générative pourrait faire des tâches que les gens faisaient auparavant, donc ce sont les mêmes personnes importantes qui l’étaient. avant le développement de l’IA générative ?

Ko :

Je peux vous donner un exemple là-bas. Récemment, j’ai discuté avec des équipes financières, qui ont effectué des analyses financières très complexes.

Ils utilisent l’IA générative pour écrire eux-mêmes des sous-programmes qui leur facilitent la vie et traitent de questions financières complexes. Dans le passé, s’ils voulaient créer du code qui les aiderait à résoudre un problème dans leur travail quotidien, ils devaient soit parler à l’équipe informatique, soit faire appel à des analystes quantitatifs très sophistiqués pour créer ces sous-systèmes. Ils peuvent désormais le faire à leur bureau et vaquer à leurs occupations.

Cela leur permet de faire leur travail plus rapidement et de prendre de meilleures décisions. Cela vous indique donc le type de compétences dont nous avons besoin.

Il y aura beaucoup plus de codeurs, ce que nous aurions pu appeler dans le passé des développeurs, mais ils seront en fait employés dans d’autres rôles principaux.

Cela revient à l’idée que nous n’avons pas encore vraiment vu l’impact de l’IA générative. Et du point de vue de la cybersécurité, cela signifie que nous n’avons pas encore vu quels seront les risques, ni les contrôles que nous allons devoir mettre en place comme le coupe-circuit.

Dans un an, dans deux ans, nous commencerions à voir les risques se manifester. Du point de vue de la cybersécurité, les adversaires travaillent déjà – nous avons vu les LLM sur lesquels ils travaillent, WormGPT et d’autres, et ceux-ci ne feront que s’améliorer.

Eh bien, commencez à voir des LLM malveillants qui sont censés être propres, et bien voyez des LLM standards que les mauvais acteurs tenteront d’empoisonner et de falsifier. Nous savons déjà qu’ils tenteront également de voler des modèles entiers qui constitueront probablement l’élément de business intelligence le plus précieux pour les entreprises futures. Et ils essaieront de les rançonner.

Il s’agit d’un tout nouveau niveau de responsabilité pour les responsables de la sécurité et les équipes de sécurité. Ce qui nous ramène à l’idée du kill switch. Nous avons besoin de cette sanction ultime, pas seulement pour nous réajuster quotidiennement, car les nouveaux modèles nécessitent un traitement de l’identité et une autorisation pour faire ou ne pas faire les choses. Nous devons pouvoir choisir d’utiliser ou non un modèle en fonction d’une prise de décision humaine.

Un gros bouton rouge, ou kill switch, ne sera pas réellement un gros bouton rouge.

Nous savons, nous SAVONS que cela ne ressemblera pas à ça. Mais cela devrait être le cas – pour des raisons purement thérapeutiques, au moins.

Le kill switch, le gros bouton rouge qui n’existe pas, fonctionnera également dans le cadre d’un mécanisme de responsabilisation pour faire face aux menaces de cybersécurité des prochaines années.

Parfois, il faut vraiment pas appuyez sur le gros bouton rouge. C’est une question de jugement basé sur l’humain.

www.actusduweb.com
Suivez Actusduweb sur Google News


Ce site utilise des cookies pour améliorer votre expérience. Nous supposerons que cela vous convient, mais vous pouvez vous désinscrire si vous le souhaitez. J'accepte Lire la suite