À la recherche d’un événement de singularité pour le calcul scientifique

Il y a des gens qui construisent de grosses machines et puis il y a des gens qui créent les algorithmes, les bibliothèques et les applications qui les exploitent. Chez le géant pétrolier BP, pendant de nombreuses années, c’est Keith Gray qui a créé ses machines monstrueuses, mais c’est John Etgen qui a mis ces machines à l’épreuve en exécutant la modélisation des réservoirs et d’autres charges de travail complexes et denses.

Etgen a prononcé le discours d’ouverture de la récente conférence EnergyHPC à l’Université Rice, ce que beaucoup d’entre nous connaissaient comme la conférence Rice Oil & Gas, qui se concentre sur l’intersection entre le calcul haute performance et l’exploration et le forage pétroliers et gaziers. Et plus que toute autre chose, Etgen a exprimé sa frustration que le HPC n’évolue pas assez vite et ne soit pas aussi excitant que par le passé, ce qui contraste fortement avec l’explosion de l’innovation qui se produit sur le marché de l’IA avec les techniques d’apprentissage automatique.

Etgen appelle l’explosion de l’innovation que HPC manque et que l’IA a une singularité, et nous savons que HPC a déjà un environnement de contrôleur de conteneur Singularity et nous savons que la singularité telle que définie par Ray Kurzweil et promue par Masayoshi Son est une chose entièrement différente. Pour Etgen, cette singularité est l’idée que même après avoir normalisé toute exponentielle possible, la croissance est toujours exponentiellement rapide ou meilleure. Les choses s’améliorent à un rythme si rapide que l’avenir arrive si vite et est si transformateur que le passé est presque méconnaissable.

Nous savons à quoi ressemble une singularité du genre dont parle Etgen. Nous en avons eu une appelée la révolution industrielle, et ce qui s’est passé était :

• Nous sommes passés du travail dans les fermes au travail dans les usines et les bureaux
• Nous sommes passés de produits personnalisés et fabriqués à la main à des produits fabriqués en usine
• Nous sommes passés de généralistes qui pouvaient faire beaucoup de choses assez bien pour rester en vie à la frontière à des spécialistes qui travaillaient dans des niches pour de l’argent
• Nous avons créé un système où les machines fabriquent des machines qui fabriquent des machines qui fabriquent. . . .
• Nous avons utilisé une technologie rétro où l’utilisation finale de toute la sophistication de nos objets manufacturés est bien inférieure à toutes les entrées pour les créer.

En gros, la civilisation humaine est passée de l’équitation à l’installation de robots sur Mars en 100 ans, dit-il. Peut-être que c’est 150 ou 200, parce que peu importe. La population humaine est passée de l’agriculture de subsistance ou quelque chose comme ça, pas à l’agriculture à grande échelle, mais à l’agriculture à petite échelle, à pratiquement tout le monde travaillant dans des rôles assez spécialisés au cours de cette période. Plus de transitions se sont produites au cours des cent dernières années que dans toute l’histoire planétaire.

Et ce taux de changement dans l’innovation et la sophistication ne se produit tout simplement pas dans le HPC, déclare Etgen. Malgré l’essor d’ordinateurs plus puissants (avec des superordinateurs sur le point de fournir des exaflops de performances de calcul) et de logiciels et de technologies telles que l’intelligence artificielle et l’apprentissage automatique, le calcul scientifique n’est pas dans un événement singulier.

Cela me semble un peu périmé, concède Etgen, et il n’est pas content de dire cela. Je pense que la réponse est non, pas même simplement non. Je veux dire, comme même pas proche, comme même pas le même stade, même pas le même jeu. Pas le même sport. Je veux dire, oublie ça. Nous sommes en train de nous effondrer. L’informatique scientifique, la physique numérique, des choses comme ça, c’est en train de tomber à l’eau et si nous ne changeons rien à ce que nous faisons, ça va tomber à l’eau.

Se jeter à l’eau est une sorte de singularité, mais pas celle qu’Etgen recherche alors qu’il étudie le domaine du HPC.

Au lieu de cela, je pense en fait que nous plaçons en quelque sorte. Il fait des taux de progrès décroissants au fil du temps, et non des taux de progrès accélérés. Il y a cependant des signes positifs, mais je suis aussi un peu pessimiste.

Il y a des signes qui seraient évidents si l’espace informatique scientifique était en singularité. Les gens sur le terrain deviendraient encore plus spécialisés dans ce qu’ils font. Faire des choses complexes deviendrait plus facile et il y aurait l’utilisation de ce qu’il appelle la technologie rétro, la vaste puissance et l’intelligence d’une civilisation pour créer des pièces interchangeables qui peuvent être utilisées dans une grande variété d’applications peut-être même inconnues ou imprévues. Il est souvent utilisé pour créer des applications moins techniques que la technologie qui a fabriqué les pièces.

À titre d’exemple, il a cité les vis 1/4-20, qui sont fabriquées pour presque rien à l’étranger et peuvent être achetées aux États-Unis à très bon marché dans n’importe quelle quincaillerie. Ces vis étaient essentielles pour permettre à Etgen de construire un véhicule-fusée qui, selon lui, n’était pas extrêmement high-tech.

La fusée utilise un peu de 18^e siècle, a une métallurgie de niveau 1930, mais il y a un tas de ces vis 1/4-20, dit-il. Ceux-ci ont été fabriqués dans une usine très sophistiquée. L’usine est infiniment plus avancée techniquement que cette stupide fusée que j’ai construite au lancement. C’est en fait un exemple de technologie rétro : j’ai construit quelque chose de simple, primitif et fait à partir de ce que la civilisation a produit, c’est-à-dire la capacité de produire essentiellement toutes les vis 1/4-20 dont le monde aura jamais besoin à un coût nul. Ouais, quand vous allez les acheter dans une quincaillerie, ils coûtent 2 cents ou quelque chose comme ça, mais en fait, ils ne coûtent rien à fabriquer.

Alors, quels sont les signes que l’informatique scientifique n’est pas là où elle pourrait être ? Etgen a suivi la progression des ordinateurs qu’il a utilisés depuis ses premières années, y compris le Cray-2 lors de son premier emploi après l’université, une machine de connexion CM-2, un Convex C1 et certains systèmes SGI et grappes de calcul. Il y a eu des sauts dans les vitesses d’instance unique au cours de ces 37 années et cela pourrait être considéré comme exponentiel, mais pas ce à quoi on pourrait s’attendre dans un environnement de singularité.

Comment est-ce arrivé? Une bonne chose est qu’ils ont trouvé comment le rendre moins cher, car une grande partie de l’avantage est venue du fait que je viens d’acheter beaucoup plus d’instances, dit-il. Dans un certain sens, peut-être que je m’en fiche, peut-être que c’est bien si, en fait, il y a beaucoup plus d’instances, mais cela nous force en fait à adopter un modèle de réflexion sur la façon de faire du calcul scientifique qui n’a peut-être pas toutes les propriétés que nous vouloir.

Cela dit, si le domaine était dans la singularité, vous verriez une diversité explosive des applications. Avez-vous l’impression d’assister à une explosion de la diversité des applications ? En dynamique des fluides computationnelle, je pense que la réponse est non. En sismologie computationnelle, la réponse est définitivement non. En ingénierie des réservoirs, je pense que la réponse est non. Peut-être y a-t-il d’autres domaines scientifiques qui ont en fait une diversité explosive d’applications en calcul scientifique. Peut-être, mais c’est un peu incertain. Je ne suis pas sûr de voir ça.

Ensuite, il y a les emplois, ou plus précisément, les compétences nécessaires pour obtenir un emploi dans le domaine.

En voici un que je pense que nous ne voyons certainement pas : les êtres humains ne deviennent pas de plus en plus spécialisés, dit-il. La gamme de compétences et d’outils que vous devez connaître pour être efficace et pour obtenir un emploi ou obtenir votre diplôme ou quoi que ce soit, cette gamme reste tout aussi large. Qui lutte contre un phénomène de type révolution industrielle qui lutte contre la singularité. Dans mon entreprise, si je me tenais ici en train de recruter pour mon entreprise et de suivre la ligne de conduite réelle de l’entreprise, je dirais: « Oh non, vous avez besoin de compétences croisées ». Vous devez être polyvalent, multidisciplinaire, tout ça. C’est le moyen le plus rapide de tuer un phénomène semblable à la révolution industrielle. Laissez les gens se spécialiser. C’était mon opinion personnelle. Vous voulez une singularité à la Révolution Industrielle, comme un comportement ? Laissez les gens se spécialiser. Qu’entend-on dans la société ? « Non, non, non, tout le monde doit être généraliste. » OK, nous essayons de revivre dans les années 1800.

Il y a une tendance à ce que les objets complexes deviennent plus faciles à fabriquer, tant du côté matériel que logiciel, et dans certains domaines, la technologie rétro est utilisée à bon escient.

Vous avez des gens qui utilisent l’immense capacité de la révolution industrielle en informatique pour faire des choses vraiment stupides et basiques, dit Etgen. Il existe plusieurs usines de semi-conducteurs différentes qui fabriquent des amplis op [operational amplifiers]. Ils font un peu de processeurs Arm. Ils fabriquent toutes sortes d’autres composants électroniques que je peux acheter pour un sou chacun, ou à peu près. Et je peux aller sur le site Web d’Arduino et télécharger à partir de GitHub, obtenir les pièces dont j’ai besoin pour assembler les pilotes de périphériques, assembler tout cela, entrer dans un IDE et me construire quelque chose que des scientifiques très, très qualifiés ont été payés beaucoup de l’argent pour construire dans les années 1960 et 1970. La capacité que je construis n’est pas meilleure que ce qui était disponible dans les années 1960. Je peux le construire moi-même sur ma table de cuisine pour quelques dollars pièce. C’est à nouveau la technologie rétro au travail. L’industrie des semi-conducteurs possède donc certaines des propriétés, mais débordent-elles sur l’informatique scientifique ? Il ne semble pas qu’ils soient autant que je le voudrais.

Il y a quelques raisons d’être optimiste, a-t-il dit. L’un est l’utilisation croissante des réseaux de neurones convolutifs U-Net, dont Etgen a été témoin en tant que rédacteur en chef du Journal de géophysiquepassant en revue les articles qui y sont publiés.

Vous savez ce que je vois ? U-Net est en train de conquérir ce putain de monde, dit-il. Je veux dire, pas tous les journaux, mais une grande partie des journaux copient essentiellement cette idée et ils en font des choses dont je suis sûr que les auteurs qui ont inventé cette méthode n’avaient aucune idée que quelqu’un ferait jamais cette chose avec leur invention . Les gars de l’IA comprennent en quelque sorte. Si vous aimez l’IA pure et unique, ils ont en quelque sorte compris le message, qui est de créer des outils qui créent des outils qui créent des outils qui créent des outils, à plusieurs niveaux de hiérarchie. Vous pouvez devenir hautement spécialisé dans ce que vous faites. Vous n’avez pas besoin de connaître tout le reste car, en fait, tous les logiciels sont assez transportables, assez faciles à apprendre. Il est facile de faire votre petit morceau et ensuite de vivre au-dessus de la fondation de tout ce que tout le monde a construit. Les gars de l’IA, comprenez. Mais si vous êtes un physicien informatique chevronné, vous ne comprenez pas. Vous ne faites pas ça. Je ne vois pas ce comportement, à moins que vous n’utilisiez U-Net pour remplacer la physique numérique, que je déteste franchement. Ce n’est pas clair que j’aime ça, mais peut-être qu’ils sont sur quelque chose.

L’espace est également paralysé dans une certaine mesure par la nature humaine pour enraciner l’humain contre la machine et la croyance qu’il y a des choses que les gens doivent faire pour rester des gens.

Le problème est que vous tous qui avez la mentalité, vous nous faites du mal, en fait, si nous allons être comme les gens de l’IA et commencer à faire de plus en plus vite des progrès toujours plus importants, dit Etgen. Il n’y a pas certaines choses que les hommes doivent faire pour rester des hommes. En fait, c’est faux. Cependant, la culture populaire et vos talents artistiques et vos sentiments se battent contre vous. J’ai les mêmes dilemmes en moi. Il est difficile de laisser tomber cet élément humain, mais voici le vrai point. Regardez ce que votre organisation est capable de faire en termes de quantité de calcul qu’elle peut réellement faire. Constate-t-il une diversité d’applications qui explose ? Voyez-vous une accélération de la valeur de votre investissement dans le calcul scientifique et technique ? Si ce n’est pas le cas, c’est qu’il stagne. Si cela se produit, vous allez probablement amener certaines personnes à poser des questions différentes sur ce qu’il faut faire.

Alors, qu’est-ce qu’il faut? Le matériel doit devenir plus abstrait. Plus vous me montrez de matériel qui m’oblige à réfléchir très, très précisément à ce qu’est le matériel, c’est un désastre, tout comme le logiciel. C’est quelque chose que les gens de l’IA ont compris.

De plus, bien qu’il soit parfois nécessaire d’agir sur des idées folles, pour le rendre durable et voici la chose que je trouve personnellement difficile à avaler, vous devez probablement agir comme des ingénieurs en logiciel, dit Etgen. Cet état d’esprit d’ingénierie. Nous devons déplacer tous nos états d’esprit dans ce coin, où nous examinons la valeur, nous ne nous soucions pas de la beauté de l’objet, la science que nous accepterons simplement comme établie et nous allons essayer de faire quelque chose de précieux en exploitant au maximum le travail des autres. Vous souhaitez une singularité dans le calcul scientifique ? Vous devez tirer parti du travail des autres.