Questions-réponses : Neil Thompson sur la puissance de calcul et l’innovation

La loi de Moores est le célèbre pronostic du co-fondateur d’Intel, Gordon Moore, selon lequel le nombre de transistors sur une puce doublerait tous les ans ou tous les deux ans. Cette prédiction a été pour la plupart atteinte ou dépassée depuis que la puissance de calcul des années 1970 a doublé environ tous les deux ans, tandis que les micropuces meilleures et plus rapides deviennent moins chères.

Cette croissance rapide de la puissance de calcul a alimenté l’innovation pendant des décennies, mais au début du 21e siècle, les chercheurs ont commencé à tirer la sonnette d’alarme que Moores Law ralentissait. Avec la technologie au silicium standard, il existe des limites physiques à la taille des petits transistors et au nombre de ceux qui peuvent être insérés dans une micropuce abordable.

Neil Thompson, chercheur au MIT au Laboratoire d’informatique et d’intelligence artificielle (CSAIL) et à la Sloan School of Management, et son équipe de recherche ont entrepris de quantifier l’importance d’ordinateurs plus puissants pour améliorer les résultats dans la société. Dans un nouveau document de travail, ils ont analysé cinq domaines où le calcul est essentiel, notamment les prévisions météorologiques, l’exploration pétrolière et le repliement des protéines (important pour la découverte de médicaments). Le document de travail est co-écrit par les assistants de recherche Gabriel F. Manso et Shuning Ge.

Ils ont constaté qu’entre 49 et 94 % des améliorations dans ces domaines peuvent être expliquées par la puissance de calcul. Par exemple, dans les prévisions météorologiques, augmenter la puissance des ordinateurs d’un facteur 10 améliore les prévisions à trois jours d’un tiers de degré.

Mais les progrès de l’informatique ralentissent, ce qui pourrait avoir des répercussions profondes sur l’économie et la société. Thompson a parlé avec Nouvelles du MIT sur cette recherche et les implications de la fin de la loi Moores.

Q : Comment avez-vous abordé cette analyse et quantifié l’impact de l’informatique sur différents domaines ?

UN: Quantifier l’impact de l’informatique sur les résultats réels est délicat. La façon la plus courante d’examiner la puissance de calcul, et plus généralement les progrès informatiques, consiste à étudier les dépenses des entreprises et à déterminer leur corrélation avec les résultats. Mais les dépenses sont une mesure difficile à utiliser car elles ne reflètent que partiellement la valeur de la puissance de calcul achetée. Par exemple, la puce informatique d’aujourd’hui peut coûter le même prix que les années précédentes, mais elle est aussi beaucoup plus puissante. Les économistes essaient de s’adapter à ce changement de qualité, mais il est difficile de savoir exactement quel devrait être ce chiffre. Pour notre projet, nous avons mesuré la puissance de calcul plus directement, par exemple, en examinant les capacités des systèmes utilisés lorsque le repliement des protéines a été effectué pour la première fois en utilisant l’apprentissage en profondeur. En examinant directement les capacités, nous pouvons obtenir des mesures plus précises et ainsi obtenir de meilleures estimations de l’influence de la puissance de calcul sur les performances.

Q : Comment des ordinateurs plus puissants permettent-ils d’améliorer les prévisions météorologiques, l’exploration pétrolière et le repliement des protéines ?

UN: La réponse courte est que l’augmentation de la puissance de calcul a eu un effet énorme sur ces domaines. Avec les prévisions météorologiques, nous avons constaté que la puissance de calcul utilisée pour ces modèles a été multipliée par un milliard de milliards. Cela met en perspective l’augmentation de la puissance de calcul et la manière dont nous l’avons exploitée. Ce n’est pas quelqu’un qui se contente de prendre un vieux programme et de le mettre sur un ordinateur plus rapide ; au lieu de cela, les utilisateurs doivent constamment repenser leurs algorithmes pour tirer parti de 10 ou 100 fois plus de puissance informatique. Il y a encore beaucoup d’ingéniosité humaine à consacrer à l’amélioration des performances, mais nos résultats montrent qu’une grande partie de cette ingéniosité se concentre sur la manière d’exploiter des moteurs informatiques toujours plus puissants.

L’exploration pétrolière est un cas intéressant car elle devient plus difficile au fil du temps à mesure que les puits faciles sont forés, donc ce qui reste est plus difficile. Les compagnies pétrolières combattent cette tendance avec certains des plus grands supercalculateurs du monde, les utilisant pour interpréter les données sismiques et cartographier la géologie du sous-sol. Cela les aide à faire un meilleur travail de forage exactement au bon endroit.

L’utilisation de l’informatique pour améliorer le repliement des protéines est un objectif de longue date car elle est cruciale pour comprendre les formes tridimensionnelles de ces molécules, qui à leur tour déterminent comment elles interagissent avec d’autres molécules. Ces dernières années, les systèmes AlphaFold ont fait des percées remarquables dans ce domaine. Ce que montre notre analyse, c’est que ces améliorations sont bien prédites par les augmentations massives de la puissance de calcul qu’elles utilisent.

Q : Quels ont été les plus grands défis de la réalisation de cette analyse ?

UN: Lorsque l’on examine deux tendances qui se développent au fil du temps, dans ce cas les performances et la puissance de calcul, l’un des défis les plus importants consiste à démêler quelle relation entre elles est la causalité et ce qui n’est en fait qu’une corrélation. Nous pouvons répondre à cette question, en partie, parce que dans les domaines que nous avons étudiés, les entreprises investissent d’énormes sommes d’argent, alors elles font beaucoup de tests. Dans la modélisation météorologique, par exemple, ils ne se contentent pas de dépenser des dizaines de millions de dollars dans de nouvelles machines et d’espérer ensuite qu’elles fonctionnent. Ils procèdent à une évaluation et constatent que l’exécution d’un modèle deux fois plus longtemps améliore les performances. Ensuite, ils achètent un système suffisamment puissant pour effectuer ce calcul en un temps plus court afin de pouvoir l’utiliser de manière opérationnelle. Cela nous donne beaucoup de confiance. Mais il y a aussi d’autres façons de voir la causalité. Par exemple, nous voyons qu’il y a eu un certain nombre de sauts importants dans la puissance de calcul utilisée par la NOAA (la National Oceanic and Atmospheric Administration) pour la prévision météorologique. Et, lorsqu’ils ont acheté un ordinateur plus gros et qu’il a été installé en une seule fois, les performances augmentent vraiment.

Q : Ces progrès auraient-ils été possibles sans une augmentation exponentielle de la puissance de calcul ?

UN: C’est une question délicate car il y a beaucoup d’intrants différents : le capital humain, le capital traditionnel et aussi la puissance de calcul. Tous les trois changent avec le temps. On pourrait dire que si vous avez une augmentation de la puissance de calcul d’un milliard de milliards de dollars, cela a sûrement le plus grand effet. Et c’est une bonne intuition, mais vous devez également tenir compte des rendements marginaux décroissants. Par exemple, si vous passez de l’absence d’ordinateur à un seul ordinateur, c’est un énorme changement. Mais si vous passez de 100 ordinateurs à 101, cet ordinateur supplémentaire ne fournit pas autant de gain. Il y a donc deux forces concurrentes qui augmentent considérablement le calcul d’un côté mais diminuent les avantages marginaux de l’autre. Nos recherches montrent que, même si nous avons déjà des tonnes de puissance de calcul, celle-ci augmente si rapidement qu’elle explique en grande partie l’amélioration des performances dans ces domaines.

Q : Quelles sont les implications du ralentissement de la loi de Moores ?

UN: Les implications sont assez inquiétantes. Au fur et à mesure que l’informatique s’améliore, elle améliore les prévisions météorologiques et les autres domaines que nous avons étudiés, mais elle améliore également d’innombrables autres domaines que nous n’avons pas mesurés mais qui sont néanmoins des éléments essentiels de notre économie et de notre société. Si ce moteur d’amélioration ralentit, cela signifie que tous ces effets de suivi ralentissent également.

Certains pourraient ne pas être d’accord, arguant qu’il existe de nombreuses façons d’innover si une voie ralentit, d’autres compenseront. À un certain niveau, c’est vrai. Par exemple, nous constatons déjà un intérêt accru pour la conception de puces informatiques spécialisées comme moyen de compenser la fin de la loi Moores. Mais le problème est l’ampleur de ces effets. Les gains de la loi de Moores étaient si importants que, dans de nombreux domaines d’application, d’autres sources d’innovation ne pourront pas compenser.