Briser la barrière énergétique grâce à l’informatique réversible

Salut tout le monde,

J’ai récemment eu une conversation avec David Galbraith, membre d’EV. David est entrepreneur, VC, co-auteur de la norme RSS et ancien architecte. David et moi nous connaissons depuis des décennies. En fait, depuis Cher le dernier a eu un single numéro un.

Mais chaque fois que nous parlons, j’apprends quelque chose de nouveau. Cette fois, David a partagé sa fascination pour l’informatique réversible et la manière dont elle pourrait aider à résoudre la tension entre les progrès de l’IA et les exigences énergétiques du calcul. Nous savons que nous sommes dans une impasse dans le paradigme informatique actuel.

J’ai donc invité David à nous mettre tous au courant. Dans son essai invité d’aujourd’hui sur l’informatique réversible, David explique :

• Les besoins énergétiques croissants de l’informatique, notamment à mesure que l’IA progresse, et les limites de la loi de Moores.

• Le lien entre la thermodynamique et la théorie de l’information, car les méthodes informatiques actuelles génèrent une chaleur importante à travers des processus irréversibles.

• Comment l’informatique réversible peut réduire la consommation d’énergie et la production de chaleur en permettant d’annuler les opérations et de récupérer l’énergie.

L’informatique réversible n’est pas facile à comprendre au début, alors soyez patient avec vous-même.

Merci à David d’avoir pris le temps d’aborder ce sujet important dans Exponential View.

Partager

Par David Galbraith

Les ordinateurs du monde consomment de grandes quantités d’énergie pour leur fonctionnement et leur refroidissement. L’IA intensifie cette consommation, potentiellement tripler sa demande actuelle. Simultanément, la loi de Moore (le nombre de transistors par puce double tous les deux ans) est déjà chancelante, au moment même où la demande en puissance de calcul monte en flèche. L’augmentation de la demande d’électricité qui en résulte pour le calcul coïncide avec les pressions existantes sur le réseau, dues à la transition vers les énergies renouvelables, les véhicules électriques et les pompes à chaleur.

Le couplage des marchés de l’énergie et de l’information au niveau économique reflète la relation entre la théorie de l’information et la thermodynamique au niveau scientifique.

Les technologies appliquées à cette intersection pourraient potentiellement réduire les demandes en énergie de calcul et permettre une augmentation continue des performances et de l’efficacité.

Les lois de la physique sont sur le point de façonner l’avenir de l’informatique et de l’économie numérique qui en dépend. La physique qui régit la relation entre l’information et l’énergie dicte la chaleur générée par les ordinateurs d’aujourd’hui. Cela n’est pas seulement dû à l’inefficacité électrique, mais aussi au fait que, même avec une efficacité électrique de 100 %, le processus de suppression des informations lui-même se transforme en chaleur.

Pour surmonter les limites physiques des performances informatiques actuelles, des architectures informatiques alternatives sont nécessaires. L’imagination populaire est captivée par les possibilités d’augmentation massive des performances telles que celles que pourrait offrir l’informatique quantique. Bien que certaines applications et expériences soient en cours, il faudra encore plusieurs années avant d’atteindre une large viabilité commerciale et une pleine maturité technologique, en raison des défis constants en matière de stabilité des qubits et de taux d’erreur.

Une solution potentielle existe ici et maintenant : l’informatique réversible (l’une des exigences pour des ordinateurs quantiques efficaces). Dans le modèle informatique réversible, les opérations qui traitent la logique peuvent être inversées en ayant des sorties qui permettent de déterminer les entrées d’origine et de récupérer l’énergie.

Ce processus permet de minimiser les émissions de chaleur qui résultent généralement de la perte d’informations. Cette opération inverse est en quelque sorte similaire aux opérations cycliques de machines telles que les pendules et les moteurs à combustion. Son fondement scientifique nous ramène aux premiers jours de l’informatique numérique et au-delà, aux moteurs à vapeur de l’ère industrielle et à la théorie de la chaleur ou, en physique, à la thermodynamique.

La loi dont dépend toute cette réduction potentielle d’énergie est la deuxième loi de la thermodynamique, qui stipule que l’entropie (énergie inutilisable ou désordre) augmente avec le temps. En conséquence, tout finit par se détériorer et libère de la chaleur perdue.

Il s’agit de la seule loi fondamentale de la physique qui implique explicitement l’irréversibilité et qui oriente la flèche du temps dans une seule direction. Bien que les lois du mouvement de Newton soient réversibles, les vases s’écrasent sur le sol en millions de morceaux, mais les morceaux ne s’écrasent jamais dans un vase, le lait se mélange au café et n’en sort jamais et les choses chaudes refroidissent toujours en libérant leur chaleur dans un environnement plus frais.

Les ordinateurs actuels fonctionnent également de manière irréversible en termes de logique, les portes logiques perdent des informations à la fois à cause du fonctionnement électrique et de la perte unidirectionnelle d’informations elles-mêmes, qui sont finalement libérées sous forme de chaleur. Rendre les ordinateurs réversibles est le seul moyen d’éviter qu’il y ait une puissance thermique minimale absolue et une entrée adaptée sans violer la 2ème loi. En conséquence, l’informatique irréversible actuelle se dirige vers un obstacle imminent au progrès dicté par les lois de la physique, comme voir ci-dessous.

La quantification de l’entropie thermique est ce qui a permis la compréhension scientifique des machines à vapeur, machines par excellence de l’ère industrielle, afin de les rendre efficaces. Cela a finalement conduit à la compréhension de l’ingénieur en mécanique Sadi Carnot de leurs propriétés techniques, à l’articulation du physicien Ludwig Boltzmann sur ce qui se passait réellement au niveau fondamental des particules.

Si la définition de l’entropie en tant que désordre semble vague ou peu claire, c’est parce qu’elle l’est. Lorsque Claude Shannon développait la théorie de l’information qui sous-tend la science informatique, la machine déterminante de l’ère post-industrielle, von Neumman lui a dit de l’appeler entropie. La raison? Parce que de toute façon, personne ne sait vraiment ce qu’est l’entropie.

Nous nous sommes retrouvés avec une théorie de l’information et une théorie de l’énergie qui sont toutes deux basées sur une quantité appelée entropie, avec des équations presque identiques les définissant. Cependant, leur relation était supposée être simplement une analogie, l’entropie de l’information étant mesurée en bits et l’entropie thermique en énergie par unité de température.

On a toujours soupçonné que la relation entre l’information et la chaleur était plus qu’une simple analogie, à travers une expérience de pensée appelée Maxwells Demon. Maxwells Demon a montré que l’augmentation de l’entropie pouvait être inversée sans dépenser d’énergie, si un petit démon déplaçait une porte pour ne laisser passer que certaines particules lors du mélange d’un gaz. Cela violerait alors la deuxième loi de la thermodynamique à moins que le transfert d’informations par le démon ne soit équivalent au transfert d’énergie, résolvant ainsi le paradoxe. Il faudra cependant près d’un siècle avant que quiconque propose une relation spécifique et quantitative entre l’énergie et l’information.

En 1961, le physicien Rolf Landauer d’IBM a émis l’hypothèse que l’effacement d’informations d’un ordinateur est intrinsèquement lié à une augmentation de l’entropie thermique, établissant ainsi un lien formel entre l’information et l’énergie.

Landauer a créé une formule pour l’énergie en joules libérée par bit binaire supprimé. Si nous exprimons son équation originale en unités naturelles d’énergie et d’information, l’équation est étonnamment simple :

Énergie (en unités naturelles) = Informations (en nats)

Cela ne prouve pas que l’énergie et l’information sont équivalentes de la même manière qu’Einstein a prouvé que la masse et l’énergie étaient équivalentes, mais c’est une possibilité alléchante.