La brève histoire de l’intelligence artificielle : le monde a changé rapidement, quelle pourrait être la prochaine ?
Les systèmes d’IA que nous venons d’examiner sont le résultat de décennies de progrès constants dans la technologie de l’IA.
Le grand graphique ci-dessous met en perspective cette histoire au cours des huit dernières décennies. Il est basé sur l’ensemble de données produit par Jaime Sevilla et ses collègues.sept
Chaque petit cercle dans ce tableau représente un système d’IA. La position des cercles sur l’axe horizontal indique quand le système d’IA a été construit, et sa position sur l’axe vertical montre la quantité de calcul qui a été utilisée pour former le système d’IA particulier.
Le calcul d’entraînement est mesuré en opérations en virgule flottante, ou FLOP en abrégé. Un FLOP équivaut à une addition, une soustraction, une multiplication ou une division de deux nombres décimaux.
Tous les systèmes d’IA qui reposent sur l’apprentissage automatique doivent être formés, et dans ces systèmes, le calcul de formation est l’un des trois facteurs fondamentaux qui déterminent les capacités du système. Les deux autres facteurs sont les algorithmes et les données d’entrée utilisées pour la formation. La visualisation montre qu’à mesure que le calcul d’entraînement a augmenté, les systèmes d’IA sont devenus de plus en plus puissants.
La chronologie remonte aux années 1940, au tout début des ordinateurs électroniques. Le premier système d’IA montré est Theseus, la souris robotique Claude Shannon de 1950 que j’ai mentionnée au début. Vers l’autre extrémité de la chronologie, vous trouverez des systèmes d’IA comme DALL-E et PaLM, dont nous venons de voir les capacités à produire des images photoréalistes et à interpréter et générer un langage. Ils font partie des systèmes d’IA qui ont utilisé la plus grande quantité de calculs d’entraînement à ce jour.
Le calcul de formation est tracé sur une échelle logarithmique, de sorte que de chaque ligne de grille à la suivante, il montre une augmentation de 100 fois. Cette perspective à long terme montre une augmentation continue. Au cours des six premières décennies, le calcul de la formation a augmenté conformément à la loi de Moores, doublant environ tous les 20 mois. Depuis 2010 environ, cette croissance exponentielle s’est encore accélérée, jusqu’à un temps de doublement d’environ 6 mois. C’est un taux de croissance étonnamment rapide.8
Les temps de doublement rapides se sont traduits par de fortes augmentations. Le calcul d’entraînement de PaLMs était de 2,5 milliards de pétaFLOP, plus de 5 millions de fois supérieur à celui d’AlexNet, l’IA avec le plus grand calcul d’entraînement à peine 10 ans plus tôt.9
La mise à l’échelle était déjà exponentielle et s’est considérablement accélérée au cours de la dernière décennie. Que pouvons-nous apprendre de ce développement historique pour l’avenir de l’IA ?