L’informatique hyperdimensionnelle réinvente l’intelligence artificielle
Malgré la nature succès de ChatGPT et d’autres grands modèles de langage, les réseaux de neurones artificiels (ANN) qui sous-tendent ces systèmes pourraient être sur la mauvaise voie.
D’une part, les ANN sont super gourmands en énergie, a déclaré Cornelia Fermller, informaticienne à l’Université du Maryland. Et l’autre problème est [their] manque de transparence. De tels systèmes sont si compliqués que personne ne comprend vraiment ce qu’ils font, ou pourquoi ils fonctionnent si bien. Ceci, à son tour, rend presque impossible de les amener à raisonner par analogie, ce que les humains aspergent de symboles pour les objets, les idées et les relations entre eux.
Ces lacunes proviennent probablement de la structure actuelle des RNA et de leurs éléments constitutifs : les neurones artificiels individuels. Chaque neurone reçoit des entrées, effectue des calculs et produit des sorties. Les RNA modernes sont des réseaux élaborés de ces unités de calcul, formés pour effectuer des tâches spécifiques.
Pourtant, les limites des RNA sont évidentes depuis longtemps. Considérez, par exemple, un ANN qui sépare les cercles et les carrés. Une façon de le faire est d’avoir deux neurones dans sa couche de sortie, un qui indique un cercle et un qui indique un carré. Si vous voulez que votre ANN discerne également les formes de couleur, par exemple bleu ou rouge, vous aurez besoin de quatre neurones de sortie : un pour le cercle bleu, le carré bleu, le cercle rouge et le carré rouge. Plus de fonctionnalités signifie encore plus de neurones.
Cela ne peut pas être la façon dont notre cerveau perçoit le monde naturel, avec toutes ses variations. Vous devez proposer que, eh bien, vous avez un neurone pour toutes les combinaisons, a déclaré Bruno Olshausen, neuroscientifique à l’Université de Californie à Berkeley. Ainsi, vous auriez dans votre cerveau, [say,] un détecteur Volkswagen violet.
Au lieu de cela, Olshausen et d’autres soutiennent que l’information dans le cerveau est représentée par l’activité de nombreux neurones. Ainsi, la perception d’une Volkswagen violette n’est pas codée comme les actions d’un seul neurone, mais comme celles de milliers de neurones. Le même ensemble de neurones, tirant différemment, pourrait représenter un concept entièrement différent (une Cadillac rose, peut-être).
C’est le point de départ d’une approche radicalement différente du calcul, connue sous le nom de calcul hyperdimensionnel. La clé est que chaque élément d’information, comme la notion d’une voiture ou sa marque, son modèle ou sa couleur, ou tout cela ensemble, est représenté comme une seule entité : un vecteur hyperdimensionnel.
Un vecteur est simplement un tableau ordonné de nombres. Un vecteur 3D, par exemple, comprend trois nombres : le X, y, et z coordonnées d’un point dans l’espace 3D. Un vecteur hyperdimensionnel, ou hypervecteur, pourrait être un tableau de 10 000 nombres, par exemple, représentant un point dans un espace à 10 000 dimensions. Ces objets mathématiques et l’algèbre pour les manipuler sont suffisamment flexibles et puissants pour amener l’informatique moderne au-delà de certaines de ses limites actuelles et pour favoriser une nouvelle approche de l’intelligence artificielle.
C’est la chose qui m’a le plus enthousiasmé, pratiquement dans toute ma carrière, a déclaré Olshausen. Pour lui et pour beaucoup d’autres, l’informatique hyperdimensionnelle promet un nouveau monde dans lequel l’informatique est efficace et robuste et les décisions prises par les machines sont entièrement transparentes.
Entrez dans les espaces de grande dimension
Pour comprendre comment les hypervecteurs rendent l’informatique possible, revenons aux images avec des cercles rouges et des carrés bleus. Tout d’abord, nous avons besoin de vecteurs pour représenter les variables SHAPE et COLOR. Ensuite, nous avons également besoin de vecteurs pour les valeurs pouvant être attribuées aux variables : CERCLE, CARRÉ, BLEU et ROUGE.
Les vecteurs doivent être distincts. Cette distinction peut être quantifiée par une propriété appelée orthogonalité, ce qui signifie être à angle droit. Dans l’espace 3D, il y a trois vecteurs orthogonaux entre eux : un dans le X direction, une autre dans la y, et un troisième dans le z. Dans un espace à 10 000 dimensions, il existe 10 000 vecteurs mutuellement orthogonaux.