Le lien extraordinaire entre les réseaux de neurones profonds et la nature de l'univers

Au cours des deux dernières années, les techniques d'apprentissage en profondeur ont transformé le monde de l'intelligence artificielle. Une par une, les capacités et les techniques que les humains imaginaient autrefois être uniquement les nôtres ont commencé à tomber sous l'assaut de machines toujours plus puissantes. Les réseaux de neurones profonds sont désormais meilleurs que les humains pour des tâches telles que la reconnaissance faciale et la reconnaissance d'objets. Ils ont maîtrisé l'ancien jeu de Go et battu les meilleurs joueurs humains.

Mais il y a un problème. Il n'y a aucune raison mathématique pour laquelle les réseaux disposés en couches devraient être si bons pour relever ces défis. Les mathématiciens sont déconcertés. Malgré l'énorme succès des réseaux de neurones profonds, personne ne sait vraiment comment ils y parviennent.

Aujourd'hui, cela change grâce aux travaux d'Henry Lin à l'Université de Harvard et de Max Tegmark au MIT. Ces types disent que la raison pour laquelle les mathématiciens ont été si embarrassés est que la réponse dépend de la nature de l'univers. En d'autres termes, la réponse réside dans le régime de la physique plutôt que des mathématiques.

Tout d'abord, définissons le problème en utilisant l'exemple de la classification d'une image en niveaux de gris mégabit pour déterminer si elle montre un chat ou un chien.

Une telle image se compose d'un million de pixels qui peuvent chacun prendre l'une des 256 valeurs de niveaux de gris. Donc en théorie, il peut y avoir 2561000000 images possibles, et pour chacune il faut calculer si elle représente un chat ou un chien. Et pourtant, les réseaux de neurones, avec seulement des milliers ou des millions de paramètres, gèrent en quelque sorte cette tâche de classification avec facilité.

Dans le langage des mathématiques, les réseaux de neurones fonctionnent en rapprochant des fonctions mathématiques complexes avec des fonctions plus simples. Lorsqu'il s'agit de classer des images de chats et de chiens, le réseau de neurones doit implémenter une fonction qui prend en entrée un million de pixels en niveaux de gris et produit la distribution de probabilité de ce qu'elle pourrait représenter.

Le problème est qu'il existe des ordres de grandeur de plus de fonctions mathématiques que de réseaux possibles pour les approximer. Et pourtant, les réseaux de neurones profonds obtiennent en quelque sorte la bonne réponse.

Maintenant, Lin et Tegmark disent qu'ils ont compris pourquoi. La réponse est que l'univers est gouverné par un petit sous-ensemble de toutes les fonctions possibles. En d'autres termes, lorsque les lois de la physique sont écrites mathématiquement, elles peuvent toutes être décrites par des fonctions qui ont un ensemble remarquable de propriétés simples.

Ainsi, les réseaux de neurones profonds n'ont pas à approximer une fonction mathématique possible, seulement un petit sous-ensemble d'entre eux.

Pour mettre cela en perspective, considérons l'ordre d'une fonction polynomiale, qui est la taille de son exposant le plus élevé. Ainsi, une équation quadratique telle que y=x2 est d'ordre 2, l'équation y=x24 est d'ordre 24, et ainsi de suite.

Évidemment, le nombre d'ordres est infini et pourtant seul un infime sous-ensemble de polynômes apparaît dans les lois de la physique. Pour des raisons encore mal comprises, notre univers peut être décrit avec précision par des hamiltoniens polynomiaux d'ordre inférieur, disons Lin et Tegmark. Typiquement, les polynômes qui décrivent les lois de la physique ont des ordres allant de 2 à 4.

Les lois de la physique ont d'autres propriétés importantes. Par exemple, ils sont généralement symétriques en ce qui concerne la rotation et la translation. Faites pivoter un chat ou un chien à 360 degrés et il aura le même aspect ; traduisez-le par 10 mètres ou 100 mètres ou un kilomètre et il aura le même aspect. Cela simplifie également la tâche d'approximation du processus de reconnaissance du chat ou du chien.

Ces propriétés signifient que les réseaux de neurones n'ont pas besoin d'approximer une infinité de fonctions mathématiques possibles, mais seulement un petit sous-ensemble des plus simples.

Il existe une autre propriété de l'univers que les réseaux de neurones exploitent. C'est la hiérarchie de sa structure. Les particules élémentaires forment des atomes qui à leur tour forment des molécules, des cellules, des organismes, des planètes, des systèmes solaires, des galaxies, etc., disent Lin et Tegmark. Et les structures complexes sont souvent formées par une séquence d'étapes plus simples.

C'est pourquoi la structure des réseaux de neurones est également importante : les couches de ces réseaux peuvent approximer chaque étape de la séquence causale.

Lin et Tegmark donnent l'exemple du rayonnement de fond micro-onde cosmique, l'écho du Big Bang qui imprègne l'univers. Ces dernières années, divers engins spatiaux ont cartographié ce rayonnement avec une résolution toujours plus élevée. Et bien sûr, les physiciens se demandent pourquoi ces cartes prennent la forme qu'elles prennent.

Tegmark et Lin soulignent que quelle que soit la raison, c'est sans aucun doute le résultat d'une hiérarchie causale. Un ensemble de paramètres cosmologiques (la densité de matière noire, etc.) détermine le spectre de puissance des fluctuations de densité dans notre univers, qui à son tour détermine le modèle de rayonnement de fond cosmique micro-ondes nous atteignant depuis notre univers primitif, qui se combine avec la radio de premier plan bruit de notre galaxie pour produire les cartes du ciel dépendant de la fréquence qui sont enregistrées par un télescope basé sur un satellite, disent-ils.

Chacune de ces couches causales contient progressivement plus de données. Il n'y a qu'une poignée de paramètres cosmologiques mais les cartes et le bruit qu'elles contiennent sont constitués de milliards de nombres. Le but de la physique est d'analyser les grands nombres de manière à révéler les plus petits.

Et lorsque les phénomènes ont cette structure hiérarchique, les réseaux de neurones facilitent considérablement le processus d'analyse.

Nous avons montré que le succès d'un apprentissage profond et bon marché dépend non seulement des mathématiques mais aussi de la physique, qui favorise certaines classes de distributions de probabilités exceptionnellement simples que l'apprentissage profond est particulièrement bien adapté pour modéliser, concluent Lin et Tegmark.

C’est un travail intéressant et important avec des implications importantes. Les réseaux de neurones artificiels sont basés sur des réseaux biologiques. Ainsi, non seulement les idées de Lin et Tegmark expliquent pourquoi les machines d'apprentissage en profondeur fonctionnent si bien, mais elles expliquent également pourquoi le cerveau humain peut donner un sens à l'univers. L'évolution s'est en quelque sorte installée sur une structure cérébrale idéale pour démêler la complexité de l'univers.

Ces travaux ouvrent la voie à des avancées significatives dans le domaine de l'intelligence artificielle. Maintenant que nous comprenons enfin pourquoi les réseaux de neurones profonds fonctionnent si bien, les mathématiciens peuvent se mettre au travail en explorant les propriétés mathématiques spécifiques qui leur permettent de si bien fonctionner. Selon Lin et Tegmark, le renforcement de la compréhension analytique de l'apprentissage en profondeur peut suggérer des moyens de l'améliorer.

L'apprentissage en profondeur a fait des pas de géant ces dernières années. Avec cette meilleure compréhension, le rythme d'avancement est appelé à s'accélérer.

Réf : arxiv.org/abs/1608.08225 : Pourquoi l'apprentissage profond et bon marché fonctionne-t-il si bien ?

cacher