Facebook a un réseau de neurones qui peut faire des calculs avancés

Voici un défi pour les mathématiques parmi vous. Résolvez l'équation différentielle suivante pour Oui :

Vous avez 30 secondes. Vite-fait! Pas de tergiversation.

La réponse, bien sûr, est :

Si vous n'avez pas trouvé de solution, ne vous sentez pas trop mal. Cette expression est si délicate que même divers progiciels mathématiques puissants ont également échoué, même après 30 secondes de calcul.

Et pourtant, aujourd'hui, Guillaume Lample et François Charton, de Facebook AI Research à Paris, affirment avoir mis au point un algorithme qui fait le travail en un instant de réflexion. Ces gars-là ont formé un réseau de neurones pour effectuer le raisonnement symbolique nécessaire pour différencier et intégrer des expressions mathématiques pour la première fois. Le travail est une étape importante vers un raisonnement mathématique plus puissant et une nouvelle façon d'appliquer les réseaux de neurones au-delà des tâches traditionnelles de reconnaissance de formes.

Tout d'abord, un peu de contexte. Les réseaux de neurones sont devenus extrêmement performants dans des tâches de reconnaissance de formes telles que la reconnaissance de visages et d'objets, certains types de traitement du langage naturel et même des jeux comme les échecs, Go et Space Invaders.

Mais malgré beaucoup d'efforts, personne n'a été en mesure de les entraîner à faire des tâches de raisonnement symbolique comme celles qu'impliquent les mathématiques. Le meilleur que les réseaux de neurones ont réalisé est l'addition et la multiplication de nombres entiers.

Pour les réseaux de neurones comme pour les humains, l'une des difficultés des expressions mathématiques avancées est la sténographie sur laquelle elles s'appuient. Par exemple, l'expression X 3 est une manière abrégée d'écrire X multiplié par X multiplié par X . Dans cet exemple, la multiplication est un raccourci pour l'addition répétée, qui est elle-même un raccourci pour la valeur totale de deux quantités combinées.

Il est facile de voir que même une expression mathématique simple est une description très condensée d'une séquence d'opérations mathématiques beaucoup plus simples.

Il n'est donc pas surprenant que les réseaux de neurones aient lutté avec ce type de logique. S'ils ne savent pas ce que représente la sténographie, il y a peu de chances qu'ils apprennent à l'utiliser. En effet, les humains ont un problème similaire, souvent inculqué dès le plus jeune âge.

Néanmoins, au niveau fondamental, des processus tels que l'intégration et la différenciation impliquent toujours des tâches de reconnaissance de formes, bien que masquées par des raccourcis mathématiques.

Arrivent Lample et Charton, qui ont trouvé une manière élégante de déballer la sténographie mathématique dans ses unités fondamentales. Ils enseignent ensuite à un réseau de neurones à reconnaître les schémas de manipulation mathématique équivalents à l'intégration et à la différenciation. Enfin, ils laissent libre cours au réseau de neurones sur des expressions qu'il n'a jamais vues et comparent les résultats avec les réponses obtenues par des solveurs conventionnels comme Mathematica et Matlab.

La première partie de ce processus consiste à décomposer les expressions mathématiques en leurs composants. Lample et Charton le font en représentant les expressions sous forme de structures arborescentes. Les feuilles de ces arbres sont des nombres, des constantes et des variables comme X ; les nœuds internes sont des opérateurs tels que l'addition, la multiplication, la différenciation par rapport à, etc.

Par exemple, l'expression 2 + 3 x (5+2) peut s'écrire :

Et l'expression

est:

Etc.

Les arbres sont égaux lorsqu'ils sont mathématiquement équivalents. Par example,
2 + 3 = 5 = 12 - 7 = 1 x 5 sont tous équivalents ; donc leurs arbres sont aussi équivalents.

De nombreuses opérations mathématiques sont plus faciles à gérer de cette manière. Par exemple, la simplification d'expression revient à trouver une représentation équivalente plus courte d'un arbre, disons Lample et Charton.

Ces arbres peuvent également être écrits sous forme de séquences, prenant chaque nœud consécutivement. Sous cette forme, ils sont mûrs pour être traités par une approche de réseau de neurones appelée seq2seq.

Fait intéressant, cette approche est souvent également utilisée pour la traduction automatique, où une séquence de mots dans une langue doit être traduite en une séquence de mots dans une autre langue. En effet, Lample et Charton disent que leur approche traite essentiellement les mathématiques comme un langage naturel.

La prochaine étape est le processus de formation, et cela nécessite une énorme base de données d'exemples à partir desquels apprendre. Lample et Charton créent cette base de données en assemblant aléatoirement des expressions mathématiques à partir d'une bibliothèque d'opérateurs binaires tels que l'addition, la multiplication, etc. opérateurs unaires tels que cos, sin et exp ; et un ensemble de variables, entiers et constantes, tels que π et e. Ils limitent également le nombre de nœuds internes pour éviter que les équations ne deviennent trop grandes.

Même avec un nombre relativement faible de nœuds et de composants mathématiques, le nombre d'expressions possibles est vaste. Chaque équation aléatoire est ensuite intégrée et différenciée à l'aide d'un système de calcul formel. Toute expression qui ne peut pas être intégrée est rejetée.

De cette manière, les chercheurs génèrent un ensemble massif de données d'entraînement composé, par exemple, de 80 millions d'exemples d'équations différentielles du premier et du second ordre et de 20 millions d'exemples d'expressions intégrées par parties.

En analysant cet ensemble de données, le réseau de neurones apprend alors à calculer la dérivée ou l'intégrale d'une expression mathématique donnée.

Enfin, Lample et Charton ont mis leur réseau de neurones à l'épreuve en lui fournissant 5 000 expressions qu'il n'avait jamais vues auparavant et en comparant les résultats qu'il produit dans 500 cas avec ceux de solveurs disponibles dans le commerce, tels que Maple, Matlab et Mathematica.

Ces solveurs utilisent une approche algorithmique élaborée dans les années 1960 par le mathématicien américain Robert Risch. Cependant, l'algorithme de Risch est énorme, s'exécutant sur 100 pages pour l'intégration seule. Ainsi, les logiciels d'algèbre symbolique utilisent souvent des versions réduites pour accélérer les choses.

Les comparaisons entre ceux-ci et l'approche des réseaux de neurones sont révélatrices. Sur toutes les tâches, nous observons que notre modèle surpasse significativement Mathematica, précisent les chercheurs. Sur l'intégration des fonctions, notre modèle obtient une précision proche de 100%, alors que Mathematica atteint à peine 85%. Et les packages Maple et Matlab sont en moyenne moins performants que Mathematica.

Dans de nombreux cas, les solveurs conventionnels sont incapables de trouver une solution du tout, étant donné 30 secondes pour essayer. En comparaison, le réseau de neurones prend environ une seconde pour trouver ses solutions. L'exemple en haut de cette page en fait partie.

Un résultat intéressant est que le réseau de neurones trouve souvent plusieurs solutions équivalentes au même problème. En effet, les expressions mathématiques peuvent généralement être écrites de différentes manières.

Cette capacité est quelque chose d'un mystère alléchant pour les chercheurs. La capacité du modèle à récupérer des expressions équivalentes, sans avoir été entraîné à le faire, est très intrigante, disent Lample et Charton.

C'est une percée importante. À notre connaissance, aucune étude n'a étudié la capacité des réseaux de neurones à détecter des modèles dans les expressions mathématiques, disent la paire.

Maintenant qu'ils l'ont fait, le résultat a clairement un énorme potentiel dans le monde de plus en plus important et complexe des mathématiques computationnelles.

Les chercheurs ne révèlent pas les plans de Facebook pour cette approche. Mais il n'est pas difficile de voir comment il pourrait offrir son propre service d'algèbre symbolique qui surpasse les leaders du marché.

Cependant, il est peu probable que les concurrents restent assis. Attendez-vous à une bataille acharnée dans le monde des mathématiques computationnelles.

Réf : arxiv.org/abs/1912.01412 : Apprentissage en profondeur pour les mathématiques symboliques

cacher