L'IA a résolu un casse-tête mathématique clé pour comprendre notre monde

paysage généré mathématiquement

Mme Tech | Photothèque scientifique via AP





À moins que vous ne soyez physicien ou ingénieur, il n'y a vraiment pas beaucoup de raisons pour que vous connaissiez les équations aux dérivées partielles. Je sais. Après des années passées à les étudier au premier cycle tout en étudiant le génie mécanique, je ne les ai jamais utilisés depuis dans le monde réel.

Mais les équations aux dérivées partielles, ou PDE, sont aussi un peu magiques. Il s'agit d'une catégorie d'équations mathématiques qui sont très efficaces pour décrire les changements dans l'espace et dans le temps, et donc très pratiques pour décrire les phénomènes physiques dans notre univers. Ils peuvent être utilisés pour tout modéliser, des orbites planétaires à la tectonique des plaques en passant par la turbulence de l'air qui perturbe un vol, ce qui nous permet à son tour de faire des choses pratiques comme prédire l'activité sismique et concevoir des avions sûrs.

Le hic, c'est que les PDE sont notoirement difficiles à résoudre. Et ici, le sens de résoudre est peut-être mieux illustré par un exemple. Supposons que vous essayez de simuler la turbulence de l'air pour tester une nouvelle conception d'avion. Il existe une EDP connue appelée Navier-Stokes qui est utilisée pour décrire le mouvement de tout fluide. La résolution de Navier-Stokes vous permet de prendre un instantané du mouvement de l'air (c'est-à-dire des conditions de vent) à tout moment et de modéliser comment il continuera à se déplacer ou comment il se déplaçait auparavant.



Ces calculs sont très complexes et intensifs en termes de calcul, c'est pourquoi les disciplines qui utilisent beaucoup d'EDP s'appuient souvent sur des superordinateurs pour effectuer les calculs. C'est aussi pourquoi le domaine de l'IA s'est particulièrement intéressé à ces équations. Si nous pouvions utiliser l'apprentissage en profondeur pour accélérer le processus de résolution de ces problèmes, cela pourrait faire beaucoup de bien à la recherche scientifique et à l'ingénierie.

Maintenant, les chercheurs de Caltech ont introduit une nouvelle technique d'apprentissage en profondeur pour résoudre les EDP qui est considérablement plus précis que les méthodes d'apprentissage en profondeur développées précédemment. Il est également beaucoup plus généralisable, capable de résoudre des familles entières d'EDP, comme l'équation de Navier-Stokes pour tout type de fluide, sans avoir besoin de se recycler. Enfin, il est 1 000 fois plus rapide que les formules mathématiques traditionnelles, ce qui réduirait notre dépendance aux superordinateurs et augmenterait notre capacité de calcul pour modéliser des problèmes encore plus importants. C'est vrai. L'amener sur.

Temps de marteau

Avant de nous plonger dans la façon dont les chercheurs ont fait cela, apprécions d'abord les résultats. Dans le gif ci-dessous, vous pouvez voir une démonstration impressionnante. La première colonne montre deux instantanés du mouvement d'un fluide ; la seconde montre comment le fluide a continué à se déplacer dans la vie réelle ; et le troisième montre comment le réseau neuronal a prédit que le fluide se déplacerait. Il semble fondamentalement identique au second.



Le papier a obtenu beaucoup de buzz sur Twitter, et même un dédicace du rappeur MC Hammer . Oui vraiment.

Bon, revenons à la façon dont ils l'ont fait.



Quand la fonction convient

La première chose à comprendre ici est que les réseaux de neurones sont fondamentalement des approximateurs de fonctions. (Dire quoi?) Lorsqu'ils s'entraînent sur un ensemble de données d'entrées et de sorties appariées, ils calculent en fait la fonction, ou la série d'opérations mathématiques, qui se transposera l'une dans l'autre. Pensez à construire un détecteur de chat. Vous entraînez le réseau de neurones en lui fournissant de nombreuses images de chats et de choses qui ne sont pas des chats (les entrées) et en étiquetant chaque groupe avec un 1 ou un 0, respectivement (les sorties). Le réseau de neurones recherche alors la meilleure fonction capable de convertir chaque image d'un chat en 1 et chaque image de tout le reste en 0. C'est ainsi qu'il peut regarder une nouvelle image et vous dire si c'est un chat ou non. Il utilise la fonction qu'il a trouvée pour calculer sa réponse - et si sa formation était bonne, il réussira la plupart du temps.

De manière pratique, ce processus d'approximation de fonction est ce dont nous avons besoin pour résoudre une PDE. Nous essayons finalement de trouver une fonction qui décrit le mieux, par exemple, le mouvement des particules d'air dans l'espace physique et le temps.

Voici maintenant le nœud du papier. Les réseaux de neurones sont généralement formés pour approximer les fonctions entre les entrées et les sorties définies dans l'espace euclidien, votre graphique classique avec les axes x, y et z. Mais cette fois, les chercheurs ont décidé de définir les entrées et les sorties dans l'espace de Fourier, qui est un type spécial de graphique pour tracer les fréquences des ondes. L'intuition qu'ils ont tirée de travaux dans d'autres domaines est que quelque chose comme le mouvement de l'air peut en fait être décrit comme une combinaison de fréquences d'ondes, explique Anima Anandkumar, une professeure de Caltech qui a supervisé la recherche aux côtés de ses collègues, les professeurs Andrew Stuart et Kaushik. Bhattacharya. La direction générale du vent au niveau macro est comme une basse fréquence avec des vagues très longues et léthargiques, tandis que les petits tourbillons qui se forment au niveau micro sont comme des hautes fréquences avec des vagues très courtes et rapides.



Pourquoi est-ce important ? Parce qu'il est beaucoup plus facile d'approximer une fonction de Fourier dans l'espace de Fourier que de se débattre avec des EDP dans l'espace euclidien, ce qui simplifie grandement le travail du réseau de neurones. Cue des gains de précision et d'efficacité majeurs : en plus de son énorme avantage en termes de vitesse par rapport aux méthodes traditionnelles, leur technique permet d'obtenir un taux d'erreur inférieur de 30 % lors de la résolution de Navier-Stokes par rapport aux méthodes d'apprentissage en profondeur précédentes.

Le tout est extrêmement astucieux, et rend également la méthode plus généralisable. Les méthodes précédentes d'apprentissage en profondeur devaient être entraînées séparément pour chaque type de fluide, alors que celle-ci n'a besoin d'être entraînée qu'une seule fois pour tous les gérer, comme l'ont confirmé les expériences des chercheurs. Bien qu'ils n'aient pas encore essayé d'étendre cela à d'autres exemples, il devrait également être capable de gérer chaque composition de terre lors de la résolution des PDE liées à l'activité sismique, ou chaque type de matériau lors de la résolution des PDE liées à la conductivité thermique.

Super-simulation

Les professeurs et leurs doctorants n'ont pas fait cette recherche uniquement pour le plaisir théorique. Ils veulent amener l'IA à des disciplines plus scientifiques. C'est en discutant avec divers collaborateurs en science du climat, en sismologie et en science des matériaux qu'Anandkumar a décidé pour la première fois de relever le défi de l'EDP avec ses collègues et ses étudiants. Ils travaillent maintenant à mettre leur méthode en pratique avec d'autres chercheurs de Caltech et du Lawrence Berkeley National Laboratory.

Un sujet de recherche qui passionne particulièrement Anandkumar : le changement climatique. Navier-Stokes n'est pas seulement doué pour modéliser la turbulence de l'air; il est également utilisé pour modéliser les conditions météorologiques. Avoir de bonnes prévisions météorologiques précises à l'échelle mondiale est un problème tellement difficile, dit-elle, et même sur les plus grands supercalculateurs, nous ne pouvons pas le faire à l'échelle mondiale aujourd'hui. Donc, si nous pouvons utiliser ces méthodes pour accélérer l'ensemble du pipeline, cela aurait un impact considérable.

Il y a aussi beaucoup, beaucoup plus d'applications, ajoute-t-elle. En ce sens, le ciel est la limite, puisque nous avons un moyen général d'accélérer toutes ces applications.

cacher