Une nouvelle façon de créer de minuscules réseaux de neurones pourrait créer une puissante IA sur votre téléphone

MME. TECHNOLOGIE Mme Tech

Les réseaux de neurones sont le logiciel de base de l'apprentissage en profondeur. Même s'ils sont si répandus, cependant, ils sont vraiment mal compris. Les chercheurs ont observé leurs propriétés émergentes sans réellement comprendre Pourquoi ils fonctionnent comme ils le font.

Maintenant un nouveau papier du MIT a fait un grand pas en avant pour répondre à cette question. Et dans le processus, les chercheurs ont fait une découverte simple mais spectaculaire : nous utilisons des réseaux de neurones bien plus grands que ce dont nous avons réellement besoin. Dans certains cas, ils sont 10, voire 100 fois plus gros, donc leur formation nous coûte beaucoup plus de temps et de puissance de calcul que nécessaire.

En d'autres termes, dans chaque réseau de neurones, il en existe un beaucoup plus petit qui peut être formé pour atteindre les mêmes performances que son parent surdimensionné. Ce ne sont pas seulement des nouvelles passionnantes pour les chercheurs en IA. Cette découverte a le potentiel de débloquer de nouvelles applications, dont certaines que nous ne pouvons pas encore comprendre, qui pourraient améliorer notre vie quotidienne. Plus sur cela plus tard.

Mais d'abord, plongeons dans le fonctionnement des réseaux de neurones pour comprendre pourquoi cela est possible.

Un schéma d'un réseau de neurones apprenant à reconnaître un lion. JEFF CLUNE/CAPTURE D'ÉCRAN

Comment fonctionnent les réseaux de neurones

Vous avez peut-être vu des réseaux de neurones représentés dans des diagrammes comme celui ci-dessus : ils sont composés de couches empilées de nœuds de calcul simples qui sont connectés afin de calculer des modèles dans les données.

Les connexions sont ce qui est important. Avant qu'un réseau de neurones ne soit formé, ces connexions se voient attribuer des valeurs aléatoires entre 0 et 1 qui représentent leur intensité. (C'est ce qu'on appelle le processus d'initialisation.) Pendant l'entraînement, alors que le réseau reçoit une série de photos d'animaux, par exemple, il ajuste et ajuste ces intensités, un peu comme la façon dont votre cerveau renforce ou affaiblit différentes connexions neuronales au fur et à mesure que vous accumulez de l'expérience. et connaissances. Après l'entraînement, les intensités de connexion finales sont ensuite utilisées à perpétuité pour reconnaître les animaux sur de nouvelles photos.

Alors que la mécanique des réseaux de neurones est bien comprise, la raison pour laquelle ils fonctionnent comme ils le font est restée un mystère. Cependant, grâce à de nombreuses expérimentations, les chercheurs ont observé deux propriétés des réseaux de neurones qui se sont révélées utiles.

Constat #1. Lorsqu'un réseau est initialisé avant le processus de formation, il y a toujours une certaine probabilité que les forces de connexion attribuées au hasard se retrouvent dans une configuration impossible à former. En d'autres termes, peu importe le nombre de photos d'animaux que vous alimentez le réseau de neurones, il n'atteindra pas une performance décente, et vous n'aurez qu'à le réinitialiser à une nouvelle configuration. Plus le réseau est grand (plus il a de couches et de nœuds), moins cela est probable. Alors qu'un petit réseau de neurones ne peut être entraîné que dans une initialisation sur cinq, un réseau plus grand peut être entraîné dans quatre initialisations sur cinq. Encore, Pourquoi cela se produit était un mystère, mais c'est pourquoi les chercheurs utilisent généralement de très grands réseaux pour leurs tâches d'apprentissage en profondeur. Ils veulent augmenter leurs chances de réussir un modèle.

Constat #2. La conséquence est qu'un réseau de neurones commence généralement plus gros qu'il ne devrait l'être. Une fois la formation terminée, seule une fraction de ses connexions reste généralement solide, tandis que les autres finissent par être assez faibles, si faibles que vous pouvez réellement les supprimer ou les élaguer sans affecter les performances du réseau.

Depuis de nombreuses années, les chercheurs exploitent ce second constat pour rétrécir leurs réseaux après formation pour réduire le temps et les coûts de calcul nécessaires à leur fonctionnement. Mais personne ne pensait qu'il était possible de réduire ses réseaux avant de entraînement. Il était supposé que vous deviez commencer avec un réseau surdimensionné et que le processus de formation devait suivre son cours afin de séparer les connexions pertinentes de celles qui ne le sont pas.

Jonathan Frankle, le doctorant du MIT qui a co-écrit l'article, a remis en question cette hypothèse. Si vous avez besoin de beaucoup moins de connexions que ce avec quoi vous avez commencé, dit-il, pourquoi ne pouvons-nous pas simplement former le plus petit réseau sans les connexions supplémentaires ? Il s'avère que vous pouvez.

Michael Carbin (à gauche) et Jonathan Frankle (à droite), les auteurs de l'article. Jason Dorfman, MIT CSAIL

L'hypothèse du billet de loterie

La découverte repose sur le fait que les forces de connexion aléatoires attribuées lors de l'initialisation ne sont pas, en fait, aléatoires dans leurs conséquences : elles prédisposent différentes parties du réseau à échouer ou à réussir avant même que la formation ne se produise. Autrement dit, la configuration initiale influence la configuration finale à laquelle le réseau arrivera.

En se concentrant sur cette idée, les chercheurs ont découvert que si vous élaguez un réseau surdimensionné après la formation, vous pouvez en fait réutiliser le réseau plus petit qui en résulte pour vous entraîner sur de nouvelles données et préserver des performances élevées, tant que vous réinitialisez chaque connexion au sein de ce réseau réduit. sa force initiale.

À partir de cette découverte, Frankle et son co-auteur Michael Carbin, professeur adjoint au MIT, proposent ce qu'ils appellent l'hypothèse du billet de loterie. Lorsque vous initialisez au hasard les forces de connexion d'un réseau de neurones, c'est presque comme acheter un sac de billets de loterie. Dans votre sac, vous l'espérez, se trouve un ticket gagnant, c'est-à-dire une configuration initiale qui sera facile à former et qui aboutira à un modèle réussi.

Cela explique également pourquoi l'observation #1 est vraie. Commencer avec un réseau plus large, c'est comme acheter plus de billets de loterie. Vous n'augmentez pas la puissance que vous consacrez à votre problème d'apprentissage en profondeur ; vous augmentez simplement la probabilité d'avoir une configuration gagnante. Une fois que vous avez trouvé la configuration gagnante, vous devriez pouvoir la réutiliser encore et encore, plutôt que de continuer à rejouer à la loterie.

Prochaines étapes

Cela soulève beaucoup de questions. Tout d'abord, comment trouver le ticket gagnant ? Dans leur article, Frankle et Carbin ont adopté une approche par force brute consistant à former et à élaguer un réseau surdimensionné avec un ensemble de données pour extraire le ticket gagnant pour un autre ensemble de données. En théorie, il devrait y avoir des moyens beaucoup plus efficaces de trouver – ou même de concevoir – une configuration gagnante dès le départ.

Deuxièmement, quelles sont les limites d'entraînement d'une configuration gagnante ? Vraisemblablement, différents types de données et différentes tâches d'apprentissage en profondeur nécessiteraient des configurations différentes.

Troisièmement, quel est le plus petit réseau de neurones possible avec lequel vous pouvez vous en sortir tout en atteignant des performances élevées ? Frankle a découvert que grâce à un processus itératif de formation et d'élagage, il était en mesure de réduire systématiquement le réseau de départ entre 10 % et 20 % de sa taille d'origine. Mais il pense qu'il y a une chance pour qu'il soit encore plus petit.

Déjà, de nombreuses équipes de recherche au sein de la communauté de l'IA ont commencé à mener des travaux de suivi. Un chercheur de Princeton a récemment taquiné les résultats d'un article à paraître traitant de la deuxième question. Une équipe d'Uber a également publié un nouveau papier sur plusieurs expériences étudiant la nature des billets de loterie métaphoriques. Plus surprenant, ils ont constaté qu'une fois qu'une configuration gagnante a été trouvée, elle atteint déjà des performances nettement meilleures que le réseau surdimensionné non formé d'origine. avant de quelque formation que ce soit. En d'autres termes, le fait d'élaguer un réseau pour extraire une configuration gagnante est en soi une méthode d'apprentissage importante.

Le nirvana des réseaux de neurones

Frankle imagine un avenir où la communauté des chercheurs disposera d'une base de données open source de toutes les différentes configurations qu'ils ont trouvées, avec des descriptions des tâches pour lesquelles ils sont bons. Il appelle en plaisantant ce réseau de neurones le nirvana. Il pense que cela accélérerait et démocratiserait considérablement la recherche sur l'IA en réduisant le coût et la rapidité de la formation, et en permettant aux personnes sans serveurs de données géants de faire ce travail directement sur de petits ordinateurs portables ou même des téléphones portables.

Cela pourrait également changer la nature des applications de l'IA. Si vous pouvez former un réseau de neurones localement sur un appareil plutôt que dans le cloud, vous pouvez améliorer la vitesse du processus de formation et la sécurité des données. Imaginez un dispositif médical basé sur l'apprentissage automatique, par exemple, qui pourrait s'améliorer grâce à l'utilisation sans avoir besoin d'envoyer les données des patients aux serveurs de Google ou d'Amazon.

Nous nous heurtons constamment à la limite de ce que nous pouvons former, déclare Jason Yosinski, membre fondateur d'Uber AI Labs et coauteur de l'article de suivi d'Uber, ce qui signifie que les plus grands réseaux que vous pouvez installer sur un GPU ou les plus longs que nous pouvons tolérer d'attendre avant d'obtenir un résultat. Si les chercheurs pouvaient trouver comment identifier les configurations gagnantes dès le départ, cela réduirait la taille des réseaux de neurones d'un facteur 10, voire 100. Le plafond des possibilités augmenterait considérablement, ouvrant un nouveau monde d'utilisations potentielles.

cacher