Les réseaux de neurones apprennent ce qu'il faut retenir et ce qu'il faut oublier

L'apprentissage en profondeur change la façon dont nous utilisons et pensons aux machines. Les incarnations actuelles sont meilleures que les humains dans toutes sortes de tâches, des échecs et du Go à la reconnaissance faciale et à la reconnaissance d'objets.

Mais de nombreux aspects de l'apprentissage automatique sont très en retard sur les performances humaines. En particulier, les humains ont la capacité extraordinaire de constamment mettre à jour leurs mémoires avec les connaissances les plus importantes tout en écrasant les informations qui ne sont plus utiles.

C'est une compétence importante. Le monde fournit une source inépuisable de données, dont la plupart n'ont aucun rapport avec la tâche délicate de la survie, et dont la plupart sont impossibles à stocker dans une mémoire limitée. Ainsi, les humains et les autres créatures ont développé des moyens de conserver des compétences importantes tout en oubliant celles qui ne sont pas pertinentes.

Les réseaux de neurones apprennent maintenant à oublier.

On ne peut pas en dire autant des machines. Toute compétence qu'ils apprennent est rapidement écrasée, quelle que soit son importance. Il n'existe actuellement aucun mécanisme fiable qu'ils peuvent utiliser pour hiérarchiser ces compétences, décider ce qu'il faut retenir et ce qu'il faut oublier.

Aujourd'hui, cela semble sur le point de changer grâce au travail de Rahaf Aljundi et de ses amis de l'Université de Louvain en Belgique et de Facebook AI Research. Ces gars-là ont montré que l'approche utilisée par les systèmes biologiques pour apprendre et oublier peut également fonctionner avec des réseaux de neurones artificiels.

La clé est un processus connu sous le nom d'apprentissage hebbien, proposé pour la première fois dans les années 1940 par le psychologue canadien Donald Hebb pour expliquer la façon dont les cerveaux apprennent via la plasticité synaptique. La théorie de Hebb peut être résumée de manière célèbre comme des cellules qui s'allument ensemble.

En d'autres termes, les connexions entre les neurones se renforcent s'ils se déclenchent ensemble, et ces connexions sont donc plus difficiles à rompre. C'est ainsi que nous apprenons - le déclenchement synchronisé répété des neurones rend les connexions entre eux plus fortes et plus difficiles à écraser.

Aljundi et co ont donc développé un moyen pour les réseaux de neurones artificiels de se comporter de la même manière. Pour ce faire, ils mesurent les sorties d'un réseau neuronal et surveillent leur sensibilité aux modifications des connexions au sein du réseau.

Cela leur donne une idée des paramètres réseau les plus importants et qui doivent donc être préservés. Lors de l'apprentissage d'une nouvelle tâche, les modifications de paramètres importants sont pénalisées, explique l'équipe. Ils disent que le réseau résultant a des synapses conscientes de la mémoire.

Ils ont mis cette idée à l'épreuve avec une série de tests dans lesquels un réseau neuronal formé pour faire une chose reçoit ensuite des données qui l'entraînent à faire autre chose. Par exemple, un réseau entraîné à reconnaître des fleurs se voit ensuite montrer des oiseaux. Les chercheurs lui montrent ensuite à nouveau des fleurs pour voir dans quelle mesure cette compétence est préservée.

Les réseaux de neurones avec des synapses conscientes de la mémoire s'avèrent plus performants dans ces tests que les autres réseaux. En d'autres termes, ils préservent davantage la compétence d'origine que les réseaux sans cette capacité, bien que les résultats permettent certainement une amélioration.

Le point clé, cependant, est que l'équipe a trouvé un moyen pour les réseaux de neurones d'utiliser l'apprentissage hebbien. Nous montrons qu'une version locale de notre méthode est une application directe de la règle de Hebb dans l'identification des connexions importantes entre les neurones, disent Aljundi et co.

Cela a des implications pour l'avenir de l'apprentissage automatique. Si ces scientifiques peuvent améliorer leur version de l'apprentissage hebbien, cela devrait rendre les machines plus flexibles dans leur apprentissage. Et cela leur permettra de mieux s'adapter au monde réel.

Réf : arxiv.org/abs/1711.09601 : Synapses conscientes de la mémoire : apprendre ce qu'il ne faut (pas) oublier

cacher