Comment l'astuce de mémoire de DeepMind aide l'IA à apprendre plus rapidement

Les machines intelligentes ont l'humain en ligne de mire. Les machines d'apprentissage en profondeur ont déjà des compétences surhumaines lorsqu'il s'agit de tâches telles que la reconnaissance faciale, les jeux vidéo et même l'ancien jeu chinois de Go. Il est donc facile de penser que les humains sont déjà dépassés.

Mais pas si vite. Les machines intelligentes sont encore en retard sur les humains dans un domaine de performance crucial : la vitesse à laquelle elles apprennent. Lorsqu'il s'agit de maîtriser les jeux vidéo classiques, par exemple, les meilleures machines d'apprentissage en profondeur nécessitent environ 200 heures de jeu pour atteindre les mêmes niveaux de compétence que les humains atteignent en seulement deux heures.

Les informaticiens aimeraient donc beaucoup avoir un moyen d'accélérer la vitesse à laquelle les machines apprennent.

Aujourd'hui, Alexander Pritzel et ses amis de la filiale DeepMind de Google à Londres affirment avoir fait exactement cela. Ces gars-là ont construit une machine d'apprentissage en profondeur capable d'assimiler rapidement de nouvelles expériences, puis d'agir en conséquence. Le résultat est une machine qui apprend beaucoup plus vite que les autres et qui a le potentiel d'égaler les humains dans un avenir pas trop lointain.

Tout d'abord, un peu de contexte. L'apprentissage en profondeur utilise des couches de réseaux de neurones pour rechercher des modèles dans les données. Lorsqu'une seule couche repère un motif qu'elle reconnaît, elle envoie cette information à la couche suivante, qui recherche des motifs dans ce signal, et ainsi de suite.

Ainsi, dans la reconnaissance faciale, un calque peut rechercher des bords dans une image, le calque suivant des motifs circulaires de bords (le genre que font les yeux et la bouche) et le suivant des motifs triangulaires tels que ceux faits par deux yeux et une bouche. Lorsque tout cela se produit, la sortie finale est une indication qu'un visage a été repéré.

Bien sûr, le diable est dans les détails. Il existe différents systèmes de rétroaction pour permettre au système d'apprendre en ajustant divers paramètres internes tels que la force des connexions entre les couches. Ces paramètres doivent changer lentement, car un changement important dans une couche peut affecter de manière catastrophique l'apprentissage dans les couches suivantes. C'est pourquoi les réseaux de neurones profonds nécessitent tant de formation et pourquoi cela prend si longtemps.

Pritzel et co ont abordé ce problème avec une technique qu'ils appellent le contrôle épisodique neuronal. Le contrôle épisodique neuronal démontre des améliorations spectaculaires de la vitesse d'apprentissage pour un large éventail d'environnements, disent-ils. Surtout, notre agent est capable de s'accrocher rapidement à des stratégies très réussies dès qu'elles sont expérimentées, au lieu d'attendre de nombreuses étapes d'optimisation.

L'idée de base derrière l'approche de DeepMind est de copier la façon dont les humains et les animaux apprennent rapidement. Le consensus général est que les humains peuvent aborder les situations de deux manières différentes. Si la situation est familière, notre cerveau en a déjà formé un modèle, qu'il utilise pour déterminer la meilleure façon de se comporter. Cela utilise une partie du cerveau appelée le cortex préfrontal.

Mais lorsque la situation n'est pas familière, notre cerveau doit se rabattre sur une autre stratégie. On pense que cela implique une approche de test et de mémorisation beaucoup plus simple impliquant l'hippocampe. Alors on essaie quelque chose et on se souvient du dénouement de cet épisode. Si cela réussit, nous réessayons, et ainsi de suite. Mais si ce n'est pas un épisode réussi, nous essayons de l'éviter à l'avenir.

Cette approche épisodique suffit à court terme pendant que notre cerveau préfrontal apprend. Mais il est vite dépassé par le cortex préfrontal et son approche basée sur les modèles.

Pritzel et co ont utilisé cette approche comme source d'inspiration. Leur nouveau système a deux approches. Le premier est un système conventionnel d'apprentissage en profondeur qui imite le comportement du cortex préfrontal. Le second ressemble plus à l'hippocampe. Lorsque le système essaie quelque chose de nouveau, il se souvient du résultat.

Mais surtout, il n'essaie pas d'apprendre ce qu'il faut retenir. Au lieu de cela, il se souvient de tout. Notre architecture n'essaie pas d'apprendre quand écrire en mémoire, car cela peut être lent à apprendre et prendre beaucoup de temps, disent Pritzel et co. Au lieu de cela, nous choisissons d'écrire toutes les expériences dans la mémoire et de lui permettre de devenir très volumineux par rapport aux architectures de mémoire existantes.

Ils utilisent ensuite un ensemble de stratégies pour lire rapidement cette grande mémoire. Le résultat est que le système peut s'accrocher à des stratégies réussies beaucoup plus rapidement que les systèmes d'apprentissage en profondeur conventionnels.

Ils continuent à démontrer à quel point tout cela fonctionne bien en entraînant leur machine à jouer à des jeux vidéo Atari classiques, tels que Breakout, Pong et Space Invaders. (C'est un terrain de jeu que DeepMind a utilisé pour former de nombreuses machines d'apprentissage en profondeur.)

L'équipe, qui comprend le cofondateur de DeepMind, Demis Hassibis, montre que le contrôle épisodique neuronal surpasse largement les autres approches d'apprentissage en profondeur en termes de vitesse d'apprentissage. Nos expériences montrent que le contrôle épisodique neuronal nécessite un ordre de grandeur moins d'interactions avec l'environnement, disent-ils.

C'est un travail impressionnant avec un potentiel important. Les chercheurs disent qu'une extension évidente de ce travail consiste à tester leur nouvelle approche sur des environnements 3D plus complexes.

Il sera intéressant de voir quels environnements l'équipe choisit et l'impact que cela aura sur le monde réel. Nous attendrons avec impatience de voir comment cela fonctionnera.

Réf : Contrôle Neural Episodique : arxiv.org/abs/1703.01988

cacher