La start-up secrète DeepMind de Google dévoile une 'machine de Turing neurale'

L'un des grands défis des neurosciences est de comprendre la mémoire de travail à court terme dans le cerveau humain. En même temps, les informaticiens aimeraient bien reproduire le même type de mémoire en silicone .

Aujourd'hui, la startup secrète DeepMind de Google, qu'elle a achetée pour 400 millions de dollars plus tôt cette année, dévoile un prototype d'ordinateur qui tente d'imiter certaines des propriétés de la mémoire de travail à court terme du cerveau humain. Le nouvel ordinateur est un type de réseau neuronal qui a été adapté pour fonctionner avec une mémoire externe. Le résultat est un ordinateur qui apprend en stockant des souvenirs et peut ensuite les récupérer pour effectuer des tâches logiques au-delà de celles pour lesquelles il a été formé.

La percée de DeepMind fait suite à une longue histoire de travaux sur la mémoire à court terme. Dans les années 1950, le psychologue cognitif américain George Miller a réalisé l'une des expériences les plus célèbres de l'histoire des sciences du cerveau. Miller s'est intéressé à la capacité de la mémoire de travail du cerveau humain et a entrepris de la mesurer avec l'aide d'un grand nombre d'étudiants à qui il a demandé d'effectuer des tâches de mémoire simples.

La conclusion frappante de Miller était que la capacité de la mémoire à court terme ne peut pas être définie par la quantité d'informations qu'elle contient. Au lieu de cela, Miller a conclu que la mémoire de travail stocke les informations sous forme de blocs et qu'elle pourrait en contenir environ sept.

Cela soulève la curieuse question : qu'est-ce qu'un morceau ? Dans les expériences de Miller, un morceau pourrait être un seul chiffre comme un 4, une seule lettre comme un q, un seul mot ou un petit groupe de mots qui ensemble ont une signification spécifique. Ainsi, chaque morceau peut représenter n'importe quoi, d'une très petite quantité d'informations à une idée extrêmement complexe qui équivaut à de grandes quantités d'informations.

Mais quelle que soit la quantité d'informations qu'un seul morceau représente, le cerveau humain ne peut en stocker qu'environ sept dans sa mémoire de travail.

Voici un exemple. Considérez la phrase suivante : Ce livre est une lecture passionnante avec une intrigue complexe et des personnages réalistes.

Cette phrase se compose d'environ sept blocs d'informations et est clairement gérable pour tout lecteur ordinaire.

En revanche, essayez cette phrase : Ce livre sur l'Empire romain pendant les premières années du règne d'Auguste César à la fin de la République romaine, décrit les événements qui ont suivi la sanglante bataille d'Actium en 31 av. J.-C. lorsque le jeune empereur a vaincu Marc Antoine et Cléopâtre. en les déjouant complètement dans un engagement naval majeur.

Cette phrase contient au moins 20 morceaux. Donc, si vous l'avez trouvé plus difficile à lire, cela ne devrait pas être une surprise. Le cerveau humain a du mal à conserver autant de morceaux dans sa mémoire de travail.

En sciences cognitives, la capacité à comprendre les composants d'une phrase et à les stocker dans la mémoire de travail est appelée liaison variable. C'est la capacité de prendre une donnée et de l'affecter à un emplacement dans la mémoire et de le faire de manière répétée avec des données de longueur différente, comme des morceaux.

Au cours des années 1990 et 2000, des informaticiens ont tenté à plusieurs reprises de concevoir des algorithmes, des circuits et des réseaux de neurones capables de réaliser cette astuce. Un tel ordinateur devrait être capable d'analyser une phrase simple comme Mary l'a dit à John en la divisant en ses composantes d'acteur, d'action et de récepteur de l'action. Ainsi, dans ce cas, il attribuerait le rôle d'acteur à Marie, le rôle d'action aux paroles adressées et le rôle de récepteur de l'action à Jean.

C'est à cette tâche que s'adresse le travail de DeepMind, malgré les performances très limitées des machines précédentes. Notre architecture s'appuie sur ce travail et le potentialise, disent Alex Graves, Greg Wayne et Ivo Danihelka de DeepMind, basé à Londres.

Ils commencent par redéfinir la nature d'un réseau de neurones. Jusqu'à présent, les réseaux de neurones étaient des modèles de neurones interconnectés capables de modifier la force des interconnexions en réponse à une entrée externe. Il s'agit d'une forme d'apprentissage qui leur permet de repérer les similitudes entre les différentes entrées.

Mais le processus fondamental de l'informatique contient un élément supplémentaire important. Il s'agit d'une mémoire externe qui peut être écrite et lue au cours d'un calcul. Dans la célèbre description de Turing d'un ordinateur, la mémoire est la bande passante qui va et vient à travers l'ordinateur et qui stocke des symboles de différentes sortes pour un traitement ultérieur.

Ce type de mémoire lisible et inscriptible est absent d'un réseau de neurones conventionnel. Alors Graves et co en ont simplement ajouté un. Cela permet au réseau de neurones de stocker des variables dans sa mémoire et d'y revenir ultérieurement pour les utiliser dans un calcul.

Ceci est similaire à la façon dont un ordinateur ordinaire pourrait mettre le nombre 3 et le nombre 4 dans des registres et les ajouter plus tard pour faire 7. La différence est que le réseau neuronal peut stocker des modèles plus complexes de variables représentant, par exemple, le mot Mary .

Étant donné que cette forme de calcul diffère de manière importante d'un réseau de neurones conventionnel, Graves et co lui donnent un nouveau nom - ils l'appellent une machine de Turing neurale, la première du genre à avoir été construite. La machine neuronale de Turing apprend comme un réseau neuronal conventionnel en utilisant les entrées qu'elle reçoit du monde extérieur, mais elle apprend également comment stocker ces informations et quand les récupérer.

Le travail de DeepMind consiste d'abord à construire l'appareil, puis à le mettre à l'épreuve. Leurs expériences consistent en un certain nombre de tests pour voir si, après avoir entraîné une machine de Turing neurale à effectuer une certaine tâche, elle pourrait ensuite étendre cette capacité à des tâches plus importantes ou plus complexes. Par exemple, nous étions curieux de voir si un réseau qui avait été formé pour copier des séquences d'une longueur allant jusqu'à 20 pouvait copier une séquence d'une longueur de 100 sans autre formation, disent Graves et co.

Il s'avère que la machine neurale de Turing apprend à copier plus ou moins parfaitement des séquences de longueurs allant jusqu'à 20. Et il copie ensuite des séquences de longueurs 30 et 50 avec très peu d'erreurs. Pour une séquence de longueur 120, des erreurs commencent à se glisser, y compris une erreur dans laquelle un seul terme est dupliqué et repousse ainsi tous les termes suivants d'un pas en arrière. Bien qu'il soit subjectivement proche d'une copie correcte, cela entraîne une perte élevée, selon l'équipe.

Bien que les séquences impliquées soient aléatoires, il n'est pas difficile d'imaginer comment elles pourraient représenter des idées plus complexes telles que Marie ou a parlé à ou Jean. Un point important est que la quantité d'informations que contiennent ces séquences est variable, comme des morceaux.

Ils comparent les performances de leur Neural Turing Machine avec un réseau de neurones conventionnel. La différence est significative. Le réseau de neurones conventionnel apprend à copier des séquences jusqu'à une longueur de 20 presque parfaitement. Mais lorsqu'il s'agit de séquences plus longues que les données d'apprentissage, les erreurs deviennent immédiatement importantes. Et sa copie de la plus longue séquence de longueur 120 est presque méconnaissable par rapport à l'original.

L'équipe DeepMind continue de tester la Neural Turing Machine sur d'autres tâches. Par exemple, l'un d'entre eux est l'équivalent de la photocopie : la tâche consiste à copier une séquence, puis à répéter cette séquence un nombre de fois spécifié et à terminer avec un marqueur prédéterminé. Une fois de plus, la Neural Turing Machine surpasse de manière significative un réseau de neurones conventionnel.

C'est un travail impressionnant. Nos expériences démontrent que [notre Neural Turing Machine] est capable d'apprendre des algorithmes simples à partir de données d'exemple et d'utiliser ces algorithmes pour généraliser bien en dehors de son régime d'entraînement, disent Graves et co.

C'est un pas en avant important qui a le potentiel de rendre les machines informatiques beaucoup plus cérébrales que jamais. Mais il y a un travail important à faire.

En particulier, le cerveau humain exécute une astuce astucieuse pour donner un sens à des arguments complexes. Une question intéressante qui découle des premiers travaux de Miller est la suivante : si notre mémoire de travail n'est capable de gérer que sept morceaux, comment donnons-nous un sens à des arguments complexes dans des livres, par exemple, qui se composent de milliers ou de dizaines de milliers de morceaux ?

La réponse de Miller est que le cerveau utilise une astuce connue sous le nom de recodage. Revenons à notre exemple du livre et ajoutons une autre phrase : ce livre est une lecture passionnante avec une intrigue complexe et des personnages réalistes. Il vaut clairement le prix de couverture.

Une fois que vous avez lu et compris la première phrase, votre cerveau stocke ces sept morceaux d'une manière qui est disponible en un seul morceau dans la phrase suivante. Dans cette deuxième phrase, le pronom c'est ce morceau unique. Notre cerveau sait automatiquement ce que cela signifie : le livre qui est une lecture passionnante avec une intrigue complexe et des personnages réalistes. Il a recodé les sept morceaux précédents en un seul morceau.

Pour Miller, la capacité du cerveau à recoder de cette manière était l'une des clés de l'intelligence artificielle. Il pensait que tant qu'un ordinateur ne pourrait pas reproduire cette capacité, il ne pourrait jamais égaler les performances du cerveau humain.

DeepMind de Google a déclaré que son objectif était de résoudre les problèmes d'intelligence. Si cette solution ressemble à l'intelligence humaine, un bon test serait de voir si les machines neurales de Turing sont capables de l'astuce de recodage de Miller.

Réf : arxiv.org/abs/1410.5401 : Machines de Turing neuronales

cacher