Que se passe-t-il lorsque vous donnez à une IA une mémoire de travail ?

Un nouveau type d'ordinateur, conçu par des chercheurs de Google DeepMind au Royaume-Uni, pourrait élargir les capacités des meilleurs systèmes d'IA d'aujourd'hui en leur donnant une nouvelle fonctionnalité importante : une sorte de mémoire de travail.

Les chercheurs montrent que l'ordinateur, qui consiste en un vaste réseau de neurones relié à une forme unique de mémoire, peut effectuer des tâches relativement complexes en déterminant par lui-même quelles informations conserver dans sa mémoire. Les tâches consistent à déterminer le meilleur moyen de se rendre d'une station à une autre sur le réseau de transport en commun souterrain de type spaghetti de Londres, après avoir exploré des schémas d'autres types de réseaux et découvert les caractéristiques les plus saillantes.

Les chercheurs de Google DeepMind appellent leur système un ordinateur neuronal différentiable. Il est différenciable en ce sens que son comportement, y compris ce qu'il faut stocker en mémoire, peut être appris à l'aide du processus mathématique, appelé rétropropagation, qui sous-tend le fonctionnement des réseaux de neurones. Au fur et à mesure que le réseau est entraîné avec des données, il stocke automatiquement certaines informations dans une matrice de mémoire.

Comme un ordinateur conventionnel, il peut utiliser sa mémoire pour représenter et manipuler des structures de données complexes mais, comme un réseau de neurones, il peut apprendre à le faire à partir des données, écrivent les auteurs, parmi lesquels Alex Graves, Greg Wayne et Demis Hassabis. un article publié aujourd'hui dans la revue La nature .

L'avancée est un pas vers l'intelligence artificielle qui ressemble un peu plus à l'humain dans ses capacités. Bien que la technique soit limitée pour l'instant, les systèmes construits de cette manière pourraient un jour effectuer un travail utile, dit Rouslan Salakhoutdinov , professeur associé à la CMU, spécialisé dans l'apprentissage automatique et l'IA. Par exemple, une version plus avancée pourrait explorer Wikipédia et déterminer quels concepts importants, tels que les noms, les lieux et les dates, stocker en mémoire. Ou cela pourrait permettre à un robot d'utiliser des informations apprises dans un cadre dans un tout nouveau. C'est un travail très excitant, dit Salakhutdinov.

Les derniers systèmes d'apprentissage automatique sont brillants dans certaines tâches, comme la reconnaissance de visages dans des images ou des mots prononcés. Et avec la pratique, ils peuvent apprendre à effectuer des tâches complexes comme jouer à des jeux informatiques à un niveau expert. Mais ils ont besoin d'énormes quantités de données spécifiques pour la formation et, contrairement à un humain, ne peuvent pas stocker une grande partie de ce qu'ils ont appris en mémoire pour une utilisation ultérieure. Cela pose un problème dans de nombreux domaines, y compris la langue (voir AI’s Language Problem ).

Salakhutdinov note cependant que rendre plus complexe un tel ordinateur neuronal différentiable pourrait être difficile. En effet, pour accéder à sa mémoire, il doit effectuer un calcul complexe en interrogeant chaque pièce stockée. Il est très difficile de faire fonctionner ces choses, dit-il. La mise à l'échelle peut être un peu problématique.

Fait intéressant, le travail rapproche un peu plus deux domaines de l'IA qui sont depuis longtemps en désaccord. Les premiers travaux en intelligence artificielle impliquaient de programmer des machines pour représenter symboliquement des informations, tandis que la mode actuelle consiste à utiliser de très grands réseaux de neurones qui s'entraînent à effectuer des tâches. Pendant longtemps, certains traditionalistes de l'IA et des scientifiques cognitifs se sont demandé si les réseaux de neurones pouvaient faire ce que font les humains sans acquérir une capacité plus profonde à représenter symboliquement l'information.

Je suis très impressionné par la capacité du réseau à apprendre des « algorithmes » à partir d'exemples, déclare Lac Brenden , un scientifique cognitif de l'Université de New York qui étudie les moyens de faire en sorte que les ordinateurs imitent l'intelligence humaine. Cela pourrait accroître l'utilité de l'apprentissage en profondeur. Les algorithmes, tels que le tri ou la recherche des chemins les plus courts, sont le pain quotidien de l'informatique classique. Ils nécessitent traditionnellement un programmeur pour les concevoir et les mettre en œuvre.

Mais Lake souligne que le système n'est toujours pas tout à fait humain dans son fonctionnement. Les gens peuvent choisir une nouvelle tâche à partir d'une expérience limitée, surtout s'ils connaissent le domaine, dit-il. En revanche, l'ordinateur neuronal différentiel est formé sur des dizaines ou des centaines de milliers d'exemples de chaque tâche. Je pense que la capacité humaine à apprendre rapidement de nouvelles tâches sera l'un des prochains défis majeurs de l'IA.

cacher