Les machines d'IA subissant des tests de psychologie comportementale

Les psychologues du comportement utilisent depuis longtemps les labyrinthes pour étudier la mémoire et l'apprentissage ; leurs sujets, principalement des rats et des souris.

Aujourd'hui, les chercheurs commencent à utiliser la même approche pour tester un tout nouveau type de sujet - la dernière génération de machines d'intelligence artificielle. Ils ont commencé par mettre ces machines à l'épreuve dans des labyrinthes créés dans le monde en ligne de Minecraft.

Les labyrinthes ont un longue histoire en psychologie comportementale . Au début du XXe siècle, les scientifiques se sont intéressés à la capacité d'apprentissage et de mémorisation des rats et des souris. En particulier, ils ont commencé à étudier les mécanismes d'apprentissage tels que l'apprentissage par renforcement.

Le labyrinthe est devenu le cheval de bataille standard pour ce genre de travail. Les chercheurs concevraient un labyrinthe complexe, placeraient une sorte de récompense au centre, puis lâcheraient un rat à l'intérieur et verraient à quelle vitesse il résolvait le puzzle.

Les psychologues ont rapidement découvert que les rats apprenaient rapidement et pouvaient trouver leur chemin même avec divers troubles sensoriels tels que la cécité, l'assourdissement ou l'épilation des moustaches.

Mais la complexité des premiers labyrinthes signifiait que les expériences étaient difficiles à comparer. Ainsi, les psychologues ont finalement opté pour de simples labyrinthes en forme de T ou de Y, par exemple, qui pourraient facilement être reproduits dans n'importe quel laboratoire.

Cela a permis de montrer comment les rats apprennent, que les gènes peuvent déterminer la rapidité avec laquelle les rats résolvent des énigmes, etc. Ces dernières années, des informaticiens ont même développé des labyrinthes de réalité virtuelle dans lesquels les rats sont immobilisés et obligés de regarder un écran tout en se tenant debout sur une sorte de trackball qui bouge pendant qu'ils marchent ou courent. De cette façon, le rat avance dans le labyrinthe virtuel.

Maintenant Junhyuk Oh, Valliappa Chockalingam, Satinder Singh et Honglak
Lee de l'Université du Michigan a commencé à expérimenter un tout nouveau type de labyrinthe pour tester les capacités cognitives d'un tout nouveau type d'être. Les nouveaux labyrinthes sont construits dans Minecraft, un monde en 3D dans lequel les joueurs utilisent des cubes texturés pour construire presque n'importe quoi. Créer un labyrinthe simple est trivial ici.

Mais les êtres testés par Oh and co sont encore plus exotiques : ce sont des machines à intelligence artificielle. Cependant, alors que ces machines apprennent facilement dans des environnements idéaux, elles ont des difficultés dans des situations réelles où les objets peuvent être partiellement obscurcis, où la vision et le mouvement doivent être soigneusement coordonnés pour réussir et la récompense qui en résulte souvent retardée.

Une question importante est de savoir quels types de systèmes d'IA sont les meilleurs dans ce domaine. Mais étudier comment les systèmes d'IA s'en sortent est difficile car les environnements délicats sont difficiles à reproduire. C'est là qu'intervient Minecraft.

Oh and co ont créé un ensemble de labyrinthes dans lesquels ils confient à leurs algorithmes d'IA des tâches de plus en plus complexes. Par exemple, une tâche peut être de trouver le cube rouge dans un labyrinthe, la tâche suivante de trouver un bloc rouge si le premier bloc qu'il voit est jaune mais sinon de chercher un bloc bleu, et ainsi de suite (voir vidéo).

Le labyrinthe garantit qu'il n'y a pas toujours une ligne de site propre aux blocs et que l'algorithme doit coordonner son mouvement et sa vision à explorer. L'équipe peut également donner différents types de récompenses pour avoir réussi la tâche. Fondamentalement, la même tâche avec le même niveau de difficulté peut être répétée encore et encore.

Les résultats constituent la première exploration systématique de ce type de capacité cognitive de l'IA. L'équipe affirme que le système d'IA le plus performant utilise un apprentissage par renforcement profond amélioré avec de la mémoire supplémentaire. Ces machines récupèrent des souvenirs pertinents en fonction du contexte dans lequel ils ont été stockés et dans lequel se trouve l'appareil. C'est différent de nombreux systèmes de mémoire existants qui ne reposent pas sur le contexte pour la récupération de la mémoire.

Notre principal résultat empirique est que la récupération de mémoire dépendante du contexte peut résoudre plus efficacement notre ensemble de tâches, disent-ils.

C’est un travail intéressant qui ouvre la voie à de nombreux travaux futurs. Les labyrinthes Minecraft sont faciles à reproduire, permettant à quiconque disposant d'un système d'IA de comparer ses performances à ces résultats et à d'autres.

Il permet également une expansion directe de la recherche. Dans les travaux futurs, nous avons l'intention de tirer parti de la flexibilité du domaine Minecraft pour construire des tâches cognitives encore plus difficiles afin d'évaluer davantage nos architectures, disons Oh and co.

Et cela ouvre une perspective intéressante. Peut-être que le premier endroit où nous verrons des IA effectuer des tâches avancées sera dans des paramètres de réalité virtuelle comme Minecraft. Cela fournit également un environnement bénin dans lequel explorer certaines des questions éthiques soulevées par la recherche en IA.

Alors la prochaine fois que vous, ou vos enfants, êtes immergés dans un monde Minecraft, jetez un œil attentif aux autres joueurs. Il est juste possible qu'ils ne soient pas tout ce qu'ils semblent être.

Réf : arxiv.org/abs/1605.09128 : Contrôle de la mémoire, de la perception active et de l'action dans Minecraft

cacher