Uber a craqué deux jeux vidéo classiques des années 80 en donnant à un algorithme d'IA un nouveau type de mémoire

Squakenet

Un nouveau type d'algorithme d'apprentissage automatique vient de maîtriser quelques jeux vidéo de retour qui se sont révélés être un gros casse-tête pour l'IA.

Ceux qui suivent sauront que les algorithmes d'IA ont battu les meilleurs joueurs humains du monde dans l'ancien et élégant jeu de stratégie Go, l'un des jeux les plus difficiles imaginables. Mais deux classiques pixélisés de l'ère des jeux informatiques 8 bits - Montezuma's Revenge et Pitfall ! - ont entravé les chercheurs en intelligence artificielle.

Il y a une raison à cette apparente contradiction. Bien que d'une simplicité trompeuse, Montezuma's Revenge et Pitfall! ont été immunisés contre la maîtrise via l'apprentissage par renforcement, une technique qui est par ailleurs apte à apprendre à conquérir les jeux vidéo. DeepMind, une filiale d'Alphabet axée sur l'intelligence artificielle, l'a notamment utilisée pour développer des algorithmes capables d'apprendre à jouer à plusieurs jeux vidéo classiques à un niveau expert. Les algorithmes d'apprentissage par renforcement s'intègrent bien à la plupart des jeux, car ils modifient leur comportement en réponse à des commentaires positifs, le score augmentant. Le succès de l'approche a fait naître l'espoir que les algorithmes d'IA pourraient apprendre à faire toutes sortes de choses utiles qui sont actuellement impossibles pour les machines.

Le problème avec Montezuma's Revenge et Pitfall ! est qu'il existe peu de signaux de récompense fiables. Les deux titres impliquent des scénarios typiques : les protagonistes explorent des mondes en bloc remplis de créatures mortelles et de pièges. Mais dans chaque cas, de nombreux comportements nécessaires pour avancer dans le jeu n'aident à augmenter le score que bien plus tard. Les algorithmes d'apprentissage par renforcement ordinaires ne parviennent généralement pas à sortir de la première salle de Montezuma's Revenge et de Pitfall ! ils marquent exactement zéro.

Les nouveaux algorithmes proviennent de l'équipe de recherche sur l'IA d'Uber à San Francisco, dirigée par Jeff Cluné , qui est également professeur agrégé à l'Université du Wyoming. L'équipe a démontré une approche fondamentalement différente de l'apprentissage automatique dans un environnement qui offre peu d'indices pour montrer à un algorithme comment il fonctionne.

L'approche conduit à des applications pratiques intéressantes, écrivent Clune et son équipe dans un article de blog publié aujourd'hui, par exemple dans l'apprentissage des robots. En effet, les futurs robots devront savoir quoi faire dans des environnements complexes et n'offrir que quelques rares récompenses.

Uber a lancé son laboratoire d'intelligence artificielle en décembre 2016, dans le but de réaliser des percées fondamentales qui pourraient s'avérer utiles à son entreprise. De meilleurs algorithmes d'apprentissage par renforcement pourraient finalement s'avérer utiles pour des choses comme la conduite autonome et l'optimisation des itinéraires des véhicules.

Les chercheurs en intelligence artificielle ont généralement tenté de contourner les problèmes posés par Montezuma's Revenge and Pitfall ! en demandant aux algorithmes d'apprentissage par renforcement d'explorer de manière aléatoire à certains moments, tout en ajoutant des récompenses pour l'exploration, ce que l'on appelle la motivation intrinsèque.

Mais les chercheurs d'Uber pensent que cela ne parvient pas à capturer un aspect important de la curiosité humaine. Nous émettons l'hypothèse qu'une faiblesse majeure des algorithmes de motivation intrinsèque actuels est le détachement, écrivent-ils. Dans lequel les algorithmes oublient les zones prometteuses qu'ils ont visitées, ce qui signifie qu'ils n'y reviennent pas pour voir s'ils mènent à de nouveaux états.

La nouvelle famille d'algorithmes d'apprentissage par renforcement de l'équipe, baptisée Go-Explore, se souvient où ils ont été auparavant et reviendra plus tard sur un domaine ou une tâche particulière pour voir si cela pourrait aider à fournir de meilleurs résultats globaux. Les chercheurs ont également découvert que l'ajout d'un peu de connaissance du domaine, en demandant aux joueurs humains de mettre en évidence des domaines intéressants ou importants, accélérait considérablement l'apprentissage et la progression des algorithmes. Ceci est important car il peut y avoir de nombreuses situations réelles où vous voudriez qu'un algorithme et une personne travaillent ensemble pour résoudre une tâche difficile.

Leur code marque en moyenne 400 000 points dans Montezuma's Revenge, un ordre de grandeur supérieur à la moyenne des experts humains. En piège ! il en accumule 21 000 en moyenne, bien mieux que la plupart des joueurs humains.

Ces résultats sont très impressionnants, déclare Emma Brunskill, professeure adjointe à l'Université de Stanford, spécialisée dans l'apprentissage par renforcement. Elle dit qu'il est surprenant et excitant que les techniques aient produit de si grands avantages.

D'autres chercheurs en intelligence artificielle se sont penchés sur ces jeux vidéo notoirement difficiles. En octobre, une équipe d'OpenAI, une organisation à but non lucratif de San Francisco, a présenté un algorithme capable de faire des progrès significatifs dans Montezuma's Revenge.

Le groupe de Brunskill à Stanford récemment fait des progrès plus modestes sur Piège ! en utilisant une approche similaire à celle de l'équipe Uber.

Maintenant que les algorithmes d'IA peuvent résoudre ces jeux vidéo, le défi consiste à sortir de l'arcade et à résoudre des problèmes du monde réel.

Brunskill convient que ce type de travail pourrait avoir un impact important sur la robotique. Mais elle dit que d'autres situations du monde réel, en particulier celles qui impliquent de modéliser le comportement humain, sont beaucoup plus difficiles. Il sera très intéressant de voir à quel point cette approche fonctionne pour des paramètres plus complexes, dit-elle.

Cependant, tout le monde n'est pas captivé par les recherches d'Uber.

Alex Irpan, un ingénieur logiciel travaillant sur l'apprentissage automatique et la robotique chez Google, a écrit un article de blog le dans lequel il se demande pourquoi l'équipe d'Uber AI n'avait pas fourni de document technique, accompagné d'un communiqué de presse, pour donner plus de détails sur leur travail.

Irpan souligne également qu'en modifiant l'état du jeu, afin de faciliter leur approche, les chercheurs d'Uber AI ont peut-être changé les règles du jeu de manière significative. Compte tenu de ce fait, il se demande à quel point l'approche pourrait être pratique.

Le billet de blog indique que cette approche pourrait être utilisée pour des tâches de robotique simulées, puis combinée avec un transfert sim-to-real pour obtenir des politiques du monde réel. Sur ce front, je suis assez pessimiste, écrit-il.

Mise à jour 11.28 avec le commentaire d'Alex Irpan.

cacher