L'IA de DeepMind peut désormais jouer aux 57 jeux Atari, mais elle n'est toujours pas assez polyvalente

Catégorie: Intelligence artificielle Posté 01 avril

Les nouvelles: Une intelligence artificielle appelée Agent57 a appris à jouer aux 57 jeux vidéo Atari dans l'environnement Arcade Learning, une collection de jeux classiques que les chercheurs utilisent pour tester les limites de leurs modèles d'apprentissage en profondeur. Développé par DeepMind, Agent57 utilise le même algorithme d'apprentissage par renforcement profond pour atteindre des niveaux de jeu surhumains, même dans les jeux avec lesquels les IA précédentes ont eu du mal. Être capable d'apprendre 57 tâches différentes rend Agent57 plus polyvalent que les IA de jeu précédentes.

Qu'y a-t-il dans un jeu ? Les jeux sont un excellent moyen de tester les IA. Ils offrent une variété de défis qui obligent une IA à proposer une gamme de stratégies tout en ayant toujours une mesure claire du succès - un score - pour s'entraîner. Mais quatre jeux Atari en particulier se sont avérés difficiles à battre. Dans Montezuma's Revenge and Pitfall, une IA doit essayer de nombreuses stratégies différentes avant d'en trouver une gagnante. Et dans Solaris et Skiing, il peut y avoir de longues attentes entre l'action et la récompense, ce qui rend difficile pour une IA d'apprendre quels mouvements rapportent le mieux.

Méta-esprit : Pour relever ces défis, Agent57 rassemble plusieurs améliorations que DeepMind a apportées à son réseau Deep-Q, l'IA qui a battu pour la première fois une poignée de jeux Atari en 2012, y compris une forme de mémoire qui lui permet de baser ses décisions sur des choses qu'il avait précédemment vu dans le jeu et les systèmes de récompense qui encouragent l'IA à explorer plus complètement ses options avant de se fixer sur une stratégie. Ces différentes techniques sont ensuite gérées par un méta-contrôleur, qui équilibre les compromis entre aller de l'avant avec une stratégie particulière et faire plus d'exploration.

Pourquoi est-ce important: Malgré tout leur succès, les meilleurs modèles d'apprentissage en profondeur que nous avons aujourd'hui ne sont pas très polyvalents . La plupart ont tendance à être bons dans une chose et une seule. Former une IA à exceller dans plus d'une tâche est l'un des plus grands défis ouverts de l'apprentissage en profondeur. La capacité d'apprendre 57 tâches différentes rend Agent57 plus polyvalent que les IA de jeu précédentes, mais - et cela est souvent manqué - il ne peut toujours pas apprendre à jouer à plus d'un jeu à la fois. Agent57 peut apprendre à jouer à 57 jeux, mais il ne peut pas apprendre à jouer à 57 jeux à la fois. Il doit se recycler pour chaque nouveau jeu même s'il peut utiliser le même algorithme pour le faire. De cette façon, Agent57 est similaire à AlphaZero, l'algorithme d'apprentissage par renforcement profond de DeepMind, qui peut apprendre à jouer aux échecs, au go et au shogi, mais encore une fois, pas tout à la fois. La véritable polyvalence, qui vient si facilement à un bébé humain, est encore bien au-delà de la portée des IA.