Après avoir maîtrisé Space Invaders, les échecs et le Go, l'IA s'attaque au vidéofoot

Terrain de football Vienne Reyes | Unsplash

Google est le leader mondial de la recherche sur l'intelligence artificielle. Sa filiale DeepMind, en particulier, a une liste impressionnante de réalisations à son actif. Les réseaux de neurones de DeepMind ont atteint des performances surhumaines dans une large gamme de jeux. Ceux-ci incluent des jeux vidéo Atari tels que Pong, Breakout et Space Invaders et des défis plus complexes tels que le jeu multijoueur en ligne Starcraft.

DeepMind a également connu un succès remarquable avec des jeux plus traditionnels. En 2016, sa machine AlphaGo a battu l'un des joueurs de Go professionnels les plus forts au monde, la première fois qu'une machine triomphait de cette manière. Au cours de ce processus, AlphaGo a trouvé de toutes nouvelles façons de jouer qui ont révolutionné la façon dont les humains perçoivent le jeu.

Non content de s'asseoir sur ses lauriers, Google tourne désormais son attention vers des jeux plus ouverts où l'imprévisibilité joue un rôle plus important. Et sa prochaine cible est le football vidéo.

Karol Kurach et ses collègues de l'équipe Brain de Google Research ont créé un jeu vidéo de football appelé Google Research Football Environment pour permettre aux chercheurs de tester leurs algorithmes dans un monde basé sur la physique, personnalisable, facile à utiliser et reproductible à l'infini. Ils ont rendu ce monde disponible avec une licence open source afin que les chercheurs du monde entier puissent l'utiliser pour développer de meilleurs algorithmes de football.

Tout d'abord un peu de contexte. L'un des défis pour les chercheurs en IA est de trouver des tâches qui posent de nouveaux problèmes aux algorithmes d'apprentissage automatique. Les jeux vidéo simples comme Pong ou Breakout sont parfois trop faciles pour ces algorithmes, qui peuvent atteindre des performances surhumaines après seulement quelques heures d'entraînement.

Mais certains des jeux vidéo les plus complexes, tels que Starcraft, sont trop difficiles. Starcraft est un jeu de stratégie en temps réel pour plusieurs joueurs et se déroule dans un vaste univers en ligne. Les chercheurs en IA s'y sont intéressés car cela leur permet de jouer contre d'autres humains et contre des systèmes d'IA basés sur le jeu dans des environnements complexes.

Cependant, le jeu est si vaste et complexe qu'il nécessite d'énormes ressources de calcul pour collecter des données pertinentes et former un système d'apprentissage automatique. Et ces ressources ne sont pas disponibles pour la plupart des chercheurs.

Un autre problème est que de nombreux environnements en ligne prometteurs fonctionnent sur un code propriétaire que les chercheurs ne peuvent ni modifier ni même voir. Cela rend impossible de savoir comment le jeu prend des décisions importantes ou d'expérimenter différents processus de prise de décision.

Enfin, de nombreux jeux sont entièrement déterministes : ils se dérouleront exactement de la même manière avec les mêmes entrées. Cela les rend simples pour apprendre des algorithmes à battre.

Mais ce n'est pas ainsi que les choses fonctionnent dans le monde réel, où la capacité à faire face à des actions inattendues est une compétence importante. La seule façon pour les machines d'apprendre cette compétence est de s'entraîner dans des environnements imprévisibles. Mais l'imprévisibilité doit être contrôlable - trop peu et le jeu est trop facile, tandis que trop rend l'apprentissage trop difficile. Créer un tel environnement est délicat.

C'est là qu'interviennent les simulateurs de football. Ceux-ci ont certains niveaux de prévisibilité basés sur la physique du jeu. Mais il y a aussi beaucoup d'imprévisibilité qui découle de la tactique des joueurs adverses, de l'inadéquation entre les joueurs dans des situations telles que le tacle, etc.

Kurach et ses collègues ont donc construit leur propre simulateur. Comme base, ils ont utilisé un jeu accessible au public appelé Gameplay Football, qui permet des matchs de football complets avec des buts, des fautes, des corners, des pénalités, des hors-jeu, etc. L'environnement de football fournit une simulation de football 3D basée sur la physique où les agents doivent contrôler leurs joueurs, apprendre à passer entre eux et à surmonter la défense de leur adversaire afin de marquer des buts, explique l'équipe de Google.

Les chercheurs ont modifié cela pour fournir une mesure du succès des machines, en fonction de la proximité avec laquelle la machine peut manœuvrer le ballon vers le but de l'adversaire de manière contrôlée. Cela est nécessaire car la mesure standard du succès - les objectifs - reflète un événement relativement rare et ne permet pas aux machines de surveiller leur progression d'instant en instant.

L'équipe a également créé plusieurs environnements standard de complexité variable dans lesquels former et tester des machines d'IA. Les tâches auxquelles la machine est confrontée incluent marquer dans un but vide, courir et marquer contre un gardien, naviguer dans un scénario 3 contre 1 pour marquer tout en encourageant les passes, etc. Le test global est un jeu standard avec toutes les règles habituelles, joué contre un adversaire basé sur une machine.

L'algorithme d'apprentissage peut jouer contre d'autres machines ou contre des humains. Cela lui donne une expérience avec un large éventail de stratégies. Et cela évite le scénario dans lequel la machine apprend simplement les faiblesses d'un adversaire basé sur la machine, ce qui peut ne pas s'appliquer aux jeux en général. Cela pose un problème d'apprentissage par renforcement difficile car le football nécessite un équilibre naturel entre le contrôle à court terme, les concepts appris tels que les passes et la stratégie de haut niveau, disent Kurach et ses collègues.

C'est un travail intéressant qui a le potentiel d'aider l'apprentissage automatique à fonctionner dans des environnements plus réalistes. Mais cela soulève également la possibilité que les machines apprennent de nouvelles stratégies de football que les humains n'ont jamais envisagées, tout comme elles l'ont fait pour Go.

Ce sont des tactiques qui pourraient même jouer dans des tournois de robo-soccer, ou même dans des jeux entre humains.

Que ces stratégies fonctionnent aussi bien pour le vrai football que pour la variété simulée sera une question intéressante à regarder. Ce sera fascinant pour les chercheurs en IA et les fans de football.

Réf : arxiv.org/abs/1907.11180  : Google Research Football : un nouvel environnement d'apprentissage par renforcement

cacher