Ce que l'IA doit apprendre pour maîtriser la guerre extraterrestre

Les joueurs jouent à StarCraft à la Gamescom de Cologne, en Allemagne, en 2015.

Pour savoir comment les humains et les systèmes d'IA peuvent mieux vivre ensemble, nous devrons peut-être tuer beaucoup de Zergs.

DeepMind, l'unité d'Alphabet axée sur l'IA, et la société de jeux Blizzard Entertainment lancent un ensemble d'outils qui permettront aux programmeurs de déclencher toutes sortes d'algorithmes d'IA dans le jeu sur le thème de l'espace StarCraft.

Le jeu est plus difficile que la plupart de ceux abordés par les programmes d'IA à ce jour. Non seulement StarCraft est extrêmement complexe, mais il nécessite également de planifier longtemps à l'avance et d'essayer de deviner ce que votre adversaire est en train de faire. Cela signifie que le développement de programmes d'IA capables de faire correspondre les humains devrait aider les chercheurs à explorer de nouvelles facettes de l'intelligence humaine avec des machines. Un autre avantage potentiel, selon les personnes impliquées, sera d'explorer les moyens pour les humains et les agents artificiels de jouer ensemble.

StarCraft est intéressant pour de nombreuses raisons, dit Oriol Vinyles , le chercheur de DeepMind qui dirige le projet. Le fait que les joueurs n'obtiennent souvent qu'un aperçu des activités de leurs adversaires, par exemple, signifie que les algorithmes devront développer de meilleures façons de stocker les informations en mémoire. La mémoire est essentielle, dit Vinyals. Ce que vous voyez maintenant n'est pas ce que vous avez vu il y a un moment, et quelque chose de spécifique qui aurait pu se produire il y a une minute pourrait vous donner envie d'agir différemment.

DeepMind s'est bâti une réputation impressionnante en créant des programmes d'IA capables de jouer à divers types de jeux avec des compétences surhumaines. La société a commencé par conquérir divers jeux Atari et plus récemment, elle s'est attaquée au jeu de société extrêmement complexe et abstrait Go (voir DeepMind's AI Masters the Game of Go une décennie plus tôt que prévu).

Pour maîtriser ces jeux, les chercheurs de DeepMind ont utilisé une technique d'apprentissage automatique appelée apprentissage par renforcement. L'apprentissage automatique permet à un ordinateur de comprendre comment faire quelque chose par lui-même, sans nécessiter d'instructions explicites. L'apprentissage par renforcement, qui s'inspire de la façon dont les animaux semblent apprendre, permet d'apprendre par l'expérimentation avec un retour positif (voir 10 Breakthrough Technologies 2017 : Reinforcement Learning ). Cependant, Vinyals dit que l'application de l'apprentissage par renforcement à StarCraft sera plus difficile car il faut beaucoup de temps pour que chaque jeu se déroule. Une action que je fais maintenant n'a de conséquence que beaucoup plus tard, dit-il.

Dans StarCraft, les joueurs s'affrontent dans l'une des trois races suivantes : les Terrans humains, les Protoss cyborgs ou les Zergs insectoïdes. Les batailles impliquent des actions stratégiques complexes telles que l'extraction de ressources et la construction de bases, ainsi que des séquences de bataille prolongées. StarCraft est également le sport électronique le plus populaire auprès des spectateurs, et en Corée du Sud en particulier, les tournois sont souvent joués dans des stades immenses et diffusés en direct à la télévision. Des joueurs éminents ont accueilli favorablement la perspective de faire face à des programmes d'IA, mais DeepMind n'a pas encore dit quand cela pourrait se produire (voir StarCraft Pros Are Ready to Battle AI ).

Les outils développés par DeepMind et Blizzard permettront aux chercheurs en intelligence artificielle de déployer et de tester beaucoup plus facilement des algorithmes d'apprentissage automatique dans StarCraft. Les outils fourniront aux agents IA la même vue du jeu et de l'interface que les joueurs humains ont. Ils permettent également de limiter la vitesse à laquelle un programme peut exécuter ses actions. Cela peut garantir qu'un programme doit s'appuyer sur les mêmes outils intellectuels qu'une personne.

StarCraft a été utilisé comme plateforme de recherche pendant un certain temps, mais il a été relativement difficile à exploiter. Vinyals, un joueur expert de StarCraft lui-même, a fait un travail de pionnier dans la construction de bots pour StarCraft en tant qu'étudiant à l'Université de Californie à Berkeley (voir 35 innovateurs de moins de 35 ans, 2016 : Oriol Vinyals). Des équipes à Facebook et la société chinoise Alibaba ont également publié des recherches sur StarCraft. DeepMind publie cette semaine un article lors d'une importante conférence sur l'apprentissage automatique, montrant comment les algorithmes existants fonctionnent avec le jeu.

Cependant, il est possible que des approches assez différentes soient nécessaires pour maîtriser un jeu comme StarCraft. Certains autres chercheurs ont trouvé le succès en utilisant des approches tirées de la théorie des jeux pour progresser dans d'autres jeux d'informations imparfaites, et où le bluff est important. Plus tôt cette année, Tuomas Sandholm, professeur à l'Université Carnegie Mellon, et l'un de ses étudiants, Noam Brown, ont créé un programme, appelé Libratus, qui a battu plusieurs joueurs professionnels en tête-à-tête, ou à deux joueurs, sans limite au Texas. em. Libratus a utilisé un algorithme très sophistiqué pour calculer la stratégie optimale tout au long d'un jeu (voir Why Poker Is a Big Deal for Artificial Intelligence ). Et par coïncidence, Brown a fait un stage à DeepMind cet été.

Histoire connexe

Histoire connexe Jouer au poker implique de traiter des informations imparfaites, ce qui rend le jeu très complexe, et ressemble davantage à de nombreuses situations du monde réel.

Jacob Repp, ingénieur principal chez Blizzard, dit que son entreprise est intéressée à voir si des agents d'IA sophistiqués pourraient rendre le jeu plus intéressant, soit en jouant contre des personnes, soit en collaborant avec elles. Il est déjà possible de créer des agents dans le jeu qui suivent des commandes scriptées. Repp dit qu'il serait intéressant que ces agents utilisent également l'apprentissage automatique dans une certaine mesure. Et il dit que l'entreprise explore ce genre d'idées. Nous constatons que ces outils sont très utiles pour le processus de création de jeux et de conception de fonctionnalités dans les jeux, dit-il.

cacher