L'IA de DeepMind a maintenant dépassé presque tous les joueurs humains de StarCraft II

AlphaStar (Zerg, en rouge) défendant une agression précoce où l'adversaire a construit une partie de la base près de la base d'AlphaStar. avec l'aimable autorisation de DeepMind

En janvier de cette année, DeepMind a annoncé avoir franchi une étape importante dans sa quête d'intelligence artificielle générale. Il avait conçu un système d'IA, appelé AlphaStar, qui a battu deux joueurs professionnels à StarCraft II, un jeu vidéo populaire sur la guerre galactique. C'était tout un exploit. StarCaft II est très complexe, avec 1026 choix pour chaque mouvement. C'est aussi un jeu d'informations imparfaites et il n'y a pas de stratégies définitives pour gagner. Cette réalisation a marqué un nouveau niveau d'intelligence artificielle.

DeepMind, une filiale d'Alphabet, publie maintenant une mise à jour. AlphaStar surpasse désormais la grande majorité des joueurs actifs de StarCraft, démontrant une capacité beaucoup plus robuste et reproductible à élaborer des stratégies à la volée qu'auparavant. Les résultats, publié dans Nature aujourd'hui, pourrait avoir des implications importantes pour des applications allant de la traduction automatique aux assistants numériques ou même à la planification militaire.

StarCraft II est un jeu de stratégie en temps réel, le plus souvent joué en tête-à-tête. Un joueur doit choisir l'une des trois races humaines ou extraterrestres - Protoss, Terran ou Zerg - et alterner entre la collecte de ressources, la construction d'infrastructures et d'armes et l'attaque de l'adversaire pour gagner la partie. Chaque race a des ensembles de compétences et des limites uniques qui affectent la stratégie gagnante, de sorte que les joueurs choisissent et maîtrisent généralement le jeu avec une.

AlphaStar a utilisé l'apprentissage par renforcement, où un algorithme apprend par essais et erreurs, pour maîtriser le jeu avec toutes les races. C'est vraiment important car cela signifie que le même type de méthodes peut en principe être appliqué à d'autres domaines, a déclaré David Silver, chercheur principal de DeepMind, lors d'un appel à la presse. L'IA a également atteint un rang supérieur à 99,8 % des joueurs actifs dans la ligue officielle en ligne.

AlphaStar, jouant en tant que Protoss (en vert), contrant une attaque d'un joueur Zerg. avec l'aimable autorisation de DeepMind

Afin d'atteindre une telle flexibilité, l'équipe DeepMind a modifié une technique couramment utilisée connue sous le nom d'auto-jeu, dans laquelle un algorithme d'apprentissage par renforcement joue contre lui-même pour apprendre plus rapidement. DeepMind a utilisé cette technique pour former AlphaGo Zero, le programme qui s'est enseigné sans aucune intervention humaine pour battre les meilleurs joueurs de l'ancien jeu de Go. Le laboratoire l'a également utilisé dans la version préliminaire d'AlphaStar.

Classiquement en self-play, les deux versions de l'algorithme sont programmées pour maximiser leurs chances de gagner. Mais les chercheurs ont découvert que cela ne se traduisait pas nécessairement par les algorithmes les plus robustes. Pour un jeu aussi ouvert, cela risquait de classer l'algorithme dans des stratégies spécifiques qui ne fonctionneraient que sous certaines conditions.

S'inspirant de la façon dont les joueurs professionnels de StarCraft II s'entraînent les uns avec les autres, les chercheurs ont plutôt programmé l'un des algorithmes pour exposer les défauts de l'autre plutôt que de maximiser ses propres chances de gagner. C'est un peu [comme] demander à un ami de jouer contre vous, a déclaré Oriol Vinyals, le chercheur principal du projet, lors de l'appel. Ces amis devraient vous montrer quelles sont vos faiblesses, afin que vous puissiez éventuellement devenir plus fort. La méthode a produit des algorithmes beaucoup plus généralisables qui pourraient s'adapter à une plus large gamme de scénarios de jeu.

Les chercheurs pensent que les compétences de développement et de coordination de stratégies d'AlphaStar pourraient être appliquées à de nombreux autres problèmes. Nous avons choisi StarCraft [...] parce que nous estimions qu'il reflétait de nombreux défis qui se présentent réellement dans les applications du monde réel, a déclaré Silver. Ces applications pourraient inclure des assistants numériques, des voitures autonomes ou d'autres machines qui doivent interagir avec les humains, a-t-il déclaré.

La complexité [de StarCraft] rappelle beaucoup plus les échelles que nous voyons dans le monde réel, a déclaré Silver.

Mais AlphaStar démontre également les limites importantes de l'IA. Par exemple, il a encore besoin de plusieurs ordres de grandeur de données d'entraînement qu'un joueur humain pour atteindre le même niveau de compétence. De tels logiciels d'apprentissage sont également encore loin d'être traduits en robotique sophistiquée ou en applications réelles.

Pour recevoir plus d'histoires comme celle-ci directement dans votre boîte de réception, inscrivez-vous à notre newsletter AI nominée par Webby, The Algorithm. C'est gratuit.

cacher