Le poker est le dernier jeu à se plier à l'intelligence artificielle

Dans une réalisation historique pour l'intelligence artificielle, un bot de poker développé par des chercheurs au Canada et en République tchèque a vaincu plusieurs joueurs professionnels dans des parties individuelles de poker Texas Hold'em sans limite.

Peut-être le plus intéressant, les universitaires derrière le travail disent que leur programme a vaincu ses adversaires humains en utilisant une approche d'approximation qu'ils comparent à l'intuition.

Si c'est correct, c'est en effet une avancée significative dans l'IA de jeu, dit Michel Wellman , professeur à l'Université du Michigan spécialisé dans la théorie des jeux et l'IA. Tout d'abord, il franchit une étape majeure (battre les professionnels du poker) dans un jeu d'intérêt majeur. Deuxièmement, il rassemble plusieurs idées novatrices qui, ensemble, soutiennent une approche passionnante pour les jeux à informations imparfaites.

Plus tard cette semaine, un tournoi dans un casino de Pittsburgh verra plusieurs joueurs de poker de classe mondiale jouer la même version du poker contre un programme développé au CMU. Tuomas Sandholm , un professeur d'informatique à la CMU qui dirige l'effort, affirme que les joueurs humains impliqués sont considérablement plus forts que ceux testés par les chercheurs albertains, et 120 000 mains seront jouées sur 20 jours, offrant une plus grande signification statistique aux résultats. Le tournoi pourrait confirmer que l'IA maîtrise bien un jeu qui a longtemps semblé bien trop complexe et subtil pour les ordinateurs.

DeepStack, le logiciel de poker qui a déjà battu certains joueurs professionnels, a été développé par une équipe dirigée par Michael Quilles , professeur d'informatique à l'Université de l'Alberta, qui comprenait des chercheurs de l'Université Charles et de l'Université technique tchèque en République tchèque. Dans une recherche article mis en ligne mais pas encore évalué par les pairs, les chercheurs affirment que DeepStack a joué près de 45 000 mains de poker contre plusieurs joueurs, les battant facilement.

Le poker est plus complexe que de nombreux autres jeux qui ont opposé les humains à l'IA. Et de manière révélatrice, il contient des niveaux d'incertitude, comme lorsqu'un adversaire peut bluffer, que l'on trouve dans de nombreuses situations du monde réel que l'IA n'a pas encore maîtrisées. Les joueurs de poker ne peuvent pas voir les mains de leurs adversaires, ce qui signifie que, contrairement aux dames, aux échecs ou au go, toutes les informations contenues dans le jeu ne leur sont pas accessibles. Des chercheurs de DeepMind, une filiale d'Alphabet basée au Royaume-Uni, ont fait la une des journaux l'année dernière après avoir créé un programme capable de battre l'un des meilleurs joueurs de Go au monde (voir l'IA Masters the Game of Go de Google une décennie plus tôt que prévu).

Heads-up no-limit Texas hold'em est une version du jeu qui se joue entre deux personnes qui peuvent miser autant de jetons qu'elles possèdent. Cette variante s'est longtemps avérée trop difficile pour les machines à jouer de manière experte. Il y a 10160 (10 suivis de 160 zéros) chemins de jeu possibles pour chaque main au Texas Hold'em sans limite en tête-à-tête.

DeepStack a appris à jouer au poker en jouant des mains contre lui-même. Après chaque partie, il revisite et affine sa stratégie, résultant en une approche plus optimisée. En raison de la complexité du poker sans limite, cette approche implique normalement de s'entraîner avec une version plus limitée du jeu. L'équipe DeepStack a fait face à cette complexité en appliquant une technique d'approximation rapide qu'elle a affinée en introduisant des situations de poker précédentes dans un algorithme d'apprentissage en profondeur.

Ce qui est vraiment nouveau pour un jeu aussi complexe, c'est de pouvoir calculer efficacement l'action à entreprendre dans chaque situation au fur et à mesure qu'elle se présente, plutôt que d'avoir à travailler hors ligne sur une forme simplifiée de l'ensemble de l'arbre des possibilités de jeu, déclare Wellman de l'Université de Michigan.

Les chercheurs comparent la technique d'approximation de DeepStack à l'instinct d'un joueur humain lorsqu'un adversaire bluffe ou tient une main gagnante, bien que la machine doive baser son évaluation sur les habitudes de mise de l'adversaire plutôt que sur son langage corporel. Cette estimation peut être considérée comme l'intuition de DeepStack, écrivent-ils. Un sentiment instinctif de la valeur de détenir toutes les cartes privées possibles dans n'importe quelle situation de poker possible.

Il est possible de mesurer la performance d'un joueur de poker en regardant le montant gagné, par rapport au montant misé à sa table, sur de nombreux jeux. DeepStack avait un taux de victoire environ neuf fois supérieur à ce qui serait considéré comme bon pour un joueur professionnel.

En 2015, Bowling et ses collègues de l'Université de l'Alberta ont résolu la version plus limitée du heat up hold'em en développer un bot de poker capable de jouer le jeu parfaitement.

Le robot de poker impliqué dans le tournoi de Pittsburgh, appelé Libratus, a été développé par Sandholm et l'un de ses étudiants diplômés, Noam Brun . La paire n'a pas encore divulgué les détails de la façon dont leur programme aborde le jeu, mais Brown dit qu'il essaie essentiellement de 'résoudre' le jeu - ou de comprendre tous les scénarios possibles - plus tôt pendant le jeu qu'il n'était possible auparavant. Libratus fonctionne sur un matériel extrêmement puissant au Centre de calcul intensif de Pittsburgh , une installation gérée conjointement par la CMU et l'Université de Pittsburgh.

cacher