Pourquoi le poker est un gros problème pour l'intelligence artificielle

Comme l'a dit un jour le grand Kenny Rogers, un bon joueur doit savoir quand les tenir et savoir quand les coucher. Au Rivers Casino de Pittsburgh cette semaine, un programme informatique appelé Libratus pourrait enfin prouver que les ordinateurs peuvent faire cela mieux que n'importe quel joueur de cartes humain.

Libratus joue à des milliers de parties de Texas Hold'em en tête-à-tête ou à deux joueurs sans limite contre plusieurs joueurs de poker professionnels experts. Maintenant un peu plus de la moitié du concours de 20 jours, Libratus a gagné près de 800 000 $ par rapport à ses adversaires humains. Ainsi, la victoire, bien que loin d'être garantie, pourrait bien être dans les cartes.

Une victoire pour Libratus serait une énorme réussite en matière d'intelligence artificielle. Le poker nécessite un raisonnement et une intelligence qui se sont avérés difficiles à imiter pour les machines. C'est fondamentalement différent des dames, des échecs ou du Go, car la main d'un adversaire reste cachée pendant le jeu. Dans les jeux d'informations imparfaites, il est extrêmement compliqué de déterminer la stratégie idéale compte tenu de toutes les approches possibles que votre adversaire peut adopter. Et le Texas Hold'em sans limite est particulièrement difficile car un adversaire peut miser n'importe quel montant.

Le poker a été l'un des jeux les plus difficiles à craquer pour l'IA, dit André Ng , scientifique en chef chez Baidu. Il n'y a pas de mouvement optimal unique, mais à la place, un joueur IA doit randomiser ses actions afin de rendre ses adversaires incertains lorsqu'il bluffe.

Libratus a été créé par Tuomas Sandholm , professeur au département d'informatique de la CMU, et son étudiant diplômé Noam Brun . Sandholm, un expert en théorie des jeux et en IA qui a émigré de Finlande pour son doctorat, dit qu'il est étonnant que les humains aient pu surpasser les ordinateurs pendant si longtemps. Je suis époustouflé par la qualité de ces meilleurs pros », dit-il. 'De tous ces jeux auxquels l'IA s'est attaquée, [le poker] est le seul où l'IA n'a pas atteint des performances surhumaines.

Les chercheurs en IA utilisent la théorie des jeux, ou les mathématiques de la prise de décision stratégique, pour trouver la meilleure stratégie compte tenu de diverses incertitudes, appelées équilibre. Parce que les possibilités sont si vastes, cela implique généralement une certaine forme d'approximation.

Qu'un mouvement soit bon ou non dépend de choses que vous ne pouvez pas observer, dit Vincent Conitzer , professeur à Duke University qui enseigne l'IA et la théorie des jeux. Cela se traduit également par un besoin d'être imprévisible. Si vous ne bluffez jamais, vous n'êtes pas un bon joueur. Si vous bluffez toujours, vous n'êtes pas un bon joueur. La théorie des jeux vous indique comment randomiser votre jeu d'une manière qui est, en un sens, optimale.

L'année dernière, Sandholm a dirigé le développement d'un ancien programme de poker, appelé Claudico, qui a été largement battu lors d'un match contre plusieurs joueurs de poker professionnels. Il explique que Libratus utilise plusieurs nouvelles avancées pour atteindre un niveau de jeu aussi élevé. Cela inclut une nouvelle technique d'approximation d'équilibre, dit Sandholm, ainsi que plusieurs nouvelles méthodes pour analyser les résultats possibles lorsque les cartes sont révélées à des étapes ultérieures d'un jeu. Cette analyse de fin de partie est très difficile sur le plan informatique et est effectuée lors de chaque match au Pittsburgh Supercomputing Center, une installation exploitée par la CMU et l'Université de Pittsburgh.

Les progrès de l'apprentissage automatique et de l'intelligence artificielle ont vu émerger récemment un certain nombre de programmes de jeu surhumains. L'année dernière, des chercheurs de DeepMind, une filiale d'Alphabet, ont développé un programme capable de battre l'un des meilleurs joueurs de Go au monde. Cette réalisation était si spectaculaire parce que le Go est extrêmement complexe, et parce qu'il est difficile de mesurer les progrès dans le jeu (voir Google's AI Masters Go a Decade Earlyer than Expected).

Quelques groupes de recherche différents se concentrent sur la lutte contre le poker. Une autre équipe universitaire, de l'Université de l'Alberta au Canada, de l'Université Charles et de l'Université technique tchèque en République tchèque, a récemment mis au point un programme appelé DeepStack , qui a déjà battu plusieurs joueurs professionnels en heads-up no limit Texas hold'em (voir Poker Is the Latest Game to Fold Against AI ). Cependant, dit Sandholm, les joueurs impliqués dans le match contre Libratus sont beaucoup plus forts et jouent beaucoup plus de mains contre la machine, ce qui devrait donner une plus grande signification statistique au résultat.

Les techniques utilisées pour créer un robot de poker plus intelligent pourraient avoir de nombreuses applications dans le monde réel. La théorie des jeux a déjà été appliquée à la recherche sur les attaques de brouillage et la cybersécurité, le guidage automatisé pour le service de taxi et la planification des robots, dit Sam Ganzfried , qui a participé au développement de Claudico et est maintenant professeur adjoint à la Florida International University de Miami.

Cependant, même si Libratus triomphe cette semaine, cela ne signifie pas que les humains ne méritent plus une place à la table de cartes. La version multijoueur du Texas Hold'em sans limite ne peut pas être maîtrisée en utilisant les techniques employées par Libratus.

cacher