La nouvelle IA de poker de Facebook pourrait anéantir l'industrie du poker en ligne, elle n'est donc pas publiée

jouer aux cartes Jack Hamilton | Unsplash

Le poker requiert une compétence qui a toujours semblé uniquement humaine : la capacité d'être sournois. Pour gagner, les joueurs doivent analyser le jeu de leurs adversaires, puis les inciter à remettre leurs jetons. Une telle ruse, bien sûr, vient assez naturellement aux gens. Maintenant, un programme d'IA s'est montré, pour la première fois, capable de déjouer toute une table de pros du poker utilisant des compétences similaires.

Une équipe de l'Université Carnegie Mellon (CMU) et de Facebook a utilisé une combinaison de techniques d'IA pour sur-bet et sur-bluffer les joueurs humains dans un jeu de Texas Hold'em sans limite à six joueurs. Chacun des humains impliqués avait déjà gagné plus d'un million de dollars à la table de poker, dont Darren Elias, qui détient le record du plus grand nombre de titres du World Poker Tour, et Chris Jesus Ferguson, qui a remporté six titres des World Series of Poker, ainsi que ainsi qu'un bot de poker inférieur.

La nouvelle IA, Pluribus, a joué 5 000 mains contre les joueurs de poker et a constamment gagné plus que ses adversaires. Dans un autre test impliquant 13 joueurs et 10 000 mains, le bot est de nouveau sorti victorieux. Pluribus a adopté des stratégies surprenantes, y compris le donk bet, ou terminer un tour avec un appel mais commencer ensuite le tour suivant avec un pari. Il a aussi bluffé comme un pro aguerri.

L'algorithme a connu un tel succès que les chercheurs ont décidé de ne pas publier son code de peur qu'il ne soit utilisé pour vider les coffres des sociétés de poker en ligne. Cela pourrait être très dangereux pour la communauté du poker, dit Noam Brun , chercheur sur Facebook et ancien étudiant à la CMU qui a aidé à développer l'algorithme. (Brown a été nommé cette année l'un des innovateurs de moins de 35 ans du MIT Technology Review).

Vous déterminez généralement où votre adversaire est faible, mais il n'y avait aucune faiblesse à trouver, dit Jason Les , l'un des pros du poker dans le jeu. Cette IA était si puissante que vous ne pouviez rien trouver à exploiter ou à exploiter.

Les dit qu'il s'est plutôt bien comporté contre l'IA mais qu'il a eu de la chance, et il rapporte que cela l'a surpris en train de bluffer plusieurs fois. Il dit également que le joueur IA lui a appris quelques tours. Certaines des choses que j'ai vues faire par l'IA m'ont ouvert l'esprit sur la façon de jouer des pots 'multi-way' [multi-player], dit-il.

Des jeux comme les échecs et le go sont devenus un moyen standard de mesurer les progrès de l'intelligence artificielle (même si chaque jeu n'implique qu'un aspect limité et étroit de ce qui constitue l'intelligence humaine). Mais les jeux que l'IA a conquis jusqu'à présent n'impliquent pour la plupart que deux joueurs, et la plupart sont joués de manière à ce que les mouvements d'un adversaire soient clairs. Les formes de poker les plus populaires, en revanche, impliquent une table de plusieurs joueurs et de nombreuses cartes cachées.

C'est époustouflant, dit Tuomas Sandholm , professeur à Carnegie Mellon qui a contribué au développement de Pluribus. Je ne pensais pas que nous étions proches - ce n'est qu'il y a environ un an que j'ai commencé à y croire.

Sandholm et Brown ont développé un programme d'IA capable de jouer au poker en tête-à-tête surhumain en 2017. Mais il semblait que créer un programme capable de battre plusieurs joueurs serait tellement plus complexe qu'il serait presque impossible. Contrairement à la version à deux joueurs du jeu, il n'est pas clair que la version multijoueur ait une seule stratégie optimale (ce qu'on appelle l'équilibre de Nash).

Puis, l'année dernière, la paire a développé une technique plus efficace pour explorer les permutations possibles qui accompagnent chaque carte fraîchement distribuée. Comme il n'est pas possible de considérer toutes les mains possibles ou toutes les stratégies possibles que chaque joueur utilise, la nouvelle technique réduit la recherche à un sous-ensemble gérable.

Remarquablement, alors que les algorithmes précédents nécessitaient un supercalculateur, Pluribus tourne sur un seul serveur. Détails de la recherche et du jeu joué contre des experts du poker, paraître dans la revue Science aujourd'hui.

Avec six joueurs, c'est tellement plus compliqué qu'on ne peut pas chercher jusqu'au bout du jeu, explique Brown, qui fait désormais partie du groupe Facebook Artificial Intelligence Research (FAIR). L'algorithme [de recherche] est la clé.

Cette réalisation est une étape majeure pour l'intelligence artificielle. Un programme informatique doit utiliser plus qu'un simple calcul brut pour l'emporter au poker. Il doit également être capable de négocier dans des circonstances incertaines, en utilisant les principes de la théorie des jeux.

Les techniques utilisées au poker ont de nombreuses utilisations pratiques, de la tarification des produits à l'acheminement des voitures autonomes à travers un trafic dense. Les algorithmes de stratégie sont également potentiellement utiles dans des contextes de défense. En effet, Sandholm possède une société de conseil appelée Strategy Robot qui travaille sur des projets de défense. Mais il souligne que le code utilisé pour conquérir le poker serait inutile dans de tels contextes, car il est très spécifiquement adapté au jeu de cartes.

Vincent Conitzer , professeur à l'Université Duke spécialisé dans l'IA et la théorie des jeux, dit qu'il sera important de voir si les techniques employées peuvent être appliquées à d'autres jeux multijoueurs.

On aurait pu penser que le poker multijoueur nécessiterait des techniques fondamentalement différentes, dit Conitzer. Le travail soulève beaucoup de questions intéressantes sur la nature des jeux et des paramètres stratégiques.

Brown dit que Facebook n'a pas l'intention d'appliquer les techniques développées pour le poker à six joueurs, même si elles pourraient être utilisées pour développer de meilleurs jeux informatiques.

cacher