Deep Learning Machine apprend les échecs en 72 heures et joue au niveau international Master

Cela fait presque 20 ans que le supercalculateur Deep Blue d'IBM a battu pour la première fois le champion du monde d'échecs en titre, Garry Kasparov, selon les règles standard des tournois. Depuis lors, les ordinateurs jouant aux échecs sont devenus beaucoup plus puissants, laissant peu de chance aux meilleurs humains, même contre un moteur d'échecs moderne fonctionnant sur un smartphone.

Mais alors que les ordinateurs sont devenus plus rapides, le fonctionnement des moteurs d'échecs n'a pas changé. Leur pouvoir repose sur la force brute, le processus de recherche à travers tous les mouvements futurs possibles pour trouver le meilleur suivant.

Bien sûr, aucun humain ne peut égaler cela ou s'en approcher. Alors que Deep Blue recherchait quelque 200 millions de positions par seconde, Kasparov n'en recherchait probablement pas plus de cinq par seconde. Et pourtant, il jouait essentiellement au même niveau. De toute évidence, les humains ont un tour dans leur sac que les ordinateurs ne maîtrisent pas encore.

Cette astuce consiste à évaluer les positions d'échecs et à réduire les voies de recherche les plus rentables. Cela simplifie considérablement la tâche de calcul car cela réduit l'arbre de tous les mouvements possibles à quelques branches seulement.

Les ordinateurs n'ont jamais été bons dans ce domaine, mais aujourd'hui, cela change grâce au travail de Matthew Lai à l'Imperial College de Londres. Lai a créé une machine d'intelligence artificielle appelée Giraffe qui a appris à jouer aux échecs en évaluant les positions beaucoup plus comme les humains et d'une manière totalement différente des moteurs d'échecs conventionnels.

Dès sa sortie de l'emballage, la nouvelle machine joue au même niveau que les meilleurs moteurs d'échecs conventionnels, dont beaucoup ont été affinés au fil de nombreuses années. Sur le plan humain, il équivaut au statut FIDE International Master, le plaçant dans les 2,2% des meilleurs joueurs d'échecs du tournoi.

La technologie derrière la nouvelle machine de Lai est un réseau de neurones. C'est une façon de traiter l'information inspirée du cerveau humain. Il se compose de plusieurs couches de nœuds qui sont connectés d'une manière qui change au fur et à mesure que le système est formé. Ce processus de formation utilise de nombreux exemples pour affiner les connexions afin que le réseau produise une sortie spécifique compte tenu d'une certaine entrée, pour reconnaître la présence d'un visage dans une image, par exemple.

Au cours des dernières années, les réseaux de neurones sont devenus extrêmement puissants grâce à deux avancées. Le premier est une meilleure compréhension de la façon d'affiner ces réseaux au fur et à mesure qu'ils apprennent, grâce en partie à des ordinateurs beaucoup plus rapides. La seconde est la disponibilité d'ensembles de données annotés massifs pour former les réseaux.

Cela a permis aux informaticiens de former des réseaux beaucoup plus grands organisés en plusieurs couches. Ces réseaux de neurones dits profonds sont devenus extrêmement puissants et surpassent désormais régulièrement les humains dans les tâches de reconnaissance de formes telles que la reconnaissance faciale et la reconnaissance de l'écriture manuscrite.

Il n'est donc pas surprenant que les réseaux de neurones profonds soient capables de repérer des modèles aux échecs et c'est exactement l'approche que Lai a adoptée. Son réseau se compose de quatre couches qui examinent ensemble chaque position sur le tableau de trois manières différentes.

Le premier examine l'état global du jeu, comme le nombre et le type de pièces de chaque côté, quel côté doit se déplacer, les droits de roque, etc. Le second examine les caractéristiques centrées sur les pièces telles que l'emplacement de chaque pièce de chaque côté, tandis que le dernier aspect consiste à cartographier les carrés que chaque pièce attaque et défend.

Lai forme son réseau avec un ensemble de données soigneusement générées tirées de vraies parties d'échecs. Cet ensemble de données doit avoir la distribution correcte des positions. Par exemple, cela n'a pas de sens d'entraîner le système sur des positions avec trois reines de chaque côté, car ces positions n'apparaissent pratiquement jamais dans les jeux réels, dit-il.

Il doit également avoir une grande variété de positions inégales au-delà de celles qui se produisent habituellement dans les parties d'échecs de haut niveau. En effet, bien que des positions inégales surviennent rarement dans les vraies parties d'échecs, elles apparaissent tout le temps dans les recherches que l'ordinateur effectue en interne.

Et cet ensemble de données doit être énorme. Le nombre massif de connexions à l'intérieur d'un réseau de neurones doit être affiné pendant la formation et cela ne peut être fait qu'avec un vaste ensemble de données. Utilisez un ensemble de données trop petit et le réseau peut s'installer dans un état qui ne reconnaît pas la grande variété de modèles qui se produisent dans le monde réel.

Lai a généré son ensemble de données en choisissant au hasard cinq millions de positions dans une base de données de jeux d'échecs informatiques. Il a ensuite créé une plus grande variété en ajoutant un mouvement légal aléatoire à chaque position avant de l'utiliser pour l'entraînement. Au total, il a ainsi généré 175 millions de postes.

La manière habituelle d'entraîner ces machines est d'évaluer manuellement chaque position et d'utiliser ces informations pour apprendre à la machine à reconnaître celles qui sont fortes et celles qui sont faibles.

Mais c'est une tâche colossale pour 175 millions de postes. Cela pourrait être fait par un autre moteur d'échecs, mais l'objectif de Lai était plus ambitieux. Il voulait que la machine apprenne par elle-même.

Au lieu de cela, il a utilisé une technique d'amorçage dans laquelle Giraffe jouait contre elle-même dans le but d'améliorer sa prédiction de sa propre évaluation d'une position future. Cela fonctionne parce qu'il existe des points de référence fixes qui déterminent en fin de compte la valeur d'une position, que la partie soit gagnée, perdue ou nulle par la suite.

De cette façon, l'ordinateur apprend quelles positions sont fortes et lesquelles sont faibles.

Après avoir formé Giraffe, la dernière étape consiste à le tester et ici les résultats sont intéressants à lire. Lai a testé sa machine sur une base de données standard appelée Strategic Test Suite, qui se compose de 1 500 positions choisies pour tester la capacité d'un moteur à reconnaître différentes idées stratégiques. Par exemple, un thème teste la compréhension du contrôle des fichiers ouverts, un autre teste la compréhension de la façon dont les valeurs de l'évêque et du chevalier changent les unes par rapport aux autres dans différentes situations, et un autre encore teste la compréhension du contrôle central, dit-il.

Les résultats de ce test sont notés sur 15 000.

Lai l'utilise pour tester la machine à différentes étapes de sa formation. Au début du processus d'amorçage, Giraffe atteint rapidement un score de 6 000 et culmine finalement à 9 700 après seulement 72 heures. Lai dit que cela correspond aux meilleurs moteurs d'échecs du monde.

[Cela] est remarquable car leurs fonctions d'évaluation sont toutes des mastodontes soigneusement conçus à la main avec des centaines de paramètres qui ont été réglés à la fois manuellement et automatiquement sur plusieurs années, et beaucoup d'entre eux ont été travaillés par des grands maîtres humains, ajoute-t-il.

Lai utilise ensuite le même type d'approche d'apprentissage automatique pour déterminer la probabilité qu'un mouvement donné vaille la peine d'être poursuivi. C'est important car cela empêche les recherches inutiles dans les branches non rentables de l'arbre et améliore considérablement l'efficacité des calculs.

Lai dit que cette approche probabiliste prédit le meilleur coup 46% du temps et place le meilleur coup dans son top trois, 70% du temps. Ainsi, l'ordinateur n'a pas à se soucier des autres mouvements.

C'est un travail intéressant qui représente un changement majeur dans le fonctionnement des moteurs d'échecs. Ce n'est pas parfait, bien sûr. Un inconvénient de Giraffe est que les réseaux de neurones sont beaucoup plus lents que les autres types de traitement de données. Lai dit que Giraffe prend environ 10 fois plus de temps qu'un moteur d'échecs conventionnel pour rechercher le même nombre de positions.

Mais même avec cet inconvénient, il est compétitif. Giraffe est capable de jouer au niveau d'un FIDE International Master sur un PC grand public moderne, explique Lai. En comparaison, les meilleurs moteurs jouent au niveau super-grand maître.

C'est quand même impressionnant. Contrairement à la plupart des moteurs d'échecs existants aujourd'hui, Giraffe tire sa force de jeu non pas de sa capacité à voir très loin devant, mais de sa capacité à évaluer avec précision les positions délicates et à comprendre des concepts de position complexes qui sont intuitifs pour les humains, mais qui ont été insaisissables aux échecs. moteurs depuis longtemps, dit Lai. Ceci est particulièrement important dans les phases d'ouverture et de fin de partie, où cela se joue exceptionnellement bien.

Et ce n'est que le début. Lai dit qu'il devrait être simple d'appliquer la même approche à d'autres jeux. L'un des plus remarquables est le jeu traditionnel chinois de Go, où les humains détiennent toujours un avantage impressionnant sur leurs concurrents en silicium. Peut-être que Lai pourrait tenter sa chance ensuite.

Réf : arxiv.org/abs/1509.01549 : Girafe : Utiliser le renforcement profond pour apprendre à jouer aux échecs

cacher