AlphaGo Zero montre que les machines peuvent devenir surhumaines sans aucune aide

www.alphagomovie.com

Alpha Go n'a pas été le meilleur joueur de Go de la planète pendant très longtemps. Une nouvelle version du programme magistral d'IA a vu le jour, et c'est un monstre. Dans un affrontement en tête-à-tête, AlphaGo Zero a vaincu le programme original par 100 matchs contre zéro.

Ce qui est vraiment cool, c'est comment AlphaGo Zero l'a fait. Alors que l'AlphaGo original a appris en ingérant les données de centaines de milliers de jeux joués par des experts humains, AlphaGo Zero, également développé par la filiale Alphabet DeepMind , a commencé avec rien d'autre qu'un tableau blanc et les règles du jeu. Il a appris simplement en jouant des millions de parties contre lui-même, en utilisant ce qu'il a appris à chaque partie pour s'améliorer.

Le nouveau programme représente un pas en avant dans la quête pour construire des machines vraiment intelligentes. En effet, les machines devront trouver des solutions à des problèmes difficiles même lorsqu'il n'y a pas une grande quantité de données d'apprentissage à partir desquelles apprendre.

Histoire connexe

Histoire connexe

La chose la plus frappante est que nous n'avons plus besoin de données humaines, déclare Demis Hassabis, PDG et cofondateur de DeepMind. Hassabis affirme que les techniques utilisées pour construire AlphaGo Zero sont suffisamment puissantes pour être appliquées dans des situations réelles où il est nécessaire d'explorer un vaste paysage de possibilités, y compris la découverte de médicaments et la science des matériaux. La recherche derrière AlphaGo Zero est publiée aujourd'hui dans la revue La nature.

Remarquablement, au cours de ce processus d'auto-apprentissage, AlphaGo Zero a découvert de nombreuses astuces et techniques que les joueurs humains de Go ont développées au cours des derniers milliers d'années. Quelques jours plus tard, il redécouvre les meilleures pièces connues et, dans les derniers jours, va au-delà de ces pièces pour trouver quelque chose d'encore mieux, dit Hassabis. C'est assez cool à voir.

DeepMind, basée à Londres, a été acquise par Google en 2014. La société se concentre sur la réalisation de grands progrès dans l'IA en utilisant le jeu, la simulation et l'apprentissage automatique. il a embauché des centaines de chercheurs en IA dans la poursuite de cet objectif. Le développement d'AlphaGo Zero a impliqué environ 15 personnes et probablement des millions de dollars de ressources informatiques, dit Hassabis.

AlphaGo et AlphaGo Zero utilisent tous deux une approche d'apprentissage automatique connue sous le nom d'apprentissage par renforcement (voir 10 Breakthrough Technologies 2017 : Apprentissage par renforcement) ainsi que des réseaux de neurones profonds. L'apprentissage par renforcement s'inspire de la façon dont les animaux semblent apprendre par l'expérimentation et la rétroaction, et DeepMind a utilisé la technique pour obtenir des performances surhumaines dans des jeux Atari plus simples.

Le nombre de configurations possibles sur la carte Go est supérieur au nombre d'atomes dans l'univers. www.alphagomovie.com

Cependant, la maîtrise du jeu de société Go était particulièrement importante, car le jeu est si complexe et parce que les meilleurs joueurs font leurs mouvements de manière si instinctive. Les règles du bon jeu, en d'autres termes, ne peuvent pas facilement être expliquées ou écrites en code.

L'apprentissage par renforcement semble également prometteur pour automatiser la programmation des machines dans de nombreux autres contextes, y compris ceux où il serait impossible de les programmer à la main. Il est déjà testé comme moyen d'apprendre aux robots à saisir des objets gênants, par exemple, et comme moyen de conserver l'énergie dans les centres de données en reconfigurant le matériel à la volée. Dans de nombreuses situations réelles, cependant, il peut ne pas y avoir un grand nombre d'exemples à partir desquels apprendre, ce qui signifie que les machines devront apprendre par elles-mêmes. C'est ce qui rend AlphaGo Zero intéressant.

En n'utilisant pas de données humaines ou d'expertise humaine, nous avons en fait supprimé les contraintes de la connaissance humaine, dit David Argent , chercheur principal à DeepMind et professeur à l'University College London. Il est capable de créer des connaissances pour lui-même à partir de principes premiers.

Pour atteindre la suprématie du Go, AlphaGo Zero a simplement joué contre lui-même, au hasard au début. Comme l'original, il utilisait un réseau neuronal profond et un puissant algorithme de recherche pour choisir le prochain mouvement. Mais dans AlphaGo Zero, un seul réseau de neurones s'occupait des deux fonctions.

Martin Mueller , professeur à l'Université de l'Alberta au Canada qui a fait un travail important sur le logiciel Go-playing, est impressionné par la conception d'AlphaGo Zero et dit qu'il fait progresser l'apprentissage par renforcement. L'architecture est plus simple, mais plus puissante, que les versions précédentes, dit-il.

DeepMind est déjà le chouchou de l'industrie de l'IA, et sa dernière réalisation ne manquera pas de faire la une des journaux et de susciter un débat sur les progrès vers des formes d'IA beaucoup plus puissantes.

Il y a cependant des raisons de prendre l'annonce avec prudence. Les dimanches de Pierre , professeur à l'Université de Washington, souligne que le programme doit encore jouer à plusieurs millions de parties pour maîtriser le go, bien plus qu'un joueur humain expert. Cela suggère que l'intelligence utilisée par le programme est fondamentalement différente d'une manière ou d'une autre.

C'est une belle illustration des progrès récents de l'apprentissage en profondeur et de l'apprentissage par renforcement, mais je n'y lirais pas trop comme un signe de ce que les ordinateurs peuvent apprendre sans la connaissance humaine, dit Domingos. Ce qui serait vraiment impressionnant, ce serait si AlphaGo battait [légendaire champion sud-coréen] Lee Sedol après avoir joué à peu près autant de matchs qu'il a joué dans sa carrière avant de devenir champion. Nous sommes loin de ça.

En effet, Silver et Hassabis admettent que trouver des moyens pour que les machines apprennent à partir de beaucoup moins de données sera important dans leur quête continue pour maîtriser l'intelligence. Cela peut impliquer de développer de nouvelles approches pour permettre aux machines de transférer ce qu'elles ont appris dans un domaine à un autre, ou d'apprendre en observant les autres (humains et autres IA).

Mais malgré le travail qui reste à faire, Hassabis espère que d'ici 10 ans, l'IA jouera un rôle important dans la résolution de problèmes importants en science, en médecine ou dans d'autres domaines. J'espère que ces types d'algorithmes, et les futures versions, travailleront régulièrement avec nous pour faire avancer les frontières de la science et de la médecine, dit-il. Peut-être que toutes sortes de choses auront été en partie conçues et découvertes par ce genre d'algorithmes, travaillant en tandem avec des humains très intelligents.

cacher