Podcast : comment les jeux apprennent à l'IA à apprendre par elle-même

Historique des jeux IA

Mme Tech | Unsplash





Des échecs à Jeopardy en passant par les sports électroniques, l'IA bat de plus en plus les humains à leurs propres jeux. Mais cela n'a jamais été le but ultime. Dans ce premier épisode de la saison 3 de In Machines We Trust, nous approfondissons la relation symbiotique entre les jeux et l'IA. On rencontre les grands acteurs de l'espace, et on fait un tour dans une salle d'arcade.

Dans cet épisode nous rencontrons :

  • Julian Togelius, professeur agrégé, Département d'informatique et d'ingénierie, Université de New York
  • Will Douglas-Heaven, rédacteur en chef pour l'IA, MIT Technology Review
  • David Silver, chercheur principal chez DeepMind, professeur à l'University College London.
  • David Fahri, chercheur principal, Open AI

Pour réaliser cet épisode, nous avons également parlé à Natasha Regan, actuaire chez RPC Tyche, Chess WIM et co-auteur de 'Game Changer'.

Sons de :

Crédits:

Cet épisode a été rapporté par Jennifer Strong et Will Douglas Heaven et produit par Anthony Green, Emma Cillekens et Karen Hao. Nous sommes édités par Niall Firth, Michael Reilly et Mat Honan. Notre ingénieur de mixage est Garret Lang. Conception sonore et musique de Jacob Gorski.



Transcription complète :

[ID TR]

[SOT : Jeopardy annonce le défi Watson]

Trebeck : Aujourd'hui, nous annonçons un concours Jeopardy différent de tout ce que nous avons jamais présenté auparavant.



Jenifer : Il y a dix ans, l'émission de quiz télévisée Jeopardy dévoilait un nouveau joueur...

Trebeck : C'est un match d'exhibition mettant en vedette deux des plus grands joueurs en danger de l'histoire… leur challenger ? Eh bien, il s'appelle Watson.

Annonceur documentaire : [musique] Watson est un ordinateur IBM conçu pour jouer à Jeopardy. Watson comprend le langage naturel avec toute son ambiguïté et sa complexité.



Jenifer : Et ce n'est peut-être pas surprenant... étant donné que jouer à Jeopardy est la chose il a été conçu pour faire… Watson était bon. Très bien.

[SOT : Montage des réponses de Watson Jeopardy.]

Trebek : Watson.



Watson : Qu'est-ce qu'Istanbul.

Trebek : Vous avez raison.

Trebek : Watson.

Watson : Qu'est-ce que le parlement.

Trebek : À droite.

Trebek : Watson.

Watson : Qu'est-ce que le grec ancien.

Trebek : Watson, revenons à vous.

Jenifer : Après trois nuits de cela, Watson a gagné… battant les deux meilleurs joueurs de l'histoire du jeu télévisé… Des échecs à Jeopardy en passant par les sports électroniques… L'IA bat les humains à leurs propres jeux… (pour ainsi dire)… mais cela n'a jamais été le but ultime. Les chercheurs essaient de construire des systèmes intelligents qui sont plus utiles et plus polyvalents que tout ce que nous avons.

David Silver : Si le cerveau humain peut résoudre toutes sortes de tâches différentes, pouvons-nous créer des programmes capables de faire la même chose ?

Jenifer : Je suis Jennifer Strong et cet épisode nous plonge dans la relation symbiotique entre les jeux et l'IA. Parce que depuis qu'il y a des recherches sur l'IA, les jeux en font partie. On rencontre les grands acteurs de l'espace... et on fait un tour dans une salle d'arcade.

{Sons du jeu}

Karen Hao : D'une certaine manière, les jeux ont un peu sur-médiatisé les capacités de l'IA, parce que...

Jenifer : C'est ma collègue Karen Hao...

Karen Hao : Beaucoup de gens croient maintenant que l'IA est beaucoup plus capable qu'elle ne l'est en réalité, mais les jeux sont en fait une démonstration d'une intelligence incroyablement étroite. Et nous sommes maintenant en quelque sorte piégés dans ce cycle où la recherche sur l'IA s'engage spécifiquement sur cette voie de jeux de plus en plus avancés sans réellement aller vers des situations, des environnements réels de plus en plus avancés et complexes… ce dont nous avons réellement besoin.

{Sons du jeu}

[MONTRER ID]

OC : ... vous avez atteint votre destination.

Julien Togelius : Les jeux font partie de l'IA depuis le début de l'IA, ou depuis que l'idée même de l'IA a commencé.

Jenifer : Julian Togelius est professeur et informaticien vivant à New York…

Julien Togelius : Je travaille sur l'IA pour améliorer les jeux et aussi sur les jeux pour améliorer l'IA.

Jenifer : Il me donne une leçon d'histoire sur cette relation entre les jeux et l'IA… et d'une manière ou d'une autre, il réussit à le faire tout en jouant à quelques jeux vidéo avec lesquels il travaille.

Julien Togelius : Je travaille particulièrement avec les jeux vidéo et en quelque sorte les jeux vidéo modernes parce que vraiment les échecs et le go et tout ça... Je veux dire, nous en avons en quelque sorte fini avec ça. C'est comme, je veux dire, [rires] pour ne pas décourager les gens qui aiment jouer aux échecs et qui aiment jouer au Go ou au poker pour le défi mental. C'est très bien. Mais vous savez, il y a tellement plus de possibilités, tellement plus de défis intéressants dans les autres jeux.

Jenifer : Comment êtes-vous arrivé dans ce domaine ?

Julien Togelius : Ouais. Alors quand ma mère a donné mes chats, [rires] C'est vrai ! Je veux dire, elle, elle est devenue allergique et alors qu'allez-vous faire ? Alors elle m'a donné un ordinateur avant un Commodore 64, et j'ai commencé à jouer à tous ces jeux et j'ai été vraiment fasciné par ces petits, petits mondes. Et puis j'ai grandi... enfin, plus ou moins. [rires] Euh, j'ai grandi, j'ai fini le lycée. J'ai commencé à étudier la philosophie et la psychologie. J'étais intéressé par, comment fonctionne l'esprit? Quelle est la relation entre la conscience et l'intelligence et comment tout cela se produit-il ?

Jenifer : Ces questions l'ont amené à un article de l'informaticien pionnier Alan Turing… Il a été le premier à prouver que la construction d'un ordinateur était même mathématiquement possible.

Julien Togelius : Ce document est en grande partie sur les jeux. Il s'agit du jeu d'imitation, ce qu'on appelle maintenant un test de Turing, où vous essayez de dire si quelqu'un avec qui vous discutez essentiellement - cela ne s'appelait pas discuter dans les années 50 - si quelqu'un à qui vous parlez par SMS est un ordinateur ou un humain. Il s'agit aussi d'échecs. Car les échecs sont devenus très tôt un axe central de la recherche en intelligence artificielle.

Jenifer : Nous pensons que les personnes qui jouent aux échecs ont un certain niveau d'intelligence… et le jeu est donc devenu un moyen d'évaluer à quel point les machines sont également intelligentes.

Et… fait amusant ? Le tout premier programme de jeu d'échecs a été écrit avant de un ordinateur existait même pour le faire fonctionner. Turing l'a joué en 1950... en utilisant un algorithme élaboré sur papier.

(Cela n'a pas très bien fonctionné.)

Mais les gens ont continué à faire avancer cette recherche pendant des décennies.

Et puis, en 1997, l'ordinateur Deep Blue d'I-B-M a battu Garry Kasparov... le champion du monde d'échecs en titre.

[SOT] - Deep Blue bat Garry Kasparov dans le sixième match via YouTube

Commentateur 2 : Manquons-nous quelque chose sur l'échiquier maintenant que Kasparov le voit ? Il n'a pas l'air.. il a l'air dégoûté en fait.

Commentateur 1 : Ouah !

Commentateur 2 : Bleu profond! Kasparov, après le déménagement C4, a démissionné !

[Applaudissements]

Julien Togelius : Et c'était un énorme événement intellectuel, les gens pensaient, d'accord, et maintenant ? Venons-nous de résoudre l'intelligence artificielle ? Et il s'avère que non, vous ne l'avez pas fait parce que ce programme de jeu d'échecs ne pouvait même pas jouer aux dames sans une reprogrammation importante. Il ne pouvait pas jouer au Go. Il ne pouvait pas jouer beaucoup de choses. Et plus encore, il ne pouvait pas attacher ses lacets. Il ne pouvait pas cuire les macaronis. Il ne pouvait pas écrire un poème d'amour. Il ne pouvait pas aller acheter un journal. Il ne pouvait faire aucune de ces choses que les humains font tout le temps. Il ne pourrait littéralement faire qu'une seule chose. Il pourrait jouer aux échecs. Il était sacrément doué pour ça, mais il ne pouvait vraiment jouer qu'aux échecs.

Jenifer : Ainsi, les humains avaient résolu ce que l'on croyait être le plus grand défi de la création d'intelligence… mais quand on regardait sous le capot du programme… il dit que c'était essentiellement juste une sorte de recherche.

Julien Togelius : Et si je fais ce mouvement ? Et puis, et si mon adversaire prend ce coup, et si je prends ce coup ? Nous avions donc construit un arbre de possibilités et de contre-possibilités et calculé à partir de cela. C'était en fait beaucoup plus compliqué que cela, mais c'est le cœur de ce qu'il faisait. Et les gens regardaient ça comme si ça ne ressemblait en rien au fonctionnement de notre cerveau. Je veux dire, nous ne savons pas vraiment comment fonctionne notre cerveau, mais, euh, quoi qu'ils fassent, ce n'est pas ça. [rire]

Jenifer : Mais ce n'est pas SEULEMENT utilisé pour jouer à des jeux contre des humains... L'IA apparaît dans les jeux de toutes sortes de façons. Surtout pour les rendre plus intéressants et stimulants.

Par example…. L'IA modifie certaines parties des jeux vidéo… pour qu'elles soient différentes à chaque fois que nous y jouons, et c'est le cas depuis les années 19-80.

Julien Togelius : Et ce principe de toujours créer quelque chose de nouveau... et chaque fois que vous jouez au jeu, c'est nouveau... a survécu dans beaucoup de jeux différents. Par exemple, la série de jeux Diablo est basée sur cela, ou la série de jeux de stratégie Civilization. Chaque fois que vous y jouez, vous avez un monde complètement nouveau et c'est au cœur du jeu. Ce ne serait tout simplement pas pareil si vous ne le faisiez pas.

Jenifer : Une autre raison de le faire est à cause du stockage… et il dit qu'un jeu appelé Elite est devenu une étape importante… lorsqu'il a été rendu disponible pour les ordinateurs personnels, y compris le Commodore 64.

Julien Togelius : Il ne pourrait pas tenir dans la mémoire de cet ordinateur. Ainsi, une version avait 4 096 systèmes stellaires différents. Maintenant, si vous n'aviez que 64 000 octets de mémoire et imaginez, pensez à quel point c'est peu, c'est un millionième d'ordinateur que vous pouvez acheter aujourd'hui. Donc, ils ont dû recréer le système stellaire à chaque fois que vous y arriviez. Fondamentalement, construisez-le à partir de zéro.

Jenifer : Et c'est toujours le cas maintenant. Bien sûr, nous avons beaucoup plus de stockage. Mais les jeux sont aussi beaucoup, beaucoup plus gros et plus complexes.

Julien Togelius : Le jeu de No Man's Sky, qui est sorti en 2016, mais ils continuent de le mettre à jour - il devient de plus en plus impressionnant. Il contient plus de planètes que vous ne pourriez jamais en visiter au cours de votre vie, mais elles tiennent toutes dans votre ordinateur car elles sont recréées à chaque fois que vous les voyez.

Jenifer : Pendant ce temps, les chercheurs ont également continué à créer des IA de jeu… et Togelius dit que l'un des prochains défis dans cet espace sera pour eux de jouer à plusieurs jeux à la fois… parce que le multitâche est quelque chose que les humains font bien… mais ce n'est pas encore le cas pour ces systèmes.

Alors, comment passer de ces environnements hautement structurés avec beaucoup de prévisibilité… à quelque chose de plus proche de la vie réelle, qui est désordonné et chaotique et pas du tout prévisible.

A lui et à d'autres chercheurs… ? Nous jouons plus de jeux.

Julien Togelius : Si nous avions un système qui pouvait jouer de manière fiable, comme avec une certaine compétence, les cent meilleurs jeux d'une liste de jeux informatiques, comme Steam ou l'AppStore ou quelque chose du genre, alors nous aurions quelque chose qui s'apparente à l'intelligence générale.

Jenifer : Donc, à certains égards… nous en sommes encore là où nous en étions il y a un demi-siècle… en pensant que nous pourrions simplement trouver la clé de l'intelligence générale avec des systèmes d'IA capables de battre les humains à leur propre jeu.

[rythme / musique]

Mais nous mélangeons également les jeux et l'IA de toutes sortes d'autres façons… comme pour nous aider avec les données d'entraînement.

Il y a quelques années, j'ai rencontré une équipe à Princeton essayant de rendre les panneaux d'arrêt plus reconnaissables pour les voitures autonomes… en utilisant le jeu, Grand Theft Auto.

Aussi étrange que cela puisse paraître… c'est en fait assez pratique quand on considère le nombre de façons différentes qu'un conducteur peut rencontrer un panneau d'arrêt dans le monde réel… que ce soit sur un bâton dans le sol… suspendu dans les airs… ou peint dessus le trottoir… et nous les rencontrons dans toutes sortes de lumière et de temps… parfois partiellement cachés par des branches d'arbres… ou l'obscurité de la nuit.

Les chercheurs pourraient chercher des exemples de tous ces panneaux d'arrêt… ou les jeux vidéo peuvent simplement générer des exemples sans fin.

Nous utilisons également des jeux pour mieux comprendre comment les algorithmes prennent des décisions.

[Commencez à apporter des sons d'Arcade. * La musique et le gameplay du thème Frogger commencent, basculez les mouvements *]

Jenifer : Nous sommes dans une arcade classique à Boston… car elle possède plusieurs de ces jeux vidéo plus anciens qui sont utilisés pour former des systèmes d'IA.

Will Douglas-Heaven : Bonjour, je suis Will Douglas-Heaven. Je suis rédacteur en chef pour l'IA chez Technology Review… Et je ne peux pas jouer à Frogger.

Will Douglas-Heaven : Frogger est apparu assez récemment dans différentes recherches sur l'IA où ils essayaient de faire en sorte qu'une IA s'explique et explique ce qu'elle faisait. Euh, et ils ont enseigné... ils ont formé une IA pour jouer à ce jeu et vous connaissez Frogger... Vous pouvez entendre le bruit, j'échoue sans cesse.

Alors Frogger est ce jeu où vous êtes une petite grenouille en bas et vous devez traverser une route où des voitures se déplacent en quelque sorte sur l'écran de gauche à droite, et vous devez en quelque sorte esquiver entre elles. Et puis tu arrives à une rivière et tu sautes sur le dos des tortues et des bûches pour passer de l'autre côté sans tomber dedans comme je l'ai fait là-bas. Euh, de toute façon, donc c'est, c'est un jeu qui a comme beaucoup d'actions précises que vous faites à chaque étape. Et donc quand ils ont formé l'IA pour le faire, chaque fois qu'elle a pris une action, ils l'ont fait expliquer en, euh, en quelque sorte, vous savez, des termes compréhensibles pour l'homme pourquoi elle a fait ça.

[*Les sons du jeu continuent*]

Jenifer : Fondamentalement, l'IA joue le jeu… et au fil du temps, elle détermine comment réussir. Les mouvements aléatoires évoluent en stratégies complexes… même certaines que nous ne connaissions pas.

[Continuez les sons des jeux sous le VO ci-dessus et également dans ce morceau d'audio]

Will Douglas-Heaven : Ils ont jeté les IA sur ces vieux jeux et leur ont juste montré les écrans auxquels ils ne savaient pas comment jouer. Ce n'était que des pixels sur un écran, des choses se sont produites. Ils ont essayé des choses et parfois ils ont explosé. Parfois, ils tiraient sur les vaisseaux extraterrestres. Et en utilisant seulement une sorte de récompenses de vous savez quand ils ont fait quelque chose, à droite, le score a augmenté, ils ont lentement trouvé comment jouer au jeu. Et ils sont passés de la compréhension, rien à, dans de nombreux cas, en quelque sorte battre les meilleurs scores des meilleurs joueurs humains. Et même quelques exemples vraiment sympas où ils ont en fait trouvé des moyens de battre le jeu que les humains n'avaient pas découverts.

Jenifer : Un exemple de ceci vient d'un jeu appelé Q*Bert, qui place les joueurs sur une pyramide de carrés.

Will Douglas-Heaven : Je veux dire, l'idée de base est que vous avez ce petit gars qui saute du haut de la pyramide et atterrit sur les cases. Et lorsque vous avez changé tous les carrés de la même couleur, vous pouvez passer au niveau suivant. Mais l'IA, je pense qu'au premier niveau, a changé toutes les couleurs des carrés, puis a continué à sauter de haut en bas des carrés plutôt que de passer au niveau suivant. Et il a trouvé un bug dans le jeu qui lui a permis d'obtenir un score infini en très peu de temps. Et même les concepteurs du jeu étaient comme si je n'avais jamais vu ce bug auparavant.

Jenifer : Après la pause… Nous rencontrerons quelques pionniers à l'origine d'avancées majeures dans ce domaine. Mais d'abord, je veux vous parler d'un événement appelé CyberSecure en novembre. C'est la conférence sur la cybersécurité de Tech Review et j'y serai avec mes collègues. Vous pouvez en savoir plus sur Cyber ​​Secure M-I-T dot com.

Nous reviendrons tout de suite… après cela.

[MIDROLL]

David Silver : Je m'appelle David Silver. Je travaille sur l'intelligence artificielle et je l'applique aux jeux. Je travaille pour une entreprise appelée DeepMind et notre objectif est d'essayer d'utiliser, euh, l'intelligence artificielle pour essayer de construire un système, qui a certaines des intelligences qui sont à l'intérieur du cerveau humain.

Jenifer : DeepMind est au centre de ce travail avec les jeux. C'est un laboratoire de recherche qui fait partie de l'Alphabet de Google.

David Silver : Si le cerveau humain peut résoudre toutes sortes de tâches différentes, pouvons-nous créer des programmes capables de faire la même chose ?

Jenifer : Il est le chercheur principal derrière certains des systèmes d'IA les plus connus qui ont maîtrisé la façon de jouer à des jeux... à commencer par les jeux de société (y compris l'ancien jeu de stratégie chinois de Go.)

David Silver : Nous avons développé un système appelé AlphaGo, qui a été le premier programme à pouvoir jouer au jeu de Go au niveau des meilleurs joueurs professionnels humains. Et de fait, il a pu battre le champion du monde Lee Sedol.

David Silver : Et il y a cet immense espace de jeux, dont beaucoup ont ces belles caractéristiques qui nous permettent de vraiment plonger et de comprendre, vous savez, une partie du monde de manière isolée sans avoir à faire face à toute l'immense complexité du monde réel tout à la fois.

Jenifer : AlphaGo a appris à jouer à des jeux de société en fonction de la façon dont les gens jouent.

Le prochain système de Silver, AlphaZero, a appris à jouer aux jeux de société et aux jeux vidéo d'une manière différente... en apprenant les règles d'un jeu, puis en se rejouant encore et encore.

David Silver : Après AlphaGo, nous avons essayé de passer à l'étape suivante et de faire quelque chose d'encore plus général, qui était de pouvoir jouer non pas à un seul jeu, mais à plusieurs jeux utilisant la même technologie. Et c'est un grand tremplin parce qu'il essaie vraiment de faire l'une des choses que nous, en tant que personnes, sommes capables de faire, c'est-à-dire résoudre de nombreux problèmes, en utilisant les mêmes types de machines à l'intérieur.

Jenifer : Ce est une étape importante dans la généralisation de l'IA... Mais avec une mise en garde importante. L'algorithme ne peut pas apprendre à jouer à ces jeux tous en même temps. C'est comme s'il se construisait des cerveaux séparés pour chaque jeu. Il doit donc échanger son cerveau d'échecs avant de jouer au Go.

Il est prudent de dire que les chercheurs essaient toujours de comprendre comment faire des jeux un test pour la vie réelle. Parce que les jeux ont des règles qui peuvent être définies… et personne ne connaît vraiment les règles selon lesquelles le monde fonctionne.

David Silver : Le monde est vraiment un endroit désordonné. Vous savez, il y a cette dynamique incroyablement riche, toutes sortes de détails dans la façon dont les objets se déplacent. La façon dont les choses que nous voyons se rapportent aux choses que nous touchons. Il y a juste cette richesse et cette complexité incroyables dans le monde réel. Et nous ne pouvons pas espérer résoudre ce problème de la manière dont les gens ont historiquement abordé les jeux. Donc, ce dont nous avons besoin, c'est de quelque chose qui puisse comprendre le monde par lui-même d'une manière qui comprenne les modèles d'une manière qui lui soit utile pour prendre des décisions qui sont réellement significatives pour l'aider à atteindre ses objectifs.

Jenifer : Son dernier projet s'appelle MuZero. Il excelle dans autant de jeux qu'AlphaZero... (ainsi que dans toute une série de jeux vidéo).

... mais ce système détermine comment jouer sans aucune règle.

David Silver : Donc, c'était vraiment juste lâché. Il était capable de jouer à des jeux contre lui-même. Et tout ce qu'il a obtenu à la fin du jeu était un signal pour dire, Hé, vous avez gagné ou Hé, vous avez perdu. Et à partir de ce signal, il a pu se forger une compréhension suffisante des règles du jeu pour pouvoir en quelque sorte imaginer ce qui se passerait dans le futur. Et une fois qu'il avait cette capacité à imaginer le futur, il était capable de chercher et de commencer à regarder vers l'avenir et de commencer à penser à l'avenir et à dire, aha, maintenant je comprends comment ce monde fonctionne. Je peux commencer à imaginer ce qui se passerait si je jouais ce coup ou faisais cette action. Et donc c'est vraiment une étape clé dont nous avons besoin et quelque chose que nous pensons être très important pour l'avenir de l'IA.

Jenifer : Il dit que ce n'est pas sans rappeler qu'un bébé s'empare du monde qui l'entoure… développe des compétences en résolution de problèmes et en créativité, au fil du temps.

David Silver : Je pense que nous voyons déjà des exemples où, dans des domaines contraints, nous voyons des algorithmes qui sont à toutes fins utiles, créatifs. Je veux dire, qu'est-ce que la créativité après tout autre que, vous savez, la capacité de découvrir une nouvelle idée par elle-même. Et je pense que c'est l'essence de la créativité. L'essence de la créativité est ce que nos algorithmes font, c'est-à-dire découvrir pas à pas quelque chose de nouveau et apprendre par leur expérience que cette nouvelle idée qu'ils ont imaginée est en fait quelque chose de puissant et qui l'aide à atteindre son objectif buts. Donc je pense qu'à l'avenir, nous verrons de plus en plus de créativité de cette forme. Nous verrons, vous savez, des machines capables de découvrir par elles-mêmes des idées qui les aideront à atteindre des objectifs. Non pas parce qu'une personne lui a dit que c'est la chose dont vous avez besoin pour atteindre cet objectif, mais parce qu'elle l'a compris par elle-même.

Jenifer : Et... cette créativité a conduit AlphaZero à découvrir de nouvelles choses sur la façon de jouer aux échecs. À présent…. les joueurs humains l'adoptent en fait dans leurs propres jeux ... l'appelant .. 'jouer un mouvement alpha zéro'.

[SOT : comment jouer comme AlphaZero]

Héberger: Bienvenue dans une autre édition de Comment attaquer comme AlphaZero ! J'espère que vous êtes prêt pour la leçon d'aujourd'hui….

Jenifer : C'est également le cas avec les e-sports… qui sont des compétitions de jeux vidéo qui se jouent souvent devant un public en direct… semblable à un événement sportif… Avec une audience mondiale de près d'un demi-milliard de téléspectateurs qui se connectent pour regarder leurs jeux préférés joués par certains des meilleurs joueurs du monde.

Ici aussi, l'IA est utilisée de plusieurs façons… comme des outils de coaching pour aider les gens à mieux jouer… et (encore une fois), les chercheurs visent également à utiliser les sports électroniques pour rendre leurs systèmes d'IA plus intelligents…

David Farhi : Nous imaginons qu'à un moment donné, il y aura des systèmes généraux d'intelligence artificielle qui peuvent vraiment résoudre les problèmes rapidement, peuvent peut-être apprendre au niveau des humains.

Jenifer : David Farhi est chercheur principal à Open AI... Le laboratoire de recherche fondé par Elon Musk et un tas d'autres sommités de la Silicon Valley.

Il a créé le premier système à battre des champions du monde lors d'un jeu de sport électronique.

Ce jeu s'appelle Defense of the Ancients 2, que tout le monde appelle Dota 2… et il y a un nouveau documentaire sur cette victoire… appelé Artificial Gamer.

[Extrait de la bande-annonce de Artificial Gamer]

[Musique dramatique et sons du gameplay de Dota 2]

Intervenant 1 : Lorsque vous regardez le jeu de Dota, il y a plus de 10 000 variables à chaque instant que votre système doit prendre en compte.

Intervenant 2 : L'IA apprend d'une manière très différente de celle des humains.

Orateur 3 : Il joue contre des copies de lui-même. Beaucoup, beaucoup de fois dans le cloud..

Jenifer : Fahri a supervisé le projet Dota 2, appelé Open AI Five… et il a démontré comment cela fonctionne lors de la conférence AI de Tech Review, EmTech Digital…

[Sons du gameplay de Dota 2 via Youtube. [00:03 - 00:15] Fade in, puis couchez-vous sous la sélection Farhi suivante. *Combats à l'épée, pas et musique de combat dramatique.*]

David Farhi : Dans le coin supérieur droit de cet écran. Nous voyons une très grande vue agrandie du monde entier de Dota. Dans le coin inférieur gauche, il y a la base d'une équipe. Dans le coin supérieur droit se trouve la base d'une autre équipe. Chaque équipe essaie de déplacer ses personnages, de lancer des sorts avec ses personnages, d'attaquer les ennemis, etc. pour finalement envahir et détruire la base de l'autre équipe.

David Farhi : Ces systèmes plus compliqués comme la robotique et les jeux vidéo ont une sensation différente car vous obtenez une observation de l'état du jeu, puis vous choisissez une action à entreprendre. Et puis l'état du jeu change d'une certaine manière, en fonction de l'action que vous avez entreprise. Et puis vous avez une nouvelle observation et vous pouvez choisir une nouvelle action et cette boucle se répète encore et encore. Et donc vous devez prendre des décisions qui ont des conséquences à long terme sur la route. Donc, la façon dont nous procédons est relativement simple. Conceptuellement du moins. Nous avons des agents qui commencent à jouer de manière totalement aléatoire. Et nous devons juste les jouer contre eux-mêmes, un clone d'eux-mêmes encore et encore et encore.

Jenifer : Et si vous pensez que cela pourrait prendre beaucoup de temps avec un jeu aussi compliqué ? Vous ne vous trompez pas… mais la capacité d'Open AI à l'exécuter sur 200 000 machines à la fois… aide.

Fondamentalement… il est capable d'acquérir environ 250 ans d'expérience par jour.

Et si le système fait quelque chose qui fonctionne... il est mis à jour pour faire plus cette chose... et si quelque chose de mauvais se produit qui ne fonctionne pas, il fait moins cette chose.

David Farhi : Nous avons commencé avec une version limitée du jeu. Nous avons finalement réussi à battre notre équipe de développeurs, ce qui était très amusant. Et puis nous avons ajouté plus de pièces du jeu. Nous sommes revenus et nous nous sommes entraînés plus longtemps. Et nous avons pu battre des amateurs, puis des humains semi-professionnels. Finalement, nous avons décidé d'aller à un grand tournoi que ce jeu a..

[Sons de The International 3 (tournoi Dota) via YouTube. * La foule applaudit, les commentateurs sportifs crient avec enthousiasme, gameplay Dota. *]

Animateur sportif : Ce pourrait être leur dernier combat. [inaudible]

Animateur sportif : Il va essayer de concentrer tout le monde mais il y a tellement de choses.

Animateur sportif : Il n'y a plus de clips disponibles. Jusqu'à environ la moitié des HP.

Animateur sportif : Un quart de CV. Un lion qui l'entoure de tous côtés ! EKB ! Animateur sportif : Ils ont gagné la manche ! Ils vont le faire !

Animateur sportif : Les rois du nord ! L'Alliance gagne ! Ils gagnent TI 3.

Animateur sportif : L'Alliance vient de gagner 1,4 million de dollars !

Animateur sportif : Ce sont vos champions d'International 3 !

David Farhi : Ce jeu compte donc des millions d'utilisateurs humains qui participent à ces tournois pour des prix importants, ce qui garantit que nous savons qu'il y a des humains qui jouent à un niveau de compétence très, très élevé. En août 2018, nous avons emmené notre agent à ce tournoi.

Jenifer : Leur IA a joué contre deux équipes professionnelles qui avaient déjà été éliminées du tournoi… et perdues de peu. Mais l'année suivante, avec plus d'entraînement, l'IA a pu battre les anciens champions du monde 2 à 0.

David Farhi : OpenAI Five est donc formé sans être humain dans le processus de formation, donc il joue simplement contre lui-même dans ces serveurs cloud encore et encore et encore et encore. Et puis, lorsque nous voulons le jouer contre un humain, nous prenons un instantané du cloud et le jouons contre l'humain, mais nous ne renvoyons jamais ces données dans le processus de formation.

[Musique]

Jenifer : Mais il y a toujours cette question de savoir si les jeux peuvent nous aider à former l'IA pour qu'elle soit plus utile.

À l'heure actuelle, nous avons des systèmes qui sont extrêmement bons dans un domaine. Mais nous n'avons pas encore de modèles capables de faire beaucoup de choses à la fois.

Encore une fois, mon collègue Will Douglas Heaven.

Will Douglas-Heaven : L'astuce va être, je pense, de prendre du recul par rapport à la construction d'IA, d'exceller dans des stratégies ou des techniques spécifiques, ou d'avoir une solution de contournement brillante pour cette règle ou ce mouvement particulier, vous savez, le genre de chose que nous avons vu dans ces Des IA qui peuvent apprendre à jouer à des jeux.

Jenifer : Pour vraiment comprendre la prochaine étape de cette recherche... Il pourrait être utile de réfléchir à la façon dont les enfants jouent sur une aire de jeux.

Will Douglas-Heaven : Ils ne jouent pas à un jeu qui a une sorte de véritables règles établies. Je veux dire, ils peuvent les inventer au fur et à mesure, mais, vous savez, ils ne font qu'explorer, essayer des choses et d'une manière très naturelle et ouverte. Et il n'y a pas d'objectif précis vers lequel ils travaillent. Et je pense que c'est ce genre de technique, qui est quand même une sorte de jeu, qu'on va voir, vous savez, vraiment faire avancer les choses quand on parle d'intelligence générale. Deepmind, par exemple, a lancé il y a quelques mois un terrain de jeu virtuel. C'est un peu comme un monde de jeu vidéo appelé X Land. Et il est peuplé par un tas de petits robots. Et la chose intéressante ici est que X Land lui-même est contrôlé par une IA ou une sorte de maître de jeu qui réorganise l'environnement, réorganise les obstacles, les blocs et les balles avec lesquels les petits robots peuvent jouer, et propose également différents règles à la volée. Donc, des jeux simples comme le tag ou le cache-cache, et les bots n'ont qu'à trouver, vous savez, comment y jouer. Vous savez quels objets de ce monde virtuel les aideront à le faire. Et ils acquièrent des compétences générales comme explorer, essayer des trucs. Et je pense que ce genre d'exploration ouverte sera la clé de la prochaine génération d'IA. Et c'est plutôt excitant que la [00:09:00] prochaine vague d'IA, les IA qui vont être douées pour plusieurs choses, [00:09:03] Nous // pourrions encore y arriver à travers les jeux. Les jeux ne vont donc nulle part. Les jeux sont avec l'IA depuis le début. Et vous savez, c'est agréable de voir que le jeu est peut-être encore la meilleure façon d'apprendre.

[CRÉDITS]

Jenifer : Cet épisode a été rapporté par moi et Will Douglas-Heaven… et produit par Anthony Green, Emma Cillekens et Karen Hao. Nous sommes édités par Niall Firth, Michael Reilly et Mat Honan. Notre ingénieur du mixage est Garret Lang… avec une conception sonore et une musique de Jacob Gorski.

Merci de m'avoir écouté, je suis Jennifer Strong.
[ID TR]

cacher