Un terrain de jeu en constante évolution apprend aux IA à effectuer plusieurs tâches

DeepMind

DeepMind a développé un vaste terrain de jeu virtuel couleur bonbon qui enseigne les compétences générales des IA en modifiant sans cesse les tâches qu'elle leur impose. Au lieu de développer uniquement les compétences nécessaires pour résoudre une tâche particulière, les IA apprennent à expérimenter et à explorer, en acquérant des compétences qu'elles utilisent ensuite pour réussir des tâches qu'elles n'ont jamais vues auparavant. C'est un petit pas vers l'intelligence générale.

Qu'est-ce que c'est? XLand est un monde 3D semblable à un jeu vidéo que les joueurs IA ressentent en couleur. Le terrain de jeu est géré par une IA centrale qui confie aux joueurs des milliards de tâches différentes en modifiant l'environnement, les règles du jeu et le nombre de joueurs. Les joueurs et le responsable du terrain de jeu utilisent l'apprentissage par renforcement pour s'améliorer par essais et erreurs.

Histoire connexe

Intelligence artificielle générale : sommes-nous proches, et est-il même judicieux d'essayer ?

Une machine qui pourrait penser comme une personne a été la vision directrice de la recherche sur l'IA depuis les premiers jours et reste son idée la plus controversée.

Pendant l'entraînement, les joueurs sont d'abord confrontés à des jeux simples à un joueur, comme trouver un cube violet ou placer une balle jaune sur un sol rouge. Ils passent à des jeux multijoueurs plus complexes comme cache-cache ou capture du drapeau, où les équipes s'affrontent pour être les premières à trouver et à saisir le drapeau de leur adversaire. Le gestionnaire de terrain de jeu n'a pas d'objectif précis mais vise à améliorer la capacité générale des joueurs au fil du temps.

Pourquoi est-ce cool ? Des IA comme AlphaZero de DeepMind ont battu les meilleurs joueurs humains du monde aux échecs et au Go. Mais ils ne peuvent apprendre qu'un seul jeu à la fois. Comme le cofondateur de DeepMind, Shane Legg, l'a dit quand je lui ai parlé l'année dernière, c'est comme avoir à échanger votre cerveau d'échecs contre votre cerveau de Go chaque fois que vous voulez changer de jeu.

Les chercheurs essaient maintenant de construire des IA capables d'apprendre plusieurs tâches à la fois, ce qui signifie leur enseigner des compétences générales qui facilitent leur adaptation.

Ayant appris à expérimenter, ces bots ont improvisé une rampe

PROFONDEUR

Une tendance passionnante dans cette direction est l'apprentissage ouvert, où les IA sont formées à de nombreuses tâches différentes sans objectif spécifique. À bien des égards, c'est ainsi que les humains et les autres animaux semblent apprendre, par le jeu sans but. Mais cela nécessite une grande quantité de données. XLand génère ces données automatiquement, sous la forme d'un flux infini de défis. C'est similaire à POÈTE , un dojo d'entraînement à l'IA où des robots à deux pattes apprennent à franchir des obstacles dans un paysage 2D. Le monde de XLand est cependant beaucoup plus complexe et détaillé.

XLand est aussi un exemple de L'IA apprend à se fabriquer , ou ce que Jeff Clune, qui a aidé à développer POET et dirige une équipe travailler sur ce sujet chez OpenAI, appelle les algorithmes générateurs d'IA (AI-GA). Ce travail repousse les frontières des AI-GA, déclare Clune. C'est très excitant à voir.

Histoire connexe

L'IA apprend à se créer

Les humains ont eu du mal à fabriquer des machines vraiment intelligentes. Peut-être devrions-nous les laisser faire eux-mêmes.

Qu'ont-ils appris ? Certaines des IA XLand de DeepMind ont joué à 700 000 jeux différents dans 4 000 mondes différents, rencontrant 3,4 millions de tâches uniques au total. Au lieu d'apprendre la meilleure chose à faire dans chaque situation, ce que font la plupart des IA d'apprentissage par renforcement existantes, les joueurs ont appris à expérimenter : déplacer des objets pour voir ce qui s'est passé, ou utiliser un objet comme outil pour atteindre un autre objet ou se cacher. derrière-jusqu'à ce qu'ils battent la tâche particulière.

Dans les vidéos, vous pouvez voir les IA jeter des objets jusqu'à ce qu'elles tombent sur quelque chose d'utile : une grande tuile, par exemple, devient une rampe vers une plate-forme. Il est difficile de savoir avec certitude si tous ces résultats sont des accidents intentionnels ou heureux, disent les chercheurs. Mais ils se produisent régulièrement.

Les IA qui ont appris à expérimenter avaient un avantage dans la plupart des tâches, même celles qu'elles n'avaient jamais vues auparavant. Les chercheurs ont découvert qu'après seulement 30 minutes de formation sur une nouvelle tâche complexe, les IA XLand s'y sont rapidement adaptées. Mais les IA qui n'avaient pas passé de temps dans XLand ne pouvaient pas du tout apprendre ces tâches.

cacher