Les robots Goofy Sumo-Wrestling d'OpenAI sont plus intelligents qu'ils n'en ont l'air

Catégorie: Non classé Posté 12 octobre

Ce pourrait être un sport sanguinaire virtuel dans un futur techno absurde.

OpenAI, un institut de recherche soutenu par Elon Musk et plusieurs autres grands noms de la Silicon Valley, a révélé ses dernières recherches sur le développement de formes plus puissantes d'apprentissage automatique. Et il démontre la technologie en utilisant la lutte sumo virtuelle.

Les lutteurs virtuels peuvent sembler légèrement ridicules, mais ils utilisent une approche très intelligente pour apprendre dans un environnement en évolution rapide tout en traitant avec un adversaire.

Les agents utilisent une forme d'apprentissage par renforcement, une technique inspirée de la façon dont les animaux apprennent par rétroaction. Il s'est avéré utile pour entraîner des ordinateurs à jouer à des jeux et à contrôler des robots (voir 10 Breakthrough Technologies 2017 : Reinforcement Learning ).

L'un des grands défis de l'utilisation de l'apprentissage par renforcement est qu'il ne fonctionne pas aussi bien dans des situations plus réalistes, où les choses changent constamment. OpenAI a déjà développé son propre algorithme de renforcement appelé optimisation proximale des politiques (PPO) , qui est particulièrement bien adapté aux environnements changeants.

Les derniers travaux, réalisés en collaboration avec des chercheurs de l'Université Carnegie Mellon et de l'UC Berkeley, démontre un moyen pour les agents d'IA d'appliquer ce que les chercheurs appellent un cadre de méta-apprentissage. Cela signifie que les agents peuvent prendre ce qu'ils ont déjà appris et l'appliquer à une nouvelle situation.

Dans l'environnement RoboSumo (voir la vidéo ci-dessus), les agents ont commencé à se comporter de manière aléatoire. À travers des milliers d'itérations d'essais et d'erreurs, ils ont progressivement développé la capacité de se déplacer et, éventuellement, de se battre. Grâce à d'autres itérations, les lutteurs ont développé la capacité de s'éviter et même de remettre en question leurs propres actions. Cet apprentissage s'est produit à la volée, les agents s'adaptant même s'ils se sont affrontés.

L'apprentissage flexible est une partie très importante de l'intelligence humaine, et il sera crucial si les machines deviennent capables d'accomplir autre chose que des tâches très étroites dans le monde réel. Ce type d'apprentissage est très difficile à mettre en œuvre dans les machines, et les derniers travaux sont un pas petit mais significatif dans cette direction.

Les chercheurs ont découvert qu'en utilisant le méta-apprentissage, leurs sumo-bots pouvaient apprendre plus rapidement des stratégies efficaces. Donc, même s'ils ont l'air un peu malheureux, ne les sous-estimez pas.