L'IA a appris à utiliser des outils après près de 500 millions de parties de cache-cache

OpenAi

Aux premiers jours de la vie sur Terre, les organismes biologiques étaient extrêmement simples. C'étaient des créatures unicellulaires microscopiques avec peu ou pas de capacité de coordination. Pourtant, des milliards d'années d'évolution par la compétition et la sélection naturelle ont conduit aux formes de vie complexes que nous avons aujourd'hui, ainsi qu'à l'intelligence humaine complexe.

Les chercheurs d'OpenAI, le laboratoire de recherche sur l'IA à but lucratif basé à San Francisco, testent actuellement une hypothèse : si vous pouviez imiter ce type de concurrence dans un monde virtuel, cela donnerait-il également lieu à une intelligence artificielle beaucoup plus sophistiquée ?

L'expérience s'appuie sur deux idées existantes dans le domaine : l'apprentissage multi-agents, l'idée de mettre plusieurs algorithmes en compétition ou en coordination pour provoquer des comportements émergents, et l'apprentissage par renforcement, la technique spécifique d'apprentissage automatique qui apprend à atteindre un objectif par des essais et Erreur. (DeepMind a popularisé ce dernier avec son programme révolutionnaire AlphaGo, qui a battu le meilleur joueur humain de l'ancien jeu de société chinois Go.)

Dans un nouveau papier Sorti aujourd'hui, OpenAI vient de dévoiler ses premiers résultats. En jouant à un simple jeu de cache-cache des centaines de millions de fois, deux équipes opposées d'agents d'intelligence artificielle ont développé des stratégies complexes de cache-cache impliquant l'utilisation d'outils et la collaboration. La recherche offre également un aperçu de la stratégie de recherche dominante d'OpenAI : faire évoluer considérablement les techniques d'IA existantes pour voir quelles propriétés émergent.

Après environ 25 millions de parties de cache-cache, les cacheurs ont appris à construire des forts pour gagner la partie. OpenAI

Six phases de stratégie

Pour créer le jeu, les chercheurs ont conçu un environnement virtuel composé d'un espace clos avec divers objets comme des blocs, des rampes et des barricades mobiles et immobiles. Les agents eux-mêmes étaient contrôlés par des algorithmes d'apprentissage par renforcement. Pour chaque jeu, les agents étaient divisés en deux équipes : les cacheurs étaient récompensés ou pénalisés pour avoir évité ou échoué à éviter les chercheurs, respectivement ; les chercheurs étaient également récompensés ou pénalisés pour avoir trouvé ou échoué à trouver les cacheurs. Comme dans un jeu classique de cache-cache, les cacheurs ont également eu quelques secondes d'avance. Les enquêteurs n'ont donné aucune autre instruction aux agents.

Au cours de centaines de millions de parties de jeu, les agents ont développé plusieurs stratégies et contre-stratégies. Au cours de la première phase, les cacheurs et les chercheurs ont développé des stratégies d'évitement et de chasse très grossières en se déplaçant dans l'espace sans manipuler aucun des objets.

Dans la troisième phase, les chercheurs ont appris à escalader les murs du fort à l'aide d'une rampe. OpenAI

Mais autour de la barre des 25 millions de jeux, le jeu est devenu plus sophistiqué. Les cacheurs ont appris à déplacer et à verrouiller les boîtes et les barricades dans l'environnement pour construire des forts autour d'eux afin que les chercheurs ne les voient jamais. Non seulement cela, mais ils ont également développé des stratégies de coordination, telles que se passer des objets, afin d'accélérer le processus de construction du fort.

Après 75 millions de tours supplémentaires, cependant, les chercheurs ont découvert une contre-stratégie, faisant passer le processus à la phase trois. Ils ont appris à déplacer une rampe à côté du fort des cacheurs et à l'utiliser pour escalader les murs. À la quatrième phase, 10 millions de rounds plus tard, les cacheurs avaient appris à verrouiller les rampes en place avant de construire leur fort. (Aucune équipe ne peut déverrouiller un objet qui a été verrouillé par une équipe adverse.)

Au début, les chercheurs d'OpenAI pensaient qu'il s'agissait de la dernière phase du jeu, mais finalement, à la barre des 380 millions de jeux, deux autres stratégies ont émergé. Les chercheurs ont une fois de plus développé une stratégie pour pénétrer dans le fort des cacheurs en utilisant une rampe verrouillée pour grimper sur une boîte déverrouillée, puis surfer sur le dessus de la boîte jusqu'au fort et sur ses murs. Dans la phase finale, les cacheurs ont de nouveau appris à verrouiller toutes les rampes et boîtes en place avant de construire leur fort.

Enfin, après 380 millions de tours d'entraînement, les chercheurs ont appris à 'boxer' pour escalader les murs du fort. OpenAI

Intelligence émergente

Les chercheurs pensent que ces premiers résultats démontrent une nouvelle méthode prometteuse pour faire évoluer une IA plus complexe. Nous n'avons pas dit aux cacheurs ou aux chercheurs de courir près d'une boîte ou d'interagir avec elle, explique Bowen Baker, l'un des auteurs de l'article. Mais grâce à la concurrence multi-agents, ils se sont créé de nouvelles tâches, de sorte que l'autre équipe a dû s'adapter.

Cette étude reflète l'approche distinctive d'OpenAI en matière de recherche sur l'IA. Bien que le laboratoire ait également investi dans le développement de nouvelles techniques par rapport à d'autres laboratoires, il s'est principalement fait un nom en adaptant considérablement les techniques existantes. GPT-2, le tristement célèbre modèle de langage du laboratoire, par exemple, a fortement emprunté la conception algorithmique des modèles de langage antérieurs, y compris BERT de Google ; La principale innovation d'OpenAI était un exploit d'ingénierie et de vastes ressources de calcul.

D'une certaine manière, cette étude réaffirme l'intérêt de tester à grande échelle les limites des technologies existantes. L'équipe prévoit également de poursuivre cette stratégie. Les chercheurs affirment que la première série d'expériences n'a pas atteint les limites des ressources informatiques qu'ils pouvaient utiliser pour résoudre le problème.

Nous voulons que les gens imaginent ce qui se passerait si vous provoquiez ce type de concurrence dans un environnement beaucoup plus complexe, dit Baker. Les comportements qu'ils apprennent pourraient en fait éventuellement résoudre certains problèmes que nous ne savons peut-être pas déjà résoudre.

Correction: Le titre original déformait le nombre de matchs joués par les agents.

cacher