OpenAI d'Elon Musk dévoile un moyen plus simple pour les machines d'apprendre

En 2013, une startup britannique d'intelligence artificielle appelée DeepMind a surpris les informaticiens en présentant un logiciel capable d'apprendre à jouer aux jeux Atari classiques mieux qu'un joueur humain expert. DeepMind a été rapidement racheté par Google, et la technique qui a battu les jeux Atari, l'apprentissage par renforcement, est devenue un sujet brûlant dans le domaine de l'IA et de la robotique. Google a utilisé l'apprentissage par renforcement pour créer un logiciel qui a battu un champion de Go l'année dernière.

Maintenant, OpenAI, un institut de recherche à but non lucratif cofondé et financé par Elon Musk, affirme avoir découvert qu'une alternative plus facile à utiliser à l'apprentissage par renforcement peut obtenir des résultats rivaux lorsqu'il joue à des jeux et effectue d'autres tâches. Lors de la conférence EmTech Digital du MIT Technology Review à San Francisco lundi, le directeur de recherche d'OpenAI, Ilya Sutskever, a déclaré que cela pourrait permettre aux chercheurs de progresser plus rapidement dans l'apprentissage automatique.

Il est compétitif avec les algorithmes d'apprentissage par renforcement d'aujourd'hui sur des références standard, a déclaré Sutskever. Il est surprenant que quelque chose d'aussi simple fonctionne réellement.

Le logiciel d'apprentissage automatique d'OpenAI a découvert comment jouer aux jeux Atari classiques.

Sutskever soutient qu'il est important de trouver de nouvelles façons pour que les logiciels apprennent à faire des choses comme jouer à des jeux informatiques ou diriger des robots pour que les logiciels d'apprentissage automatique assument des tâches plus complexes que la simple reconnaissance d'images ou la transcription de notre discours. Si nous avons des systèmes informatiques qui apprennent à prendre des mesures compliquées dans le monde, alors je pense que nous serions à l'aise de les appeler intelligents, a-t-il déclaré.

Sutskever et ses collègues ont testé leur approche, appelées stratégies d'évolution , en créant un logiciel qui a appris à jouer à plus de 50 jeux Atari, dont Pong et Centipede. Parce qu'il est plus facile de faire évoluer la nouvelle méthode sur plusieurs processeurs, en une heure, ils pourraient former des joueurs artificiels comparables à ceux qui ont mis une journée à produire à l'aide d'un système d'apprentissage par renforcement publié par Google DeepMind l'année dernière. Il a montré la même capacité à apprendre des choses comme la nécessité de faire surface pour l'air dans le jeu Seaquest (image du milieu de l'animation).

Le directeur de recherche d'OpenAI, Ilya Sutskever

Les stratégies d'évolution ont montré un avantage similaire lorsqu'elles ont été utilisées pour effectuer un test standard de la robotique dans lequel un logiciel doit comprendre comment faire marcher un humanoïde dans un environnement simulé. Il a fallu 10 minutes pour obtenir des résultats qu'un système d'apprentissage par renforcement de pointe aurait besoin d'environ 10 heures pour atteindre, selon les chercheurs.

La technique est un redémarrage d'une idée vieille de plusieurs décennies sur la façon d'obtenir un logiciel d'apprentissage pour essayer différentes actions et identifier les plus efficaces. Il s'inspire vaguement de la façon dont la sélection naturelle amène les organismes biologiques à s'adapter à leur environnement.

Un algorithme que tout le monde connaît depuis longtemps fonctionne mieux que la plupart des gens ne le pensaient, a déclaré Sutskever.

Il a refusé de suggérer des applications spécifiques de l'IA qui pourraient être stimulées par la technique des stratégies d'évolution, affirmant que davantage de recherches sont nécessaires sur ses forces et ses limites. Mais Sutskever a déclaré que la comparaison de la méthode avec l'apprentissage par renforcement suggérait qu'il serait préférable d'apprendre à effectuer des tâches plus complexes qui nécessitent plus d'étapes pour obtenir un résultat.

Pour cette raison, Sutskever a déclaré qu'il pense que les stratégies d'évolution contribueront à l'objectif d'OpenAI de créer ce qu'il appelle l'intelligence générale artificielle, un logiciel capable de s'adapter à de nombreux types de scénarios complexes.

La plupart des chercheurs en apprentissage automatique ne parlent pas beaucoup d'intelligence générale, mais poursuivent plutôt des progrès sur des problèmes spécifiques, souvent étroitement ciblés. L'énoncé de mission d'OpenAI comprend un engagement à créer une intelligence générale artificielle. Sutskever a déclaré que le rythme des progrès de l'apprentissage automatique signifie que cet objectif mérite d'être pris en compte maintenant.

[Cela] semble loin en ce moment, mais [était] bien plus loin il y a cinq ans, a-t-il dit. Le nombre de personnes et la quantité d'efforts consacrés au développement de ces algorithmes sont extrêmement élevés - les choses avancent à un rythme très sain.

cacher