Une main de robot a appris à résoudre un Rubik's Cube après avoir créé son propre programme d'entraînement

OPENAI OpenAI

Il y a plus d'un an, OpenAI, le laboratoire de recherche sur l'IA à but lucratif basé à San Francisco, a annoncé qu'il avait formé une main robotique pour manipuler un cube avec une dextérité remarquable.

Cela pourrait ne pas sembler bouleversant. Mais dans le monde de l'IA, c'était impressionnant pour deux raisons. Tout d'abord, la main avait appris par elle-même à jouer avec le cube à l'aide d'un algorithme d'apprentissage par renforcement, une technique calquée sur la façon dont les animaux apprennent. Deuxièmement, toute la formation avait été effectuée en simulation, mais elle a réussi à se traduire avec succès dans le monde réel. Dans les deux sens, il s'agissait d'une étape importante vers des robots plus agiles pour les applications industrielles et grand public.

J'ai été un peu étonné, dit Leslie Kaelbling, roboticienne et professeur au MIT, des 21018 résultats. Ce n'est pas quelque chose que j'aurais imaginé qu'ils auraient pu faire fonctionner.

Dans un nouveau papier Aujourd'hui, OpenAI a publié les derniers résultats avec sa main robotique, Dactyl. Cette fois, Dactyl a appris à résoudre un Rubik's cube d'une seule main, encore une fois grâce à l'apprentissage par renforcement en simulation. Ceci est remarquable non pas tant parce qu'un robot a résolu l'ancien puzzle que parce que la réalisation a demandé un nouveau niveau de dextérité.

C'est un problème vraiment difficile, explique Dmitry Berenson, roboticien à l'Université du Michigan, spécialisé dans la manipulation de machines. Le type de manipulation nécessaire pour faire pivoter les pièces du Rubik's cube est en réalité beaucoup plus difficile que de faire pivoter un cube.

Lors des tests, Dactyl a réussi à résoudre le Rubik's cube même dans des circonstances inattendues.

Du monde virtuel au monde physique

Traditionnellement, les robots ne pouvaient manipuler des objets que de manière très simple. Alors que les algorithmes d'apprentissage par renforcement ont connu un grand succès dans la réalisation de tâches complexes dans les logiciels, comme battre le meilleur joueur humain dans l'ancien jeu de Go, les utiliser pour entraîner une machine physique a été une autre histoire. C'est parce que les algorithmes doivent s'affiner par essais et erreurs - dans de nombreux cas, des millions de tours. Cela prendrait probablement beaucoup trop de temps et beaucoup d'usure pour qu'un robot physique fasse cela dans le monde réel. Cela pourrait même être dangereux si le robot se débattait sauvagement pour collecter des données.

Pour éviter cela, les roboticiens utilisent la simulation : ils construisent un modèle virtuel de leur robot et l'entraînent virtuellement pour effectuer la tâche à accomplir. L'algorithme apprend dans la sécurité de l'espace numérique et peut ensuite être transféré dans un robot physique. Mais ce processus comporte ses propres défis. Il est presque impossible de construire un modèle virtuel qui reproduit exactement toutes les mêmes lois de la physique, les propriétés des matériaux et les comportements de manipulation observés dans le monde réel, sans parler des circonstances inattendues. Ainsi, plus le robot et la tâche sont complexes, plus il est difficile d'appliquer un algorithme entraîné virtuellement dans la réalité physique.

C'est ce qui a impressionné Kaelbling à propos des résultats d'OpenAI il y a un an. La clé de son succès a été que le laboratoire a brouillé les conditions simulées à chaque cycle de formation pour rendre l'algorithme plus adaptable à différentes possibilités.

Ils ont foiré leur simulateur de toutes sortes de manières folles, dit Kaelbling. Non seulement ils ont changé la gravité, mais ils ont changé la direction des points de gravité. Donc, en essayant de construire une stratégie qui fonctionnait de manière fiable avec toutes ces permutations folles de la simulation, l'algorithme a fini par fonctionner dans le vrai robot.

Dans le dernier article, OpenAI pousse cette technique un peu plus loin. Auparavant, les chercheurs devaient randomiser les paramètres de l'environnement en sélectionnant manuellement les permutations qui, selon eux, conduiraient à un meilleur algorithme. Maintenant, le système de formation le fait tout seul. Chaque fois que le robot atteint un certain niveau de maîtrise de l'environnement existant, le simulateur ajuste ses propres paramètres pour rendre les conditions d'entraînement encore plus difficiles.

Le résultat est un algorithme encore plus robuste qui peut se déplacer avec la précision requise pour faire tourner un Rubik's cube dans la vraie vie. Grâce à des tests, les chercheurs ont découvert que Dactyl avait également réussi à résoudre le cube dans diverses conditions sur lesquelles il n'avait pas été entraîné. Par exemple, il a pu accomplir la tâche en portant un gant en caoutchouc, en ayant quelques doigts liés ensemble et en étant poussé par une girafe en peluche.

Robots polyvalents

OpenAI pense que les derniers résultats fournissent des preuves solides que leur approche débloquera des robots plus polyvalents qui peuvent s'adapter dans des environnements ouverts tels qu'une cuisine à domicile. Un Rubik's cube est l'un des objets rigides les plus compliqués qui existent, déclare Marcin Andrychowicz d'OpenAI. Je pense que d'autres objets ne seront pas beaucoup plus compliqués.

Bien qu'il existe des tâches plus complexes qui impliquent plus d'objets ou d'objets déformables, dit-il, il est convaincu que la méthode du laboratoire peut entraîner des robots pour chacun d'entre eux : je pense que cette approche est l'approche de l'adoption généralisée de la robotique.

Berenson et Kaelbling restent cependant sceptiques. On peut avoir l'impression qu'il existe une théorie ou un système unifié, et maintenant OpenAI l'applique simplement à cette tâche et à cette tâche, dit Berenson à propos de l'article précédent et actuel. Mais ce n'est pas du tout ce qui se passe. Ce sont des tâches isolées. Il y a des composants communs, mais il y a aussi une énorme quantité d'ingénierie ici pour faire fonctionner chaque nouvelle tâche.

C'est pourquoi je me sens un peu mal à l'aise avec les affirmations selon lesquelles cela conduit à des robots à usage général, dit-il. Je vois cela comme un système très spécifique destiné à une application spécifique.

Une partie du problème, selon Berenson, est l'apprentissage par renforcement lui-même. Par nature, la technique est conçue pour maîtriser une chose en particulier, avec une certaine flexibilité pour gérer les variations. Mais dans le monde réel, le nombre de variations potentielles va au-delà de ce qui peut raisonnablement être simulé. Dans une tâche de nettoyage, par exemple, vous pouvez avoir différents types de vadrouilles, différents types de déversements et différents types de sols.

L'apprentissage par renforcement est également conçu pour apprendre de nouvelles capacités en grande partie à partir de rien. Ce n'est ni efficace en robotique ni fidèle à la façon dont les humains apprennent. Si vous êtes déjà un humain raisonnablement compétent et que j'ai essayé de vous enseigner une habileté motrice dans la cuisine - comme peut-être que vous n'avez jamais fouetté quelque chose avec une cuillère - ce n'est pas comme si vous deviez réapprendre tout votre contrôle moteur, dit Kaelbling .

Selon Berenson, aller au-delà de ces limites nécessitera d'autres techniques robotiques plus traditionnelles. Il y aura des processus d'apprentissage - probablement un apprentissage par renforcement - à la fin de la journée, dit-il. Mais je pense que ceux-ci devraient en fait venir beaucoup plus tard.

Pour recevoir plus d'histoires comme celle-ci directement dans votre boîte de réception, inscrivez-vous à notre newsletter AI nominée par Webby, The Algorithm. C'est gratuit.

cacher