Les robots apprennent à faire des crêpes grâce aux articles de WikiHow

Si vous avez déjà eu besoin de savoir comment nouer un nœud papillon ou réparer un daiquiri à la fraise, vous vous êtes probablement retrouvé sur un site Web comme WikiHow pour des instructions étape par étape. Étonnamment, certains robots font maintenant la même chose.

Un robot appelé P2T enlève le bouchon d'une bouteille tout en travaillant dans un environnement de laboratoire simulé.

Un robot appelé PR2 en Allemagne apprend à préparer des crêpes et des pizzas en lisant attentivement les instructions écrites de WikiHow. Cela fait partie d'un projet européen appelé RoboComment , qui explore les moyens d'apprendre aux robots à comprendre le langage. Cela pourrait permettre aux gens de communiquer plus facilement des instructions aux robots et fournir aux machines un moyen de comprendre comment effectuer des tâches inconnues. Au lieu de programmer un robot pour effectuer des mouvements précis, l'objectif est qu'une personne dise simplement à un robot quoi faire.

Apprendre aux robots comment transformer des descriptions de haut niveau en actions spécifiques est une tâche importante mais difficile. C'est simple pour les humains parce que nous avons une compréhension de toutes sortes de tâches de base, collectées au cours d'une vie. Un humain n'a pas besoin d'être informé de la prise spécifique nécessaire pour retirer le dessus d'un pot de sauce tomate, par exemple, ou que retourner une crêpe implique d'utiliser une spatule ou un autre ustensile de cuisine.

Les chercheurs à l'origine du projet RoboHow veulent donc enseigner aux robots les connaissances générales nécessaires pour transformer des instructions de haut niveau en actions spécifiques. Jusqu'à présent, ils ont pu convertir quelques instructions de WikiHow en comportements utiles, à la fois dans des simulations et dans de vrais robots.

Faire plus pourrait s'avérer très utile car les robots deviennent plus courants et doivent travailler plus étroitement avec les gens. Si vous avez un robot dans une usine, vous voulez dire 'Prends la vis et mets-la dans l'écrou et serre l'écrou', dit Michel Beetz , directeur de l'Institut d'intelligence artificielle de l'Université de Brême, dans le nord de l'Allemagne, où est basé le projet RoboHow. Vous souhaitez que le robot génère automatiquement les paramètres à partir de la description sémantique des objets.

Dans une série d'expériences, les chercheurs enseignent aux robots PR2 à effectuer tâches de laboratoire simples , comme la manipulation de produits chimiques.

Une fois qu'un robot a appris comment un ensemble particulier d'instructions se rapporte à une tâche, ses connaissances sont ajoutées à une base de données en ligne appelée Facilité ouverte , afin que d'autres robots puissent accéder à cette compréhension. Ces instructions sont encodées dans un langage lisible par machine similaire à celui utilisé dans le projet Web sémantique.

Les chercheurs utilisent d'autres techniques pour aider les robots à apprendre à effectuer des tâches de base. Cela comprend le visionnage de vidéos d'humains effectuant ces tâches et l'étude de données de réalité virtuelle lorsque des humains ont effectué des tâches en portant des gants qui permettent de suivre leurs actions.

Même une manipulation simple reste un défi pour les robots, bien que de nombreux chercheurs, y compris ceux d'Amazon, poussent à développer une meilleure préhension des robots (voir Help Wanted: Robot to Fulfill Amazon Orders). Le traitement du langage naturel est également très difficile, mais des progrès sont également réalisés ici (voir Enseigner aux machines pour nous comprendre ).

Siddharta Srinivasa , professeur à l'Institut de robotique de l'Université Carnegie Mellon, affirme que relier le langage à l'action est extrêmement important mais aussi très difficile. J'ai un enfant de quatre ans et je suis souvent confronté à un désastre lorsque j'essaie de lui demander d'assembler un jouet, dit Srinivasa. Réussir dans ce domaine nécessitera une intégration étroite du langage naturel, enracinant la compréhension via la perception et en planifiant des actions complexes via des algorithmes de manipulation.

cacher