Les robots obtiennent un bouton 'Annuler' qui pourrait les aider à apprendre plus rapidement

Catégorie: Non classé Posté 27 novembre

L'apprentissage par renforcement profond fonctionne un peu comme un enfant qui apprend une compétence : la pratique rend parfait. Pour un agent autonome comme un robot, cependant, son environnement doit être réinitialisé à son état d'origine entre les tentatives - une corvée qui peut prendre des heures lorsque les humains se précipitent pour remplacer des objets, par exemple.

Un nouvel article arXiv par des chercheurs de Google Brain, de l'Université de Cambridge, de l'Institut Max Planck pour les systèmes intelligents et de l'UC Berkeley détaille une méthode qui peut apprendre à un agent à réinitialiser l'environnement pour la prochaine tentative, ainsi qu'à l'empêcher d'effectuer des actions qui seraient irréversible.

Leur avance était de donner aux agents une politique de transfert et de réinitialisation qui fonctionnent ensemble. Alors que la politique de transfert est chargée d'apprendre une compétence, appuyer sur réinitialiser oblige un agent à apprendre à ne laisser aucune trace, rembobinant ainsi une action. Les actions que le robot pense irréversibles sont annulées dès que possible.

Les chercheurs écrivent qu'ils ont cherché à donner à leurs agents l'intuition de classer tout ce qui est réversible comme sûr, car il est possible de revenir à l'état d'origine. Par essais et erreurs, l'agent découvre que de plus en plus d'actions sont réversibles, ce qui lui permet d'explorer en toute sécurité.

L'apprentissage par renforcement en profondeur est souvent effectué en simulation, et en particulier lorsque les environnements du monde réel pardonneront moins les erreurs, comme une voiture autonome conduisant sur une falaise. Même dans des situations plus sûres, l'attente de réinitialisations manuelles peut devenir un goulot d'étranglement pour la collecte de données. Pour cette raison, le travail de l'équipe s'est limité aux environnements virtuels. Finalement, cependant, des tests dans le monde réel doivent être effectués, et cette recherche pourrait le rendre plus rapide et plus sûr.

Comme le souligne Jack Clark dans son Importer l'IA bulletin , cet article fait écho aux travaux exposés dans un autre papier (PDF) de Facebook AI Research le mois dernier, dans lequel un seul agent a deux modes distincts, surnommés Alice et Bob, dont l'un tente d'inverser la tâche que l'autre a tenté d'accomplir. Ce type de travail visant à rendre l'IA capable de planifier à l'avance pourrait l'épargner (ainsi que nous) d'erreurs désastreuses à l'avenir.