La curiosité peut être vitale pour une IA véritablement intelligente

M. technologie

Un algorithme informatique doté d'une forme de curiosité artificielle peut apprendre à résoudre des problèmes délicats même s'il n'est pas immédiatement clair quelles actions pourraient l'aider à atteindre cet objectif.

Des chercheurs de l'Université de Californie à Berkeley ont développé un modèle de curiosité intrinsèque pour faire fonctionner leur algorithme d'apprentissage même lorsqu'il n'y a pas de signal de rétroaction fort. Le modèle de curiosité développé par cette équipe voit le logiciel d'IA contrôlant un agent virtuel dans un jeu vidéo chercher à maximiser sa compréhension de son environnement et surtout des aspects de cet environnement qui l'affectent. Il y a eu des efforts antérieurs pour donner de la curiosité aux agents de l'IA, mais ceux-ci ont eu tendance à fonctionner de manière plus simpliste.

L'astuce peut aider à combler une lacune des techniques d'apprentissage automatique les plus puissantes d'aujourd'hui, et elle pourrait indiquer des moyens d'améliorer la résolution des problèmes du monde réel par les machines.

Les récompenses dans le monde réel sont très rares, dit Pulkit Agrawal , un doctorant à l'UC Berkeley qui a mené la recherche avec des collègues. Les bébés font toutes ces expériences aléatoires, et vous pouvez considérer cela comme une sorte de curiosité. Ils acquièrent une sorte de compétences.

Plusieurs techniques puissantes d'apprentissage automatique ont rendu les machines plus intelligentes ces dernières années. Parmi ceux-ci, une méthode connue sous le nom d'apprentissage par renforcement a permis aux machines d'accomplir des choses qui seraient difficiles à définir dans le code. L'apprentissage par renforcement consiste à utiliser des récompenses positives pour guider le comportement d'un algorithme vers un objectif particulier (voir 10 Breakthrough Technologies 2017: Reinforcement Learning ).

L'apprentissage par renforcement était un élément fondamental de Alpha Go , un programme développé par DeepMind , pour jouer au jeu de société abstrait et complexe Go avec une habileté incroyable. La technique est maintenant explorée comme un moyen d'imprégner les machines d'autres compétences qui peuvent être impossibles à coder manuellement. Par exemple, cela peut fournir un moyen pour un bras de robot de déterminer par lui-même comment effectuer une tâche souhaitée.

L'apprentissage par renforcement a cependant ses limites. Agrawal note qu'il faut souvent beaucoup de formation pour apprendre une tâche, et le processus peut être difficile si le retour d'information requis n'est pas immédiatement disponible. Par exemple, la méthode ne fonctionne pas pour les jeux informatiques dans lesquels les avantages de certains comportements ne sont pas immédiatement évidents. C'est là que la curiosité peut aider.

Les chercheurs ont essayé l'approche, en combinaison avec l'apprentissage par renforcement, dans deux jeux vidéo simples : Mario Bros., un jeu de plateforme classique, et VizDoom, un jeu de tir 3D de base.

Dans les deux jeux, l'utilisation de la curiosité artificielle a rendu le processus d'apprentissage plus efficace. Dans le jeu en 3D, par exemple, au lieu de passer trop de temps à se cogner contre les murs, l'agent se déplaçait dans son environnement, apprenant à naviguer plus rapidement. Même sans aucune autre récompense, l'agent a été capable de naviguer étonnamment bien dans les deux jeux. Dans Mario Bros., il a appris à éviter de se faire tuer car cela réduisait sa capacité à explorer et à en apprendre davantage sur son environnement.

À papier décrivant la recherche sera publié dans un grand Conférence AI plus tard cette année.

La curiosité artificielle est un domaine de recherche actif depuis un certain temps. Pierre-Yves Oudeyer , directeur de recherche au Institut Français de Recherche en Informatique et Automatique , a été le pionnier, au cours des dernières années, du développement de programmes informatiques et de robots qui présentent des formes simples de curiosité.

Ce qui est très excitant en ce moment, c'est que ces idées, qui étaient très considérées comme «exotiques» par les chercheurs traditionnels en IA et en neurosciences, deviennent maintenant un sujet majeur à la fois en IA et en neurosciences, dit Oudeyer.

Les travaux pourraient avoir de réels avantages pratiques. L'équipe de l'UC Berkeley souhaite le tester sur des robots qui utilisent l'apprentissage par renforcement pour déterminer comment faire des choses comme saisir des objets gênants. Agrawal dit que les robots peuvent perdre énormément de temps à effectuer des gestes aléatoires. Lorsqu'il est doté d'une curiosité innée, un tel robot devrait explorer plus rapidement son environnement et expérimenter avec des objets à proximité, dit-il.

Lac Brenden , chercheur à l'Université de New York qui construit des modèles informatiques des capacités cognitives humaines, dit que le travail semble prometteur. Développer des machines avec des qualités similaires est une étape importante vers la construction de machines qui apprennent et pensent comme les gens, a-t-il déclaré dans un e-mail. Il est très impressionnant qu'en utilisant uniquement l'apprentissage axé sur la curiosité, l'agent puisse apprendre à naviguer dans un niveau de Mario. L'agent ne regarde même pas le score du match.

En même temps, dit Lake, la curiosité démontrée par le nouveau programme est en fait assez différente de, disons, celle d'un enfant. Les humains ont tendance à manifester un intérêt beaucoup plus profond pour leur monde, dit-il.

C'est une forme de curiosité très égocentrique, dit Lake. L'agent n'est curieux que des caractéristiques de son environnement qui se rapportent à ses propres actions. Les gens sont plus largement curieux. Les gens veulent en savoir plus sur le monde d'une manière moins directement liée à leurs propres actions.

cacher