Pourquoi les humains apprennent plus vite que l'IA - pour l'instant

En 2013, DeepMind Technologies, alors une entreprise peu connue, a publié un article révolutionnaire montrant comment un réseau de neurones pourrait apprendre à jouer aux jeux vidéo des années 1980 comme le font les humains — en regardant l'écran. Ces réseaux ont ensuite battu les meilleurs joueurs humains.

Quelques mois plus tard, Google a racheté l'entreprise pour 400 millions de dollars. Depuis, DeepMind a appliqué l'apprentissage en profondeur dans diverses situations, notamment pour surpasser les humains dans l'ancien jeu de Go.

Mais bien que ce travail soit impressionnant, il met en évidence l'une des limites importantes de l'apprentissage en profondeur. Par rapport aux humains, les machines utilisant cette technologie prennent énormément de temps à apprendre. Qu'y a-t-il dans l'apprentissage humain qui nous permet de si bien performer avec relativement peu d'expérience ?

Aujourd'hui, nous obtenons une sorte de réponse grâce au travail de Rachit Dubey et de ses collègues de l'Université de Californie à Berkeley. Ils ont étudié la façon dont les humains interagissent avec les jeux vidéo pour découvrir sur quel type de connaissances préalables nous nous appuyons pour leur donner un sens.

Il s'avère que les humains utilisent une richesse de connaissances de base chaque fois que nous abordons un nouveau jeu. Et cela rend les jeux beaucoup plus faciles à jouer. Mais face à des jeux qui n'utilisent pas ces connaissances, les humains pataugent, alors que les machines avancent exactement de la même manière.

Jetez un coup d'œil au jeu vidéo illustré ci-dessus à gauche (le jeu original). Ce jeu est basé sur un classique appelé Montezuma's Revenge, initialement sorti pour l'ordinateur Atari 8 bits en 1984.

Il n'y a pas de manuel ni d'instructions ; on ne vous dit même pas quel sprite vous contrôlez. Et vous n'obtenez des commentaires que si vous avez terminé le jeu avec succès.

Seriez-vous capable de le faire ? Combien de temps cela prendrait-il? Tu peux essayez-le sur ce site Web (avec les autres jeux mentionnés dans le document) .

Selon toute vraisemblance, le jeu vous prendra environ une minute et, ce faisant, vous effectuerez probablement environ 3 000 actions au clavier. C'est ce que Dubey et co ont découvert lorsqu'ils ont donné le jeu à 40 employés du site de crowdsourcing d'Amazon Mechanical Turk, à qui on a offert 1 $ pour le terminer.

Ce n'est pas trop surprenant car on pourrait facilement deviner que le but du jeu est de déplacer le sprite robot vers la princesse en marchant sur les objets en forme de brique et en utilisant des échelles pour atteindre les plates-formes supérieures tout en évitant le rose en colère et les objets de feu, le disent les chercheurs.

En revanche, le jeu est difficile pour les machines : de nombreux algorithmes d'apprentissage en profondeur standard ne pourraient pas le résoudre du tout, car il n'y a aucun moyen pour un algorithme d'évaluer les progrès dans le jeu lorsque les commentaires ne proviennent que de la finition.

Le meilleur interprète de la machine était un algorithme d'apprentissage par renforcement basé sur la curiosité qui a nécessité quelque quatre millions d'actions au clavier pour terminer le jeu. Cela équivaut à environ 37 heures de jeu continu.

Alors, qu'est-ce qui rend les humains tellement meilleurs? Il s'avère que nous n'abordons pas ce jeu avec une ardoise vierge. Un humain verra qu'il contrôle le robot et que le robot doit éviter le feu, grimper aux échelles, sauter par-dessus les lacunes et éviter qu'un ennemi renfrogné n'atteigne la princesse. Tout cela grâce à la connaissance préalable que certains objets sont bons tandis que d'autres (avec des froncements de sourcils ou des flammes) sont mauvais, que les plates-formes supportent les objets tandis que les échelles peuvent être escaladées, que les choses qui se ressemblent se comportent de la même manière, que la gravité tire les objets vers le bas , et même ce que sont les objets : des choses qui sont séparées d'autres choses et qui ont des propriétés différentes.

En revanche, une machine ne sait rien de tout cela.

Dubey et co ont donc refaçonné le jeu pour rendre ces informations préalables non pertinentes, puis ont mesuré le temps qu'il a fallu aux Turkers humains pour terminer. L'équipe a alors supposé que toute augmentation de ce temps est un indicateur de l'importance de cette information.

Nous avons créé différentes versions du jeu vidéo en recréant diverses entités telles que des échelles, des ennemis, des clés, des plates-formes, etc. en utilisant des textures alternatives, expliquent-ils. Ils ont choisi ces textures pour masquer diverses formes de connaissances antérieures et ont modifié les propriétés physiques du jeu, telles que l'effet de la gravité et la manière dont l'agent interagit avec son environnement. Dans chaque version, la dynamique sous-jacente du jeu était la même.

Les résultats rendent la lecture fascinante. Nous constatons que la suppression de certaines connaissances antérieures entraîne une dégradation drastique de la vitesse à laquelle les joueurs humains résolvent le jeu, disent Dubey et co. En effet, le temps nécessaire aux humains pour résoudre le jeu passe d'une minute à plus de 20 minutes à mesure que différents types d'informations préalables sont supprimés.

En revanche, la suppression de ces informations ne fait généralement aucune différence dans la vitesse à laquelle l'algorithme de la machine apprend.

L'équipe est même capable de classer différents types d'informations en fonction de l'augmentation du temps que leur suppression entraîne. La suppression de la sémantique des objets, comme un visage renfrogné ou un symbole de feu, oblige les joueurs humains à passer plus de temps avant de terminer. Mais masquer le concept d'objet rend les choses tellement plus difficiles que de nombreux Turcs ont tout simplement refusé de jouer. Nous avons dû augmenter le salaire à 2,25 $ pour encourager les participants à ne pas abandonner, disent Dubey et co.

Ce classement a un lien intéressant avec la façon dont les humains apprennent. Les psychologues ont découvert qu'à l'âge de deux mois, les bébés possèdent une notion primitive des objets qu'ils s'attendent à déplacer comme des ensembles connectés. Mais à cet âge, les bébés ne reconnaissent pas les catégories d'objets.

À l'âge de trois à cinq mois, les nourrissons apprennent à reconnaître les catégories d'objets ; de 18 à 24 mois, ils apprennent à reconnaître des objets individuels. À peu près à cette époque, ils apprennent également les propriétés des objets (les affordances d'objet, comme les appellent les psychologues), et ainsi ils apprennent la différence entre un pas praticable sur un terrain plat et un pas impossible à franchir sur une falaise.

Il s'avère que les expériences de Dubey et co classent ce type d'information apprise exactement dans le même ordre que celui dans lequel les bébés l'apprennent. Il est assez intéressant de noter que l'ordre dans lequel les nourrissons augmentent leurs connaissances correspond à l'importance des différents objets à priori, disent-ils.

Notre travail fait un premier pas vers la quantification de l'importance des divers a priori que les humains utilisent pour résoudre des jeux vidéo et pour comprendre comment les connaissances antérieures rendent les humains bons dans des tâches aussi complexes, ajoutent-ils.

Cela suggère une voie à suivre intéressante pour les informaticiens travaillant sur l'intelligence artificielle : programmer leurs charges avec les mêmes connaissances de base que les humains acquièrent à un âge précoce. De cette façon, les machines devraient pouvoir rattraper les humains dans leur vitesse d'apprentissage, et peut-être même les surpasser.

Nous attendons avec impatience de voir les résultats.

Réf : arxiv.org/abs/1802.10217 : Enquêter sur les antécédents humains pour jouer à des jeux vidéo

cacher