Virtual Eyes Train Algorithme d'apprentissage en profondeur pour reconnaître la direction du regard

Le contact visuel est l'une des formes les plus puissantes de communication non verbale. Si les avatars et les robots veulent un jour l'exploiter, les informaticiens devront mieux surveiller, comprendre et reproduire ce comportement.

Mais le suivi des yeux est plus facile à dire qu'à faire. L'approche la plus prometteuse consiste peut-être à former un algorithme d'apprentissage automatique pour reconnaître la direction du regard en étudiant une grande base de données d'images d'yeux dans lesquelles la direction du regard est déjà connue.

Le problème ici est que les grandes bases de données de ce type n'existent pas. Et ils sont difficiles à créer : imaginez photographier une personne regardant dans un large éventail de directions, en utilisant toutes sortes d'angles de caméra différents dans de nombreuses conditions d'éclairage différentes. Et puis le refaire pour une autre personne avec une forme d'yeux et un visage différents, etc. Un tel projet prendrait énormément de temps et coûterait cher.

Aujourd'hui, Erroll Wood de l'Université de Cambridge au Royaume-Uni et quelques amis disent avoir résolu ce problème en créant une énorme base de données contenant exactement le type d'images d'yeux requis par un algorithme d'apprentissage automatique. Cela leur a permis de former une machine à reconnaître la direction du regard avec plus de précision que jamais auparavant.

Alors, comment ont-ils fait cela? Leur astuce consiste à créer la base de données entièrement artificiellement. Ils commencent par construire un modèle virtuel très détaillé d'un œil, d'une paupière et de la région qui l'entoure. Ils construisent ensuite ce modèle en différents visages représentant des personnes d'âges, de couleurs de peau et de types d'yeux différents et les photographient virtuellement.

Les photographies peuvent être décrites par quatre variables différentes. Ce sont : la position de la caméra, la direction du regard, l'environnement d'éclairage et le modèle d'œil. Pour créer la base de données, Wood and co commencent avec un modèle d'œil et un environnement d'éclairage particuliers et commencent avec les yeux pointant dans une direction spécifique. Ils varient ensuite la position de l'appareil photo, prenant des photos sous un large éventail d'angles autour de la tête.

Ensuite, ils déplacent les yeux dans une autre position et répètent les variations de position de la caméra. Etc.

Le résultat est une base de données de plus de 11 000 images couvrant des variations de 40 degrés de l'angle de la caméra et des variations de la variation du regard sur 90 degrés. Ils ont choisi la couleur des yeux et les conditions d'éclairage de l'environnement au hasard pour chaque image.

Enfin, Wood et co ont utilisé l'ensemble de données pour former un réseau de neurones à convolution profonde afin de reconnaître la direction du regard. Et ils ont testé l'algorithme résultant sur un ensemble d'images naturelles prises dans la nature. Nous avons démontré que notre méthode surpasse les méthodes de pointe pour l'estimation du regard basée sur l'apparence d'un ensemble de données croisées dans la nature, disent-ils.

C'est un travail intéressant. Les techniques d'apprentissage en profondeur prennent actuellement d'assaut la parole de l'informatique grâce à deux avancées. Le premier est une meilleure compréhension des réseaux de neurones eux-mêmes qui a permis aux informaticiens de les améliorer significativement.

La seconde est la création d'énormes ensembles de données annotées qui peuvent être utilisés pour former ces réseaux. Bon nombre de ces nouveaux ensembles de données ont été créés à l'aide de méthodes d'approvisionnement participatif telles que Mechanical Turk d'Amazon.

Mais Wood et co ont adopté une approche différente. Leur ensemble de données est entièrement synthétique, créé à l'intérieur d'un ordinateur. Il sera donc intéressant de voir où ils peuvent appliquer cette méthode synthétique pour créer des ensembles de données pour d'autres types d'apprentissage en profondeur.

Réf : arxiv.org/abs/1505.05916 : Rendu des yeux pour l'enregistrement de la forme des yeux et l'estimation du regard

cacher