L'algorithme de vision artificielle apprend à transformer des croquis dessinés à la main en images photoréalistes

Dessiner un croquis précis du visage d'une personne est un art difficile à maîtriser pour la plupart des gens. Mais cela s'avère relativement facile pour les ordinateurs. Divers programmes existent pour convertir des images en dessins au trait. Cela produit souvent un démarrage décent, bien que ces systèmes puissent avoir des difficultés avec les ombres et les contrastes élevés.

Une approche plus prometteuse consiste à utiliser des algorithmes de vision artificielle qui s'appuient sur des réseaux de neurones pour extraire des caractéristiques d'une image et les utiliser pour produire un croquis. Dans ce domaine, les machines ont commencé à rivaliser et même à surpasser les humains dans la production de croquis précis.

Mais qu'en est-il du problème inverse ? Cela commence par un croquis et vise à produire une photographie couleur précise du visage d'origine. C'est clairement une tâche beaucoup plus difficile, à tel point que les humains essaient rarement.

Maintenant, les machines ont résolu ce problème. Aujourd'hui, Yagmur Gucluturk, Umut Guclu et des amis de l'Université Radboud aux Pays-Bas ont enseigné un réseau de neurones pour transformer des croquis de visages dessinés à la main en portraits photoréalistes. Ce travail est une nouvelle démonstration de la façon dont les machines intelligentes, et les réseaux de neurones en particulier, commencent à surpasser les humains dans une variété de tâches de plus en plus large.

L'équipe Radboud commence avec un ensemble de données de 200 000 images de visages prises sur Internet. Ils les ont convertis en dessins au trait, en croquis en niveaux de gris et en croquis en couleur, à l'aide d'algorithmes de traitement d'image standard. Cela a créé un ensemble de données de formation substantiel pour enseigner à un réseau de neurones à convolution profonde avec 11 couches à effectuer la tâche à l'envers : transformer un croquis en une photographie couleur photoréaliste d'un visage.

Après avoir formé le net, l'équipe l'a ensuite mis à l'épreuve en utilisant un autre ensemble de données. La tâche du réseau neuronal était de commencer par le croquis et de produire une image photoréaliste.

Les résultats sont impressionnants, en particulier lorsque le réseau de neurones a commencé avec des dessins au trait. Nous avons constaté que le modèle de ligne fonctionnait de manière impressionnante en termes de correspondance de la couleur des cheveux et de la peau des individus, même lorsque les croquis de ligne ne contenaient aucune information sur la couleur, explique l'équipe.

La raison semble claire. Cela peut indiquer qu'en plus de tirer parti des différences de luminance dans les croquis pour déduire la coloration, le modèle a pu apprendre les propriétés de couleur souvent associées aux caractéristiques faciales de haut niveau de différentes ethnies, suggèrent-ils.

Ensuite, l'équipe a testé le réseau neuronal sur un ensemble de données entièrement différent en utilisant des croquis dessinés à la main qui sont évidemment générés d'une manière entièrement différente de celles sur lesquelles le réseau a été formé. Une fois de plus, le modèle a synthétisé des images de visage photoréalistes, disent-ils.

Le filet n'était pas parfait, bien sûr. En particulier, il avait des problèmes lorsque les coups de crayon dans les croquis dessinés à la main n'étaient pas accompagnés d'ombrages. Cela a conduit à des résultats moins réalistes. Cela peut s'expliquer par l'absence de telles fonctionnalités dans les données d'entraînement du modèle d'esquisse de ligne, disent-ils, ajoutant que cette lacune peut être facilement surmontée en incluant des exemples dans l'ensemble d'entraînement qui ressemblent davantage au style de dessin des dessinateurs, disent les chercheurs de Radboud.

Enfin, l'équipe a permis à son réseau neuronal de se montrer en produisant des images photoréalistes d'artistes tels que Rembrandt et Van Gogh à partir d'autoportraits esquissés que les deux artistes avaient réalisés.

C'est un travail impressionnant qui montre à quel point les réseaux de neurones profonds commencent rapidement à surpasser les humains dans les tâches de vision. L'application immédiate évidente est en médecine légale, où des images précises des suspects doivent être construites par des artistes de la police.

Et ce n'est qu'une des nombreuses façons dont ces machines montrent leur suprématie. Les algorithmes de vision artificielle peuvent également effectuer des tâches telles que copier et coller un style artistique d'une image à une autre, ajouter de la couleur aux images en niveaux de gris avec précision et transformer des images basse résolution en images haute résolution.

Tout cela s'est produit en seulement quelques années de développement, et les réseaux de neurones profonds ont encore beaucoup à faire. Il est difficile de prédire ce dont ils seront capables dans, disons, juste un an.

Réf : arxiv.org/abs/1606.03073 : Inversion d'esquisse convolutive

cacher