Les algorithmes peuvent transformer n'importe quelle scène en bande dessinée

Les bandes dessinées prennent la forme d'une série d'images fixes qui, ensemble, racontent une histoire. Les images sont souvent très stylisées et les graphistes admirés pour leur talent.

Mais ce type d'art est difficile à apprendre et difficile à perfectionner, ce qui le rend long et coûteux à produire. Ainsi, les artistes, les éditeurs et les lecteurs aimeraient beaucoup un moyen automatisé de faire en sorte qu'une image imite un style de bande dessinée souhaité.

Il s'avère que ce type d'algorithme existe déjà. En 2015, un groupe de chercheurs en Allemagne a découvert un moyen de transférer le style artistique d'une image à une autre. Depuis lors, d'autres ont régulièrement amélioré cette approche pour la rendre plus rapide et plus précise.

De gauche à droite : l'image graphique d'origine, l'image cible et l'image stylisée résultante

Cependant, le travail s'est jusqu'à présent concentré sur le transfert du style de grands artistes tels que Picasso et Van Gogh vers d'autres images, ou sur la modification d'images ordinaires de manière à transformer la nuit en jour. Dans quelle mesure ces algorithmes fonctionnent-ils avec les images souvent plus stylisées produites par les artistes de bande dessinée ?

Aujourd'hui, nous obtenons une réponse grâce au travail de Maciej Pęśko et Tomasz Trzciński de l'Université de technologie de Varsovie en Pologne. Ces gars-là ont appliqué divers types de transfert de style d'image aux graphismes de bandes dessinées et ont comparé les résultats.

Tout d'abord un peu de contexte. Cette approche a commencé avec les travaux de Leon Gatys de l'Université de Tubingen et de quelques copains, qui ont étudié la façon dont les réseaux de neurones profonds enregistraient et analysaient le style artistique. Ces réseaux sont constitués de couches qui analysent chacune une image à un niveau différent - des détails tels que les formes, les couleurs et les lignes.

L'idée clé derrière le travail de Gatys and co est que le style artistique n'est pas capturé dans les couches elles-mêmes mais dans les corrélations entre elles. Cela permet immédiatement de séparer le style d'un artiste du contenu de l'art, et même de le transférer d'une image à l'autre.

Et c'est exactement ce que Gatys et co ont fait, à la stupéfaction générale de la communauté de la vision par ordinateur. Ce travail est devenu le fondement d'une nouvelle sous-discipline de la vision par ordinateur connue sous le nom de transfert de style neuronal.

Un problème avec la nouvelle approche est qu'elle nécessite beaucoup de calculs. Il faut un temps considérable (plusieurs secondes pour les images 512x512 sur les ordinateurs de bureau modernes) pour analyser une image, supprimer son style et appliquer ce style à une autre scène.

Les informaticiens ont donc commencé à rechercher différentes approches qui pourraient accomplir la tâche plus rapidement. Et en effet, ils ont proposé divers algorithmes qui font un travail similaire. Cependant, il y a un compromis entre la vitesse et la qualité.

Entrez Pęśko et Trzciński. Ces gars-là ont testé une large gamme d'algorithmes de transfert de style neuronal sur la tâche spécifique de transfert des styles graphiques associés aux bandes dessinées. C'est la première tentative d'évaluer et de comparer les résultats obtenus par plusieurs méthodes dans le cadre du transfert de style comique, disent-ils.

Ils se concentrent spécifiquement sur les techniques les plus rapides qui ont le potentiel de fonctionner sur n'importe quelle image graphique. Nous nous concentrons surtout sur les méthodes dont le temps d'exécution par image ne dépasse pas 2 secondes, disent-ils.

De cette façon, ils ont testé cinq algorithmes différents sur des images de 600 x 450 pixels traitées à l'aide d'une unité de traitement graphique Titan X de 12 gigaoctets. Ils ont sélectionné des images représentant divers styles de bandes dessinées et les ont transférées sur des images choisies au hasard à partir d'une recherche d'images Google.

Enfin, ils ont montré les résultats à 100 personnes pour évaluer dans quelle mesure les algorithmes ont réussi le transfert de style.

Les résultats montrent l'état de l'art dans ce domaine. L'algorithme jugé le mieux est une technique connue sous le nom de normalisation d'instance adaptative, développée en 2017, avec environ 30 % des votes en sa faveur. Cela confirme nos hypothèses selon lesquelles cette méthode donne des résultats qui sont les plus proches du dessin animé ou de la bande dessinée en termes de similitude stylistique, déclarent Pęśko et Trzciński.

Cependant, les résultats ne sont en aucun cas parfaits. Toutes les techniques souffrent dans une certaine mesure de problèmes tels qu'un transfert de couleur inapproprié et un flou. Nous croyons qu'il y a encore place à l'amélioration, disent les chercheurs.

Cela représente une opportunité. Le marché de la bande dessinée aux États-Unis vaut à lui seul 1 milliard de dollars par an. Et de nombreuses régions du monde n'ont pas encore développé leur propre culture autour de la bande dessinée, comme l'Inde. Il y a donc des marchés qui ont le potentiel de croître.

La possibilité de créer des images comiques de haute qualité fera une différence significative pour quiconque souhaite conquérir ces marchés.

Cependant, il y a un autre problème : le défi de développer des personnages puissants et des scénarios convaincants. Les réseaux de neurones ne peuvent pas aider avec ça… du moins, pas encore.

Réf : arxiv.org/abs/1809.01726 : Transfert de style comique neuronal : étude de cas

cacher