Un algorithme clone le style artistique de Van Gogh et le colle sur d'autres images, films

La nature du style artistique est un mystère pour la plupart des gens. Pensez à Vincent Van Gogh Nuit étoilée , le travail de Picasso sur le cubisme, ou celui d'Edvard Munch Le cri . Tous ont un style puissant et unique que les humains reconnaissent facilement.

Mais qu'en est-il des machines ? Les réseaux de neurones profonds révolutionnent la façon dont les machines reconnaissent et interprètent le monde. La vision artificielle surpasse désormais régulièrement les humains dans des tâches telles que la reconnaissance d'objets et de visages, ce qui était inimaginable il y a quelques années à peine.

Récemment, ces appareils ont fait les premiers pas vers la reconnaissance du style artistique et même vers sa reproduction. Jusqu'où ce genre de travail peut aller n'est pas clair. Par exemple, est-il possible de copier et coller un style artistique d'une image sur une vidéo entière, sans produire d'artefacts qui gâchent l'expérience visuelle ?

Aujourd'hui, Manuel Ruder et ses amis de l'Université de Fribourg en Allemagne montrent que c'est exactement possible. Ces gars-là prennent des œuvres d'art célèbres telles que Nuit étoilée et Le cri et transfèrent leur style à une gamme de séquences vidéo tirées de films tels que Âge de glace et des programmes télévisés tels que Miss Marple. Le résultat est un rendu impressionnant de vidéos et la possibilité de le faire dans presque tous les styles imaginables.

Les réseaux de neurones profonds se composent de plusieurs couches qui extraient chacune des informations d'une image puis transmettent les données restantes à la couche suivante. Les premières couches extraient des motifs larges tels que la couleur et les couches plus profondes extraient progressivement plus de détails, ce qui permet la reconnaissance des objets.

Les informations extraites par les couches plus profondes sont importantes. Il s'agit essentiellement du contenu d'une image moins les informations contextuelles telles que la couleur, la texture, etc. C'est en quelque sorte l'équivalent informatique d'un dessin au trait.

L'année dernière, Leon Gatys de l'Université de Tubingen et quelques copains ont commencé à étudier le style artistique de cette manière. Ils ont découvert qu'il est possible de saisir le style artistique en examinant non pas les informations de chaque couche, mais les corrélations entre les couches. Ainsi, la façon dont un artiste reproduit un visage est corrélée à la façon dont il reproduit un arbre ou une maison ou le soleil. Capturer cette corrélation capture également le style.

Mais leur découverte clé était que le contenu d'une image peut être complètement séparé du style artistique. De plus, ils ont découvert qu'ils pouvaient prendre ce style artistique et le copier et le coller sur le contenu de n'importe quelle autre image.

Tout à coup, il devient possible de capturer le style abstrait d'un Kandinsky et de le coller sur une photo de votre chat. C'est très amusant. Mais cela a également soulevé la question de savoir jusqu'où cette technique peut être poussée.

La prochaine étape évidente consiste à coller le style artistique sur des images successives pour faire une vidéo. Mais cela pose immédiatement des problèmes. De petites différences entre les cadres successifs peuvent entraîner de grandes différences dans la manière dont le nouveau style artistique est appliqué. Et cela rend la vidéo nerveuse et visuellement incohérente. Un problème particulier concerne les bords des objets lorsqu'ils se déplacent ou deviennent occlus.

Maintenant Ruder et co ont résolu ce problème. Étant donné une image artistique, nous transférons son style particulier de peinture à l'ensemble de la vidéo, disent-ils.

Leur approche consiste à utiliser un algorithme qui analyse les écarts entre les images traitées successives et empêche les grandes différences, mais de le faire tout en ignorant les zones d'une scène apparaissant après avoir été occultées. Cela permet au processus de reconstruire les régions désoccluses et les limites de mouvement déformées tout en préservant l'apparence du reste de l'image, disent-ils.

Les résultats sont impressionnants. L'équipe utilise son algorithme pour extraire le style artistique d'un certain nombre d'œuvres d'art différentes de Kandinsky, Picasso, Matisse, Turner et bien sûr Munch et Van Gogh.

Ils ont traité chacun des images fixes dans les séquences à une résolution de 1024 x 436 sur un GPU Nvidia Titan X avec un traitement parallèle sur un CPU en même temps. Ce processus prend environ huit minutes par image pour commencer. Mais après optimisation, cela tombe à une moyenne d'environ trois minutes par image. Ainsi, l'ensemble du processus est gourmand en calculs.

La meilleure façon d'apprécier le résultat est de voir la vidéo , une collection impressionnante de séquences d'un large éventail de films, d'animations informatiques et de programmes télévisés.

Bien sûr, des améliorations peuvent encore être apportées. L'algorithme se débat avec des mouvements très rapides ou importants entre les images et il devrait être possible d'optimiser davantage le processus pour réduire le temps de calcul. Mais aucun de ces problèmes ne ressemble à des écueils.

Les travaux soulèvent une question intéressante sur la portée de cette technique. Par exemple, il est facile d'imaginer des applications qui pourraient le faire dans le cloud pendant que vous filmez sur votre smartphone. Mais serait-il également possible de coller le style de Le cri en trois dimensions et au-delà dans une réalité virtuelle ? Il est difficile de trouver des raisons pourquoi pas.

Tout cela annonce une toute nouvelle approche du cinéma mais aussi de l'art. Quand le style artistique devient une marchandise qui peut être coupée et collée d'une image à l'autre, qu'est-ce que cela signifie pour le travail des artistes ? Il n'est pas difficile d'imaginer comment ces styles pourraient être modifiés ou même combinés pour produire des hybrides.

Quelqu'un a envie d'un Rubens-Picasso, d'un Warhol-Monet ou d'un Burton-Bergman ?

Réf : arxiv.org/abs/1604.08610 : Transfert de style artistique pour les vidéos

cacher