La vision artificielle peut créer des photos de style Harry Potter pour les moldus

Chung-Yi Weng | youtube

Dans J.K. Les romans Harry Potter de Rowling, les photographies magiques sont similaires aux photographies ordinaires, sauf que les personnages y sont animés; ils saluent, sourient ou parfois disparaissent complètement pour vaquer à d'autres affaires.

Les photos magiques sont la création de l'extraordinaire imagination de Rowling. Mais quelque chose comme eux pourrait bientôt être disponible pour les moldus ordinaires grâce au travail de Chung-Yi Weng de l'Université de Washington à Seattle et de quelques amis. Ces gens ont créé un logiciel appelé Photo Wake-Up qui peut animer le personnage central d'une photographie tout en laissant le reste de l'image intact.

Cette tâche est plus facile à dire qu'à faire en raison d'un important problème non résolu en informatique. C'est le problème de l'estimation de la pose du corps. Étant donné une image bidimensionnelle d'un être humain, la question à laquelle la vision artificielle a du mal à répondre est : quelle pose tridimensionnelle la personne prend-elle ?

C'est difficile parce que les corps peuvent être partiellement occlus, souvent par d'autres parties du corps, comme lorsque quelqu'un se tient debout avec les bras croisés. Il est donc difficile pour une machine de déterminer la structure tridimensionnelle à partir d'une image 2D.

Un large éventail d'équipes d'informatique ont tenté de résoudre ce problème. Dans ce travail, Weng et co utilisent un programme appelé SMPL, développé par une équipe de Microsoft et de l'Institut Max Planck pour les systèmes intelligents en Allemagne.

Cela commence par une découpe 2D d'un corps humain et superpose un squelette 3D sur la forme. Le squelette peut ensuite être animé pour créer le sens du mouvement. Cela résout le problème de l'estimation de la pose, bien que pour un ensemble limité de circonstances.

Le code doit voir une découpe de la tête aux pieds d'un corps apparaître de face. Il peut gérer certains types d'occlusions, comme un bras devant le corps, mais ne peut pas gérer des occlusions plus complexes, comme quelqu'un assis avec les jambes croisées. Même encore, mapper la découpe d'une photographie sur un squelette 3D ne produit pas d'animations réalistes.

C'est là que Weng et co interviennent. Leur principale réalisation est de développer un moyen de déformer la découpe 2D de manière à créer un modèle 3D réaliste du corps. Notre principale contribution technique est donc une méthode de construction d'un modèle 3D animable qui correspond à la silhouette sur une seule photo, disent-ils.

Dans le passé, les informaticiens ont tenté de résoudre ce problème en déformant un maillage tridimensionnel en forme de corps pour refléter la découpe 2D. Cela ne fonctionne pas toujours bien, alors Weng et co essaient une approche différente.

Leur idée est de mapper le maillage en forme de corps dans l'espace 2D, puis de l'aligner avec la découpe 2D à l'aide d'un algorithme de déformation. Cela identifie des parties spécifiques du corps - tête, bras droit, jambe droite, bras gauche, jambe gauche et torse - et déforme chacune d'une manière qui correspond à la découpe.

Après avoir effectué l'alignement en 2D, ils le retransforment en 3D. Cette approche de déformation 2D fonctionne bien pour gérer des silhouettes complexes, disent-ils.

L'équipe accorde une attention particulière à la tête, sur laquelle les téléspectateurs humains ont tendance à se concentrer. La précision dans la pose de la tête est importante pour une bonne animation, disent-ils. Ainsi, leur algorithme identifie également des caractéristiques telles que la direction du regard et l'angle de la tête, puis l'utilise pour obtenir un angle précis pour la pose de la tête en maillage du corps.

Ces techniques automatisées sont bonnes, mais elles ne sont pas parfaites. L'équipe a donc également développé une interface utilisateur qui permet à quiconque de modifier l'orientation du squelette par rapport au corps. Cela permet aux utilisateurs de corriger les erreurs et d'affiner l'animation.

Le résultat final est une sorte de photo animée impressionnante. L'algorithme isole un corps humain dans la photographie, le coupe de l'image et comble les lacunes avec un algorithme de remplissage de patch. Elle anime ensuite ce corps en trois dimensions pour le faire sortir de la photo, courir, sauter ou onduler, un peu à la manière des photos magiques imaginées par Rowling. L'algorithme fonctionne même dans les paramètres de réalité augmentée.

Notre méthode fonctionne avec une grande variété de photos du corps entier, assez frontales, allant des photos de sport à l'art et aux affiches, disent-ils. L'équipe a produit une vidéo montrant leur méthode et leurs résultats ici . Cela vaut la peine d'être regardé!

C'est un travail intéressant qui a le potentiel de divertir et d'informer. Comme Weng et co l'ont dit : Nous croyons que la méthode permet non seulement aux gens de nouvelles façons d'apprécier et d'interagir avec les photos, mais suggère également une voie pour reconstruire un avatar virtuel à partir d'une seule image tout en donnant un aperçu de l'état de l'art de l'humain. modélisation à partir d'une seule photo.

Même Rowling serait sûrement impressionné.

Réf : arxiv.org/abs/1812.02246 : Photo Wake-Up : animation de personnages en 3D à partir d'une seule photo

cacher