La machine d'apprentissage en profondeur de Google apprend à synthétiser des images du monde réel

Google Street View offre des vues panoramiques de plus ou moins n'importe quelle rue de la ville dans une grande partie du monde développé, ainsi que des vues le long d'innombrables sentiers, à l'intérieur des centres commerciaux et autour des musées et des galeries d'art. C'est un exploit extraordinaire de l'ingénierie moderne qui change notre façon de penser le monde qui nous entoure.

Mais alors que Street View peut nous montrer à quoi ressemblent des endroits éloignés, il ne montre pas à quoi ressemblerait le processus de voyage ou d'exploration. Il est facile de trouver une solution : il vous suffit de lire une séquence d'images Street View l'une après l'autre pour créer un film.

Mais cela ne fonctionne pas aussi bien que vous pourriez l'imaginer. L'exécution de ces images à 25 images par seconde ou à peu près rend le paysage ridiculement rapide. Cela peut être acceptable lorsque le paysage ne change pas, peut-être le long des autoroutes et des autoroutes ou à travers des paysages immuables. Mais c'est tout à fait inacceptable pour les rues animées ou à l'intérieur d'une galerie d'art.

Google a donc trouvé une solution : ajouter des images supplémentaires entre celles enregistrées par les caméras Street View. Mais à quoi devraient ressembler ces cadres ?

Aujourd'hui, John Flynn et ses amis de Google révèlent comment ils ont utilisé le vaste savoir-faire de l'entreprise en matière d'apprentissage automatique pour déterminer à quoi ces cadres manquants devraient ressembler, il suffit d'étudier les cadres de chaque côté. Le résultat est une machine cinématographique computationnelle qui peut transformer plus ou moins n'importe quelle séquence d'images en un film fluide en interpolant les images manquantes.

Le défi que Flynn et co se sont lancé est simple. Étant donné un ensemble d'images d'un lieu particulier, le but est de synthétiser une nouvelle image de la même zone sous un angle de vue différent.

Ce n'est pas facile. Une solution exacte nécessiterait une connaissance 3D complète de toute la géométrie visible dans la vue invisible qui n'est généralement pas disponible en raison des obturateurs, disent Flynn et co.

En effet, c'est un problème sur lequel les informaticiens se grattent la tête depuis des décennies et qui est étroitement lié au problème de l'estimation de la forme 3D d'une scène à partir de deux images ou plus de celle-ci.

Les informaticiens ont développé diverses manières de résoudre ce problème, mais tous souffrent de problèmes similaires, en particulier lorsque l'information manque en raison d'un objet en occultant un autre. Cela conduit à la déchirure, là où il n'y a pas assez d'informations, et à la disparition des détails fins. Un défi particulier concerne les objets qui contiennent des détails fins et qui sont également auto-occlusifs, comme les arbres.

La nouvelle approche de Flynn and co consiste à former un algorithme de vision artificielle pour déterminer à quoi la nouvelle image devrait ressembler après avoir été formée sur un vaste ensemble de données d'images séquentielles.

La tâche de l'ordinateur est de traiter chaque image comme un ensemble de pixels et de déterminer la profondeur et la couleur de chaque pixel en fonction de la profondeur et de la couleur des pixels correspondants dans les images qui apparaîtront avant et après dans le film.

Ils ont formé leur algorithme, appelé DeepStereo, en utilisant des images de scènes de rue capturées par un véhicule en mouvement. En effet, ils utilisent 100 000 de ces séquences comme ensemble de données d'apprentissage.

Ils l'ont ensuite testé en supprimant une image d'une séquence d'images Street View et en lui demandant de la reproduire en ne regardant que les autres images de la séquence. Enfin, ils comparent l'image synthétisée avec celle qui a été supprimée, leur donnant une sorte d'étalon-or pour la contraster.

Les résultats sont impressionnants. Dans l'ensemble, notre modèle produit des sorties plausibles qui sont difficiles à distinguer immédiatement de l'imagerie originale, disent Flynn et co.

Il reproduit avec succès des sujets difficiles tels que les arbres et l'herbe. Et quand il échoue, comme avec des réflexions spéculaires, il le fait avec grâce plutôt qu'en se déchirant.

En particulier, il gère bien les objets en mouvement. Ils apparaissent flous d'une manière qui évoque le flou de mouvement, disent-ils.

La méthode n'est cependant pas parfaite. Les artefacts notables dans nos résultats incluent une légère perte de résolution et la disparition des fines structures de premier plan, explique l'équipe de Google. Et les sujets partiellement occlus ont tendance à être trop flous dans la sortie.

Il est également gourmand en calculs. Flynn et co disent qu'il faut 12 minutes sur un poste de travail multicœur pour produire une seule image nouvellement synthétisée. Ces images ne peuvent donc pas être produites à la volée. Cependant, l'équipe espère améliorer cela à l'avenir en optimisant le processus de génération d'images.

C'est un travail impressionnant qui montre une fois de plus le potentiel des techniques d'apprentissage en profondeur. L'équipe montre ses résultats dans le vidéo postée ici , qui présente des films réalisés à partir de données Street View.

Mais il devrait également avoir d'autres applications dans la génération de contenu pour la téléconférence, la réalité virtuelle et la cinématographie. Cela pourrait même réduire la charge de travail des animateurs image par image.

Quoi qu'il en soit, attendez-vous à voir des films de voyage Google Street View inonder le Web dans un avenir pas trop lointain.

Réf : arxiv.org/abs/1506.06825 : DeepStereo : apprendre à prédire de nouvelles vues à partir de l'imagerie du monde

cacher