Étant donné une image satellite, l'apprentissage automatique crée la vue sur le terrain

Léonard de Vinci a créé des dessins et des peintures célèbres qui montraient une vue à vol d'oiseau de certaines régions d'Italie avec un niveau de détail qui n'était pas possible autrement jusqu'à l'invention de la photographie et des machines volantes. En effet, de nombreux critiques se sont demandé comment il avait pu imaginer ces détails. Mais maintenant, les chercheurs travaillent sur le problème inverse : étant donné une image satellite de la surface de la Terre, à quoi ressemble cette zone depuis le sol ? À quel point une image aussi artificielle peut-elle être claire ?

Aujourd'hui, nous obtenons une réponse grâce au travail de Xueqing Deng et de ses collègues de l'Université de Californie, Merced. Ces gars-là ont formé un algorithme d'apprentissage automatique pour créer des images au niveau du sol simplement en regardant des images satellites d'en haut.

La technique est basée sur une forme d'intelligence artificielle connue sous le nom de réseau antagoniste génératif. Celui-ci se compose de deux réseaux de neurones appelés un générateur et un discriminateur.

Le générateur crée des images que le discriminateur évalue par rapport à certains critères appris, tels que leur ressemblance avec les girafes. En utilisant la sortie du discriminateur, le générateur apprend progressivement à produire des images qui ressemblent à des girafes.

Dans ce cas, Deng et co ont formé le discriminateur en utilisant des images réelles du sol ainsi que des images satellites de cet emplacement. Ainsi, il apprend à associer une image au niveau du sol à sa vue de dessus.

Bien sûr, la qualité de l'ensemble de données est importante. L'équipe utilise comme vérité terrain la carte de couverture du sol LCM2015, qui donne la classe de terrain à une résolution d'un kilomètre pour l'ensemble du Royaume-Uni. Cependant, l'équipe limite les données à une grille de 71x71 kilomètres qui inclut Londres et la campagne environnante. Pour chaque emplacement de cette grille, ils ont téléchargé une vue au niveau du sol à partir d'une base de données en ligne appelée Geograph.

L'équipe a ensuite formé le discriminateur avec 16 000 paires d'images aériennes et au niveau du sol.

L'étape suivante consistait à commencer à générer des images au niveau du sol. Le générateur a été alimenté par un ensemble de 4 000 images satellites d'emplacements spécifiques et a dû créer des vues au niveau du sol pour chacune, en utilisant la rétroaction du discriminateur. L'équipe a testé le système avec 4 000 images aériennes et les a comparées avec les images de réalité au sol.

Les résultats rendent la lecture intéressante. Le réseau produit des images plausibles compte tenu de l'image aérienne, même si leur qualité est relativement faible. Les images générées capturent les qualités de base du sol, comme s'il montre une route, si le terrain est rural ou urbain, etc. Les images générées au niveau du sol semblaient naturelles même si, comme prévu, elles manquaient des détails des images réelles, disent Deng et co.

C'est une bonne astuce, mais à quoi sert-elle ? Une tâche importante pour les géographes est de classer les terres en fonction de leur utilisation, par exemple si elles sont rurales ou urbaines.

Les images au niveau du sol sont essentielles pour cela. Cependant, les bases de données existantes ont tendance à être rares, en particulier dans les zones rurales, de sorte que les géographes doivent interpoler entre les images, un processus qui ne vaut guère mieux que de deviner.

Désormais, les réseaux contradictoires génératifs de Deng and co offrent une toute nouvelle façon de déterminer l'utilisation des terres. Lorsque les géographes veulent connaître la vue au niveau du sol à n'importe quel endroit, ils peuvent simplement créer la vue avec le réseau neuronal basé sur une image satellite.

Deng et co comparent même les deux méthodes - l'interpolation par rapport à la génération d'images. La nouvelle technique s'avère déterminer correctement l'utilisation des terres dans 73 % des cas, tandis que la méthode d'interpolation est correcte dans seulement 65 % des cas.

C'est un travail intéressant qui pourrait faciliter la vie des géographes. Mais Deng et co ont de plus grandes ambitions. Ils espèrent améliorer le processus de génération d'images afin qu'à l'avenir, il produise encore plus de détails dans les images au niveau du sol. Léonard de Vinci serait sûrement impressionné.

Réf : https://arxiv.org/abs/1806.05129 : Qu'est-ce que c'est là-bas ? Génération de vues denses au niveau du sol et de caractéristiques d'image à partir d'images aériennes à l'aide de réseaux antagonistes génératifs conditionnels

cacher