L'apprentissage en profondeur crée un terrain semblable à la Terre en étudiant les images satellites de la NASA

Les paysages des jeux vidéo et des mondes artificiels peuvent être générés de deux manières. La première consiste à façonner le terrain à la main et à le peupler de couleurs et de textures appropriées telles que des roches, de l'herbe, des arbres, de la neige, etc. Cela produit des résultats de haute qualité mais coûte cher en raison du travail humain impliqué.

La deuxième méthode consiste à générer le paysage de manière algorithmique, un processus beaucoup plus rapide et moins cher. C'est ainsi que les joueurs du jeu Minecraft entrent dans un paysage entièrement nouveau à chaque fois qu'ils jouent.

Les algorithmes derrière ce processus sont bien développés et les programmeurs les ont affinés au fil des ans pour produire différents climats, textures, variations de hauteur, etc. Mais les nouveaux algorithmes générateurs de paysage sont eux-mêmes longs et coûteux à écrire. Ainsi, un moyen d'automatiser leur création serait une avancée significative.

Aujourd'hui, Christopher Beckham et Christopher Pal de l'Institut des algorithmes d'apprentissage de Montréal au Canada disent avoir formé une machine d'apprentissage en profondeur pour générer des paysages réalistes en utilisant des images satellites de la Terre comme ensemble de formation. En effet, la machine écrit son propre algorithme. Le travail promet de changer considérablement la façon dont les paysages artificiels peuvent être générés à la volée.

Le système exploité par Beckham et Pal s'appelle un réseau contradictoire génératif. Il se compose de deux machines d'apprentissage en profondeur qui travaillent ensemble pour résoudre un problème, générant dans ce cas un terrain réaliste.

La première machine génère un nouveau terrain tandis que la seconde évalue les résultats et fournit des commentaires. La première machine utilise ensuite ce retour pour produire un autre ensemble de paysages, que la seconde machine évalue avec retour, et ainsi de suite. L'idée est que la deuxième machine apprend à produire des paysages qui correspondent au feedback donné par la première machine.

De toute évidence, une partie importante de ce processus consiste à apprendre à la première machine à quoi devrait ressembler un paysage idéal. Ce type de tâche est devenu simple dans l'apprentissage automatique lorsqu'il existe une grande base de données d'images à partir de laquelle apprendre, par exemple, dans la reconnaissance faciale ou la reconnaissance d'objets. Mais cela n'a pas encore été fait pour la génération de terrain de cette manière.

Le premier objectif de Beckham et Pal était donc de créer une base de données d'images pour la formation.

Il s'avère que ce type de données est exactement disponible grâce au programme Visible Earth de la NASA, qui a créé une carte détaillée de notre planète natale. Cela inclut des données sur la hauteur, la forme et la couleur.

Les images de la NASA sont énormes : 21 600 pixels sur 10 800 pixels. Ils montrent la planète entière, chaque pixel représentant un kilomètre carré à la surface. Beckham et Pal prennent une fenêtre aléatoire de 512 x 512 pixels et la font glisser sur les images pour créer une grande base de données d'échantillons d'images pour la formation. Ils suppriment toutes les images qui sont en grande partie noires (c'est-à-dire qui montrent l'océan pur) afin que la formation ne soit pas trop triviale. Les textures de la collection peuvent correspondre à divers biomes tels que la jungle, le désert et l'Arctique, disent-ils.

Ils utilisent ensuite cet ensemble de données pour entraîner une machine d'apprentissage en profondeur à reconnaître des terrains terrestres réalistes de différents types. Ensuite, ils ont mis en place une autre machine d'apprentissage en profondeur pour générer des images de 512 x 512 pixels au hasard. Il envoie ces cartes à la machine entraînée, qui les évalue et envoie ses commentaires.

Au début, bien sûr, les paysages générés sont de mauvaises représentations du terrain terrestre. Mais au fil de nombreuses itérations, la machine apprend à produire des paysages qui reçoivent de bonnes évaluations. Et une fois qu'il a fait cela, il peut générer continuellement de nouveaux terrains semblables à la Terre.

Mais les images ne sont pas parfaites. Ils peuvent contenir des artefacts du processus d'apprentissage qui ne sont pas conformes aux fonctionnalités du monde réel. Ceux-ci pourraient être évités avec des configurations d'apprentissage plus approfondies ou en brouillant les images, disent les chercheurs.

Il y a clairement plus de travail à faire, mais la paire semble satisfaite de ce résultat. Nous avons réalisé une première étape raisonnable vers la génération procédurale de terrain basée sur des données du monde réel, disent-ils.

C'est un travail intéressant qui a un large éventail d'autres applications. Pour commencer, la base de données de formation n'a pas besoin d'être terrestre. La NASA possède des images détaillées de la lune, de Mars, de Titan et de divers autres endroits du système solaire qui pourraient être utilisées pour former des réseaux similaires. Ainsi, des jeux comme Minecraft pourraient facilement prendre une sensation lunaire ou martienne distincte avec peu d'intervention humaine.

Et la base de données de formation n'a même pas besoin d'être basée sur le terrain. On peut imaginer que le même schéma soit appliqué pour synthétiser des maillages 3D qui sont ensuite texturés (par exemple des faces), expliquent Beckham et Pal.

C'est quelque chose qui pourrait intéresser un large éventail de fabricants de jeux et d'autres. Ces types de possibilités servent non seulement à promouvoir des expériences de divertissement plus riches, mais également à fournir des outils utiles pour aider les producteurs de contenu (par exemple, les artistes 3D) dans leur travail, déclarent Beckham et Pal.

Réf : arxiv.org/abs/1707.03383 : Un pas vers la génération procédurale de terrain avec les GAN

cacher