Un logiciel d'IA peut imaginer tout un monde numérique à partir d'un simple croquis

Créer un environnement virtuel réaliste demande du temps et des compétences. Les détails doivent être fabriqués à la main à l'aide d'une puce graphique qui rend les formes 3D, l'éclairage et les textures appropriés. Le dernier jeu vidéo à succès, Red Dead Redemption 2, par exemple, a pris plus de huit ans à une équipe d'environ 1000 développeurs pour créer, travaillant occasionnellement Semaines de 100 heures. Ce type de charge de travail pourrait ne pas être nécessaire pendant beaucoup plus longtemps. Un nouvel algorithme d'IA puissant peut imaginer à la volée les détails photoréalistes d'une scène.

Développé par le fabricant de puces Nvidia, le logiciel ne facilitera pas seulement la vie des développeurs de logiciels. Il pourrait également être utilisé pour générer automatiquement des environnements virtuels pour la réalité virtuelle ou pour enseigner des voitures et des robots autonomes sur le monde.

Nous pouvons créer de nouveaux croquis qui n'ont jamais été vus auparavant et les rendre, dit Bryan Catanzaro , vice-président de l'apprentissage profond appliqué chez Nvidia. Nous enseignons en fait au modèle comment dessiner sur la base d'une vidéo réelle.

Les chercheurs de Nvidia ont utilisé une approche standard d'apprentissage automatique pour identifier différents objets dans une scène vidéo : voitures, arbres, bâtiments, etc. L'équipe a ensuite utilisé ce qu'on appelle un réseau antagoniste génératif, ou GAN, pour entraîner un ordinateur à remplir des images 3D réalistes.

Le système peut ensuite être alimenté par le contour d'une scène, montrant où se trouvent différents objets, et il remplira des détails étonnants et légèrement chatoyants. L'effet est impressionnant, même si certains de ces objets semblent parfois un peu déformés ou tordus.

L'infographie classique rend en construisant la façon dont la lumière interagit avec les objets, explique Catanzaro. Nous nous sommes demandé ce que nous pouvions faire avec l'intelligence artificielle pour changer le processus de rendu.

Catanzaro dit que l'approche pourrait réduire la barrière pour la conception de jeux. Outre le rendu de scènes entières, l'approche pourrait être utilisée pour ajouter une personne réelle à un jeu vidéo après s'être nourrie de quelques minutes de séquences vidéo de la personne dans la vraie vie. Il suggère que l'approche pourrait également être utilisée pour aider à rendre des paramètres réalistes pour la réalité virtuelle, ou pour fournir des données de formation synthétiques pour des véhicules ou des robots autonomes. Vous ne pouvez pas obtenir de manière réaliste des données d'entraînement réelles pour chaque situation qui pourrait survenir, dit-il. Les travaux ont été annoncés aujourd'hui à NeurIPS , une importante conférence sur l'IA à Montréal.

C'est un travail intéressant et impressionnant, déclare Michiel van de Panne, professeur à l'Université de la Colombie-Britannique, spécialisé dans l'apprentissage automatique et l'infographie. Il note que les travaux antérieurs impliquant des GAN impliquaient la synthèse d'éléments plus simples tels que des images individuelles ou des mouvements de personnages.

Le travail ouvre la voie à une manière très différente de créer des images animées, dit van de Panne. Un avec un ensemble différent de capacités, qui sont à la fois moins intensifs en calcul et pourraient être interactifs.

L'algorithme Nvidia n'est que le dernier d'une succession vertigineuse d'avancées impliquant les GAN. Inventés par un chercheur de Google il y a seulement quelques années, les GAN sont devenus un outil remarquable pour synthétiser des images et des sons réalistes et souvent étrangement étranges. Cette tendance promet de révolutionner l'infographie et les effets spéciaux, et d'aider les artistes et musiciens à imaginer ou développer de nouvelles idées. Mais cela pourrait également saper la confiance du public dans les preuves vidéo et audio (voir Fake America great again ).

Catanzaro admet qu'il pourrait être mal utilisé. C'est une technologie qui pourrait être utilisée pour beaucoup de choses, dit-il.

cacher