Le nouveau visage d'Hollywood

Au sommet d'un train surélevé traversant le centre-ville, l'homme masqué en costume rouge et bleu est en difficulté.

Non seulement il combat un scientifique fou qui essaie de le tuer avec des tentacules robotiques, mais il doit également sauver les passagers du train. Tout cela représente une journée de travail pour le super-héros Peter Parker, également connu sous le nom de Spider-Man, mais cela signifie des mois de travail pour une équipe d'élite de gourous graphiques.

Cette histoire faisait partie de notre numéro de septembre 2004

• Voir le reste du numéro
• S'abonner

Cette séquence d'action du mégahit Spider-Man 2 a ébloui des millions de cinéphiles cet été. Regardez attentivement le méchant, le docteur Octopus (joué par l'acteur Alfred Molina), et vous le verrez sourire maniaque et crier tout en déambulant le long du haut et des côtés du train. Plus tard dans la scène, Spider-Man (Tobey Maguire) perd son masque alors qu'il s'accroche à l'avant du train, l'arrêtant brutalement. Ses expressions faciales frénétiques semblent d'un naturel convaincant.

Avec tout le croisement rapide entre les images de super-héros et de méchant, le public ne se doute probablement pas que les visages et les personnages apparaissant à l'écran la plupart du temps ne sont pas réels. Il s'agit plutôt de concoctions numériques créées à l'intérieur d'un ordinateur chez Sony Pictures Imageworks à Culver City, en Californie.

Nous avons atteint un point où nous pouvons faire tout ce qui est généré par ordinateur. Tout, du verre brisé dans le train à tous les bâtiments, voies et personnes, explique Mark Sagar, superviseur graphique sur Spider-Man 2 et expert résident d'Imageworks sur les visages humains numériques. Il montre la séquence du train qui se joue sur son écran d'ordinateur. Regardez ce que fait la caméra. Ici ça va vite le long du train, puis sous les performeurs, puis devant eux, puis en plan large. Comment pouvez-vous faire cela avec un vrai appareil photo ? Mais les visages numériques sur les gens sont la dernière pièce cruciale de ce puzzle. Dans le passé, l'assemblage de séquences d'acteurs réels dans une scène numérique nécessitait de vraies caméras, un travail de cascade difficile et des ajustements pour que l'apparence des images réelles et numériques corresponde ; la capacité de tout faire généré par ordinateur, y compris les visages humains, ouvre une multitude de possibilités créatives.

Les visages numériques photoréalistes - ceux qui peuvent passer pour de vrais dans les images fixes ou sur grand écran - sont parmi les dernières frontières de l'infographie. Jusqu'à récemment, les visages numériques avaient l'air faux lorsqu'ils étaient examinés de près et étaient donc relégués aux coupes rapides et aux prises de vue en arrière-plan. Le problème est que nous sommes extrêmement sensibles à l'apparence des visages humains ; il est beaucoup plus facile de tromper les gens avec un T. rex généré par ordinateur qu'avec un humain numérique. Mais les progrès réalisés dans le rendu de la peau, l'éclairage des scènes numériques et l'analyse des séquences d'acteurs réels à des fins de référence permettent désormais aux artistes et aux programmeurs de contrôler la texture et le mouvement de chaque minuscule parcelle de pixels d'un visage informatisé. L'équipe de Sony espère que le public sera incapable de faire la différence entre Tobey Maguire et son sosie numérique – peut-être la première fois qu'une telle vraisemblance est atteinte.

Les enjeux sont énormes. Les effets numériques représentent une entreprise d'un milliard de dollars et connaissent une croissance rapide ; De nos jours, le budget typique d'un film à succès peut atteindre 150 millions de dollars, dont la moitié va aux sociétés d'effets. En effet, Spider-Man 2 n'est qu'un exemple de l'utilisation croissante par Hollywood de la recherche graphique de pointe pour créer de meilleurs acteurs numériques, des cascadeurs de Neo et de la multitude d'Agent Smiths dans les films Matrix à Gollum dans la série Le Seigneur des Anneaux. . C'est arrivé au point où l'industrie plaisante sur le remplacement des acteurs par des ordinateurs (la prémisse du film de 2002 S1m0ne). Et Sony Pictures Imageworks, fondé en 1992 et avec plus de 40 longs métrages à son actif, est à l'avant-garde des maisons d'effets qui se disputent le marché des grands studios (voir Making Faces ,).

Mais le véritable avantage des acteurs numériques ne remplace pas ceux en direct : ils offrent des scènes qui emmènent les téléspectateurs dans des endroits où aucun acteur réel ou aucune configuration de caméra ne pourraient aller. Cela donne aux réalisateurs plus de flexibilité et leur permet de faire des actions qu'ils ne peuvent pas faire avec de vrais cascadeurs, explique Scott Stokdyk, le superviseur des effets visuels chez Imageworks en charge de la série Spider-Man. Dans le passé, les réalisateurs et les monteurs ont essentiellement massé la coupe autour de différentes actions rapides et angles de caméra pour transmettre une histoire, dit Stokdyk. Maintenant, ils n'ont plus ce genre de limites. Ainsi libérés, les réalisateurs peuvent suivre des acteurs synthétiques alors qu'ils volent autour des gratte-ciel et esquivent les balles au ralenti. De plus, les acteurs peuvent être vieillis ou vieillis numériquement, sans avoir à passer des heures à se maquiller. Des stars de cinéma décédées depuis longtemps pourraient même être ressuscitées numériquement.

Et les films ne sont que le début. Les techniques de création d'humains numériques repoussent les frontières plus larges de l'infographie et des interfaces. Ces efforts pourraient permettre des simulations de formation médicale étonnamment réalistes, des avatars réalistes pour les e-mails et les forums de discussion Internet, et bientôt, des personnages beaucoup plus convaincants dans les jeux et les films interactifs. La technologie, dit Sagar, est absolument prête pour les heures de grande écoute.

Visage virtuel

Mark Sagar a toujours été tiraillé entre l'art et la science. Après l'université, il a passé trois ans à parcourir le monde, esquissant des portraits pour gagner sa vie. Mais le remorqueur de la technologie l'a fait retourner aux études supérieures dans sa Nouvelle-Zélande natale pour étudier l'ingénierie. Je n'aurais jamais pensé passer des années de ma vie à étudier le visage humain, admet-il, assis dans son bureau à Imageworks, entouré de livres et d'articles sur la perception visuelle.

Entendre Sagar décrire le visage humain comme un dispositif de signalisation multicanal suggère que son côté scientifique et technique a gagné. Comprendre la science derrière les visages, dit-il, lui permet de faire passer le message d'un personnage numérique plus efficacement à l'écran. Des expressions comme des yeux baissés, un front plissé ou une lèvre courbée signifient l'état émotionnel d'une personne et donnent des indices sur son intention.

Le chemin de Sagar vers Hollywood s'est ouvert presque par accident. Au milieu des années 1990, en tant qu'étudiant diplômé de l'Université d'Auckland et en tant que boursier postdoctoral au MIT, il a développé des simulations informatiques de l'œil et du visage humains qui pourraient aider les médecins en formation à apprendre les techniques chirurgicales. Ses simulations semblaient si réelles qu'une équipe d'entrepreneurs point-com l'a convaincu de cofonder une startup graphique appelée LifeFX à Newton, MA. Sa mission : commercialiser des logiciels que tout le monde, des cinéastes aux entreprises du Web et aux fournisseurs de courrier électronique, pourrait utiliser pour produire des portraits photoréalistes de personnes.

Sagar est rapidement devenu une autorité de premier plan sur les visages numériques pour le divertissement. En 1999, il est venu à Los Angeles pour travailler sur

animations faciales générées par ordinateur pour les films, dont celle de l'acteur Jim Carrey. Paul Debevec, un chercheur en graphisme qui s'est fait un nom en créant des environnements virtuels et en faisant progresser les techniques d'éclairage numérique, a vu les films de Sagar lors d'une conférence et a été intrigué : il n'avait jamais vu de faux visages aussi convaincants de si près. C'est à ce moment-là que j'ai franchi le seuil de la conviction qu'un visage photoréaliste d'infographie se produirait dans les cinq prochaines années, explique Debevec, qui est maintenant à l'Institute for Creative Technologies de l'Université de Californie du Sud (voir Hollywood's Master of Light, TR mars 2004).

Les deux scientifiques ont noué une collaboration en utilisant les techniques d'éclairage de Debevec pour rendre les visages numériques de Sagar – une combinaison qui les a rapidement catapultés à l'avant-garde du domaine. Il s'avère que si vous essayez de simuler un visage, obtenir le bon éclairage est un gros problème. Contrairement aux simulations informatiques précédentes qui semblaient étranges dans différents contextes et devaient être ajustées par essais et erreurs, les visages de Sagar et Debevec pouvaient être adaptés pour correspondre à l'éclairage de n'importe quelle scène. C'est parce qu'ils ont été construits à l'aide d'une riche base de données de vrais visages photographiés sous différents angles et éclairés par de nombreuses combinaisons de lumière différentes. Lorsque LifeFX a fermé ses portes en 2002, Imageworks a arraché Sagar spécifiquement pour son expertise dans les visages.

Il a immédiatement commencé à travailler sur le premier long métrage test de ces techniques : Spider-Man 2. Les scènes d'action du film nécessitaient des simulations détaillées et expressives des visages d'acteurs bien connus – un problème particulièrement difficile, explique Sagar. Non seulement le public rejette rapidement les ersatz de visages humains en général, mais il est particulièrement sensible aux visages qu'il reconnaît ; tout écart entre le numérique et le réel pourrait être perçu comme faux. Pour que les simulations fonctionnent, les chercheurs avaient besoin de nombreuses séquences de référence des vrais acteurs dans différentes conditions d'éclairage.

Maguire et Molina ont donc chacun passé une journée dans le laboratoire de Debevec. Supervisés par le programmeur de recherche Tim Hawkins, ils se sont assis dans un appareil spécial appelé scène lumineuse tandis que quatre caméras fixes capturaient des centaines d'images de leur tête et de leurs visages faisant une variété d'expressions et illuminées par des stroboscopes sous tous les angles possibles. Les acteurs ont également eu des scans laser et des moulages en plâtre de leurs têtes et visages, de sorte que des modèles numériques 3D haute résolution de leurs ressemblances puissent être construits sur des ordinateurs.

Chez Imageworks, Sagar et son équipe ont écrit un logiciel convivial afin que des dizaines d'artistes puissent utiliser les gigaoctets de données d'image sans se perdre dans les détails techniques. Pour que la séquence du train soit correcte, par exemple, le logiciel de Sagar a combiné des images de l'installation de Debevec dans des composites correspondant à l'éclairage du monde réel sur le plateau de tournage, puis a mappé les composites sur des modèles informatiques 3D des acteurs. Pour faire bouger les visages, les animateurs ont manipulé les modèles image par image, en utilisant des images et des vidéos existantes des acteurs comme guide approximatif. Le logiciel a calculé les changements d'éclairage en fonction de la déformation des modèles de visage et a illuminé la peau numérique en conséquence. Le résultat: des acteurs synthétiques qui ressemblent à Maguire et Molina (entrecoupés de ceux de chair et de sang) zooment dans les airs, autour des gratte-ciel, au-dessus des trains et sous l'eau, émouvant tout le temps.

Imageworks est un excellent exemple de la façon dont les maisons d'effets intègrent de nouvelles recherches dans leurs pipelines de production plus rapidement qu'elles ne le faisaient il y a quelques années à peine. (Bien que le public puisse être impressionné par ce qui s'est passé au multiplexe ces derniers temps, la technologie graphique fondamentale des films n'a pas beaucoup changé dans les années 1990.) Avant, il y avait un très long décalage. Quelque chose serait développé, puis vous attendriez dix ans pour qu'une société de logiciels le commercialise, explique J. P. Lewis, expert en graphisme et animation au laboratoire d'infographie et de technologie immersive de l'Université de Californie du Sud. Maintenant, je pense que les entreprises sont beaucoup plus sensibilisées à la recherche, et elles ont tendance à sauter dessus beaucoup plus rapidement.

En se promenant dans les couloirs sombres d'Imageworks ce printemps, l'équipe se démène pour mettre la touche finale à plus de 800 plans d'effets pour Spider-Man 2. C'est une jeune foule branchée portant des lunettes à la mode et affichant des souvenirs du film sur leurs bureaux – des photos, des figurines, un moulage du visage de Tobey Maguire. Le jour où il expédie son dernier plan pour le film, le superviseur des effets visuels Stokdyk déplore qu'il n'y ait plus de temps. Le plus grand défi, dit-il, consistait à mélanger le visage parfois réel, parfois numérique, de Molina avec son costume de Doc Ock et son environnement de style bande dessinée. Pour correspondre à la réalité, soupire-t-il, est presque impossible.

Mettez votre visage de jeu sur

En effet, malgré les millions de dollars consacrés au problème, les visages humains numériques ont encore du chemin à parcourir. Ce qui reste à faire peut sembler être des étapes incrémentielles - rendre les mouvements oculaires moins robotiques, capturer les changements dans le flux sanguin pour que les joues rougissent, faire en sorte que la peau se plisse correctement pendant un sourire - mais elles s'additionnent. Les 20 derniers pour cent pourraient prendre 80 pour cent de notre temps pour réussir - mais nous sommes définitivement dans ces 20 pour cent, déclare Darin Grant, directeur de la technologie chez Digital Domain à Venice, Californie, qui a réalisé des animations de personnages pour le I de cet été, Robot.

En fin de compte, les audiences commerciales décideront de la valeur de ces doubles numériques. Le test ultime de ce que nous faisons est de savoir à quoi cela ressemble à l'écran et comment cela se traduit en production, explique Grant. Son collègue Brad Parker, superviseur des effets visuels et directeur chez Digital Domain, soutient que les humains numériques paieront des dividendes croissants pour les cinéastes – et pour la communauté graphique. C'est une grosse affaire, dit-il. Il combine tout ce qui est difficile à propos de l'infographie.

Pourquoi c'est un problème si difficile - exactement ce que nos yeux détectent comme faux chez un humain numérique - n'est pas encore bien compris. Mais les chercheurs en graphisme de l'Université de Californie du Sud, Lewis et Ulrich Neumann, tentent de le découvrir. Lors d'expériences récentes, leur groupe a montré des aperçus de visages réels et numériques à des volontaires pour voir s'ils pouvaient faire la différence. Les résultats ont été frappants – et frustrants. Nous avons passé un an à travailler sur ces visages, mais nous ne pouvions pas tromper les gens pendant un quart de seconde, dit Lewis. Il prédit que ce travail conduira à des modèles statistiques du comportement de vrais visages humains, qui à leur tour produiront des outils logiciels que les artistes pourront utiliser pour faire bouger les yeux des personnages ou changer les expressions d'autres manières subtiles qui pourraient être vitales pour la crédibilité.

De telles avancées devraient avoir un impact dramatique. Selon Steve Sullivan, directeur de la recherche et du développement chez Industrial Light and Magic à San Rafael, en Californie, nous regarderons probablement en arrière dans 10 ans et penserons que les doubles numériques d'aujourd'hui ont l'air horriblement primitifs.

Et ce ne seront pas seulement les films qui feront peau neuve. Les mêmes outils de simulation graphique que les cinéastes commencent à maîtriser contribueront également à alimenter le prochain grand marché des visages numériques : les jeux vidéo. Les jeux d'aujourd'hui présentent des créatures et des paysages éblouissants, mais leurs personnages humains ne sont même pas près d'être photoréalistes. Il n'est tout simplement pas pratique de programmer dans tous les angles de vue et dans toutes les expressions qui peuvent survenir au cours d'un jeu interactif à plusieurs niveaux.

C'est là qu'intervient George Borshukov. Borshukov, un informaticien qui a conçu des humains numériques de pointe pour les films Matrix (tous ces Smiths dans Reloaded et Revolutions appartiennent à son équipe), applique maintenant la technologie faciale aux jeux. Ancien superviseur technologique chez ESC Entertainment à Alameda, en Californie, Borshukov a récemment rejoint la centrale de jeux vidéo Electronic Arts à Redwood City, en Californie. Il dit que le matériel de jeu de nouvelle génération sera proche de la démonstration des techniques pour les visages photoréalistes en temps réel, mais que des compromis, des approximations et une compression des données seront nécessaires pour y arriver.

Le problème, c'est qu'avec les jeux, tout doit se passer à la volée. Pourtant, il faut encore quelques heures pour rendre une seule image des meilleurs visages numériques d'aujourd'hui. C'est faisable si vous avez des mois pour produire les scènes, comme dans un film. Dans un jeu ou un film interactif, cependant, l'image particulière demandée peut ne pas exister tant que l'utilisateur ne la commande pas d'un simple coup de manette. Rendre cela pratique nécessitera un logiciel des milliers de fois plus rapide.

Cinq ans plus tard, selon les experts, un hybride entre un jeu et un film pourrait permettre aux téléspectateurs/joueurs de concevoir et de réaliser leurs propres films et même de se plonger dans l'action. Vous pouvez d'abord lancer le film en numérisant des photos de personnes réelles - vous et vos amis, par exemple - et en exécutant un logiciel qui créerait des modèles 3D photoréalistes de ces personnes. Ensuite, en temps réel, vous pouvez diriger l'action du film via un contrôleur ou un clavier portable, que ce soit en zoomant la caméra autour des personnages ou en faisant courir l'acteur principal dans une certaine direction. Le divertissement interactif, dit Borshukov, est l'endroit où se trouve le véritable avenir.

Face au futur

De retour à Imageworks, une tempête d'activité tourbillonne autour de Mark Sagar. Les artistes sont en mode crunch pour un autre projet d'acteur numérique, The Polar Express de cet automne, basé sur le livre populaire pour enfants. Mais Sagar, qui n'est pas directement impliqué dans cet effort, est fasciné par ce qui est plus loin sur la route - une approche plus élégante des visages numériques basée sur des principes scientifiques sous-jacents. Je vois le travail d'aujourd'hui comme une étape intermédiaire où nous devons encore capturer beaucoup de données, dit-il. Finalement, tout utilisera des modèles mathématiques sur la façon dont les choses bougent et comment elles réfléchissent la lumière.

Sagar voit également des applications beaucoup plus larges des humains numériques dans les graphiques médicaux, des simulations de formation coopérative pour les secouristes et des interfaces homme-machine qui pourraient aider les utilisateurs à communiquer plus efficacement avec les machines et les autres personnes. En dehors de l'industrie du divertissement, de grandes organisations comme Microsoft et Honda poursuivent des recherches sur les graphiques avancés et la modélisation humaine, y compris des logiciels qui pourraient vous permettre de créer des personnages virtuels réalistes et des avatars numériques basés sur une simple photo. Des algorithmes associés pourraient également aider les ordinateurs à reconnaître les visages et à interpréter les expressions, soit à des fins de sécurité, soit pour prédire les besoins d'un utilisateur.

Nous sommes à un âge intéressant où nous commençons à être capables de simuler des humains dans les moindres détails, explique Sagar. Il y a une certaine ironie dans sa déclaration. Car une fois que les humains numériques seront bien faits, ils seront indiscernables de la réalité ; le public ne se rendra même pas compte que les artistes et les scientifiques comme Sagar ont changé le visage du divertissement – ​​et de la société.

Gregory T. Huang est rédacteur en chef associé de TR.

cacher