Nous sommes inondés de lumière numérique

Dans un livre du co-fondateur de Pixar, Alvy Ray Smith, l'humble pixel reçoit l'attention qu'il mérite.

Par

• Chris Turner page d'archives

27 octobre 2021

Andréa Daquino

L'informaticien Alvy Ray Smith a cofondé la division infographie de Lucasfilm et les studios d'animation Pixar. Rien que pour ces réalisations, il est l'un des innovateurs technologiques les plus importants du cinéma depuis au moins la fin de la Seconde Guerre mondiale. Mais Smith n'est pas un gars d'Hollywood, et son nouveau livre intrigant et fondamental Une biographie du pixel n'est pas un livre de Tinseltown. Il n'y a que les moindres ragots (Steve Jobs était un homme avec qui il était difficile de travailler— confirmé! ), et la seule célébrité marquante qui apparaît dans l'histoire de Smith avec une fréquence quelconque est George Lucas. Smith n'est pas intéressé par la célébrité. Il poursuit des thèmes plus profonds, arguant en effet que le grand projet dont il faisait partie - l'invention et le développement de l'infographie - est bien plus important que tout ce qui s'est jamais produit à Hollywood.

Smith est ce qu'on appelait autrefois une barbe grise dans les cercles de programmation informatique. Il fait partie de cette génération d'ingénieurs et de codeurs qui ont vu l'ère numérique sortir des marécages des projets militaires secrets et du programme spatial pour conquérir le monde. Il a parlé le langage machine. Il s'est émerveillé des premiers graphismes rudimentaires à montrer du mouvement sur des écrans verts et noirs. Et il a été parmi les premiers à démontrer la nouvelle capacité d'un stylet à tracer une courbe lisse de peinture numérique.

Cette histoire faisait partie de notre numéro de novembre 2021

• Voir la suite du problème
• S'abonner

Dans Une biographie du pixel , l'objectif de Smith est d'établir clairement la trajectoire de deux histoires importantes et entrelacées. La première histoire est le développement des images de synthèse, de l'origine à l'ubiquité numérique. Il y a, dans le récit de Smith, de nombreux noms, lieux et percées manquantes dans le dossier, et il s'est chargé de les rajouter avec un œil d'ingénieur pour la précision. La deuxième histoire, qui se déroule en parallèle, concerne l'impact de ces images - une force transformatrice que Smith appelle Digital Light. Il englobe essentiellement tout ce que nous vivons à travers les écrans, et il soutient de manière convaincante qu'il s'agit de l'une des innovations les plus importantes dans la communication humaine depuis que les premières représentations simples de la vie quotidienne ont été gravées sur les parois des grottes.

L'humble pixel

Comme Smith le démontre à plusieurs reprises, beaucoup trop de crédit a été accordé à la supposée magie des génies individuels. La réalité est une histoire boueuse et imbriquée de groupes d'inventeurs, travaillant tour à tour en concurrence et en collaboration, souvent au coup par coup et sous une pression commerciale ou politique considérable.

Thomas Edison et les frères Lumière en France, par exemple, étaient de grands promoteurs et exploiteurs de la technologie cinématographique primitive. Les deux ont exposé des systèmes complets vers 1895 et étaient heureux de revendiquer tout le crédit, mais aucun n'a construit le premier système complet de caméra, de film et de projecteur tout seul (ou même la plupart du temps). La vraie réponse à la question de savoir qui a inventé les films, écrit Smith, est une ronce de lignées concurrentes, avec des parties du système développées par d'anciens partenaires d'Edison et des parties similaires par une poignée d'inventeurs français qui ont travaillé avec les Lumières.

Parmi les personnages cruciaux relégués aux poubelles de l'histoire figuraient William Kennedy Laurie Dickson (un étrange aristocrate européen qui a conçu et construit la première caméra de cinéma pour Edison) et Georges Demenÿ (dont la conception a été copiée sans crédit par les Lumières). Smith montre peut-être trop de son travail exhaustif pour sauver ces histoires d'origine alambiquées - il y a des confusions similaires à chaque étape majeure du développement des ordinateurs et des graphiques - mais ses efforts pour remettre les pendules à l'heure sont admirables.

Le principal inconvénient de toutes ces querelles avec les ego et l'avarice de plusieurs générations d'hommes énergiques (ce sont, hélas, pratiquement tous des hommes) est qu'elles détournent parfois l'attention de Smith de son thème plus large, à savoir que l'aube de la lumière numérique représente une telle un changement rare dans la façon dont les gens vivent qu'il mérite d'être qualifié d'époque.

La lumière numérique, dans la définition la plus simple de Smith, est une image composée de pixels. Mais cette expression technique sous-estime toute l'importance du vaste nouveau domaine de l'imagination qui a été créé par son essor. Ce domaine englobe les films Pixar, oui, mais aussi les jeux vidéo, les applications pour smartphones, les systèmes d'exploitation pour ordinateurs portables, les GIF loufoques échangés via les réseaux sociaux, les images IRM graves mortelles examinées par les oncologues, les écrans tactiles de l'épicerie locale et les modèles numériques utilisés pour planifiez des missions sur Mars qui renvoient encore plus de lumière numérique sous la forme d'images à couper le souffle de la surface de la planète rouge.

Et cela commence à peine à tout couvrir. Un aspect frappant du livre de Smith est qu'il nous invite à prendre juste assez de recul par rapport au flux constant de pixels que beaucoup d'entre nous passent la plupart de nos heures éveillées à regarder pour voir quelle réalisation technologique imposante et quelle force culturelle puissante toute cette lumière numérique. représente.

Fourier a contribué à l'idée que tout ce que nous voyons pourrait être décrit comme la somme d'une série d'ondes. Ou, comme l'exprime plus poétiquement Smith, Le monde est musique. Tout est vagues.

La percée technologique qui a rendu tout cela possible est, comme le suggère le titre de Smith, l'humble pixel. Le mot lui-même est un portemanteau d'élément d'image. Assez simple. Mais le pixel a été mal interprété dans l'usage populaire pour faire référence à l'infériorité supposée floue et en bloc des images numériques mal rendues. Smith veut que nous comprenions qu'il s'agit plutôt de la pierre angulaire de toute lumière numérique - une technologie de l'information miraculeuse, incroyablement variée et reproductible à l'infini qui a littéralement changé notre façon de voir le monde.

Le malentendu commence, explique Smith, avec le fait qu'un pixel n'est pas un carré et qu'il n'est pas disposé à côté d'autres pixels sur une grille nette. Les pixels peuvent être rendus sur des écrans en tant que tels, mais le pixel lui-même est un échantillon d'un champ visuel... qui a été numérisé en bits. La distinction peut sembler ésotérique, mais elle est cruciale pour l'argument de Smith en faveur de l'impact révolutionnaire du pixel. Le pixel est une information stockée que n'importe quel appareil peut afficher sous forme de lumière numérique. Et les appareils numériques peuvent le faire car les pixels ne sont pas des approximations mais soigneusement calibrés échantillons d'un champ visuel, qui a été traduit pour des usages numériques en une collection d'ondes qui se chevauchent. Ces pixels, écrit Smith, ne sont pas tant des réductions du champ visuel qu'un reconditionnement extrêmement intelligent de l'infini.

La nouvelle vague

Le processus par lequel un pixel génère de la lumière numérique - que ce soit sous la forme de mots sur un écran ou d'une icône sur un smartphone ou d'un film Pixar sur grand écran - repose sur trois avancées mathématiques antérieures à l'ordinateur moderne. Le premier d'entre eux a été réalisé par Jean Joseph Fourier, un aristocrate français et gouverneur régional sous Napoléon au début des années 1800. Fourier a contribué à l'idée fondamentale que non seulement le son, mais aussi la chaleur et tout ce que nous voyons et bien d'autres pourraient être décrits comme la somme d'une série d'ondes, représentant diverses fréquences et amplitudes. Ou, comme l'exprime plus poétiquement Smith, Le monde est musique. Tout est vagues.

Histoire connexe

Les pionniers de l'infographie de Pixar ont remporté le prix Turing d'un million de dollars

Plus d'un siècle plus tard, un ingénieur soviétique du nom de Vladimir Kotelnikov a construit sur le principe d'onde de Fourier le deuxième élément crucial pour créer la lumière numérique : le théorème d'échantillonnage. Kotelnikov a démontré qu'un signal, qu'il s'agisse d'un morceau de musique ou d'une scène visuelle, peut être capturé en prenant des instantanés (échantillons) à certains intervalles. Prenez suffisamment d'échantillons d'un aspect d'un champ visuel - sa gradation de couleur, par exemple, ou les déplacements du premier plan vers l'arrière-plan - et il est possible de reconstituer l'intégralité de l'information. Smith reconnaît que les informaticiens américains apprennent que le théorème d'échantillonnage provient de Harry Nyquist et Claude Shannon, mais la grande idée ... a d'abord été clairement, proprement et complètement énoncée par Kotelnikov en 1933.

Le troisième élément qui a rendu la lumière numérique possible est le plus connu et le plus récemment développé : l'article d'Alan Turing de 1936 décrivant la machine informatique universelle, dont la grande innovation était la capacité d'exécuter n'importe quel processus systématique tant qu'il était accompagné du bon ensemble d'instructions ( que nous appelons maintenant logiciel). Une machine de Turing, la base de l'ordinateur moderne, peut être programmée pour comprendre le processus par lequel les ondes de Fourier ont été échantillonnées par le théorème de Kotelnikov, et pour les reproduire sur n'importe quelle autre machine de Turing. Ces trois éléments ont engendré la lumière numérique.

La lumière numérique à elle seule, cependant, était une force limitée. Ses premières manifestations étaient de simples pictogrammes sur le mur de la grotte numérique d'un écran de télévision. En décembre 1951, par exemple, l'ordinateur Whirlwind du MIT affichait une série de points blancs sur un écran noir pour le programme CBS Voyez maintenant , animé par Edward R. Murrow. Les points épelés Bonjour M. Murrow, s'estompe lentement puis s'éclaircit à nouveau , comme un Lite-Brite sur un gradateur. Intelligent, voire merveilleux pour son époque, mais pas le bouleversement au cœur du livre de Smith. Pour cela, Digital Light avait besoin d'un élément supplémentaire : une vitesse inimaginable.

Les infographies, explique Smith, ne sont que des listes follement longues de nombres qui correspondent à des coordonnées graphiques - des pixels, de nos jours, mais des milliers et des milliers de minuscules triangles imbriqués dans les premières manifestations - assemblés dans l'espace numérique sous la forme tridimensionnelle d'un dessin animé Pixar personnage ou quoi que ce soit d'autre. (La première infographie 3D assemblée à partir de ces triangles était, notoirement, une théière.)

La grande convergence numérique

Des merveilles telles que l'animation 3D, cependant, n'étaient pas possibles jusqu'à ce que la puissance de traitement informatique explose. Smith raconte la transformation qui a suivi avec un mélange captivant de détails techniques, de recherches approfondies et de souvenirs personnels. Plusieurs générations de mathématiciens, de codeurs et de rats de laboratoire ont contribué au développement de l'infographie, à la construction de nouveaux outils et machines, car la loi de Moore a rapidement facilité la transformation des ondes de Fourier et des échantillons de Kotelnikov en formes géométriques, en images simples et en mouvement de base sur un écran. . Disney et Lucasfilm et l'Université de Stanford occupent une place importante, bien sûr, mais la NASA et General Motors et Boeing (qui a été le pionnier de la conception industrielle assistée par ordinateur), ainsi que des ruches moins connues de génie de l'infographie comme l'Université de l'Utah et le New York Institute of Technology (NYIT).

La propre transition de Smith des simples pixels aux films numériques a commencé au NYIT au début des années 1970. Là, il a aidé à établir l'un des premiers laboratoires d'infographie au monde, avec plusieurs autres cofondateurs de Pixar, avant de passer à l'introduction de la technologie chez Lucasfilm. (Il a travaillé sur la toute première séquence animée par ordinateur produite par Lucasfilm, une séquence d'effets spéciaux pour le film Star Trek II : La colère de Khan .)

Tout au long du voyage, Smith est resté concentré sur le prix ultime de la production d'un long métrage numérique. Il voulait que ces outils soient utilisés pour créer du grand art, pour donner forme au génie créatif des esprits du monde entier. Pixar a atteint cet objectif avec la sortie en 1995 de Histoire de jouet , le premier long métrage entièrement animé par ordinateur. Et peu de temps après, une réalisation encore plus importante a été atteinte - le moment charnière que Smith appelle la grande convergence numérique.

Ce qui s'est passé est à la fois facile à expliquer et difficile à comprendre pleinement. Ce qui s'est passé, c'est que les gens ont commencé à jouer avec.

C'est le moment, aux alentours de l'an 2000, où toutes les images (en mouvement et autres) pourraient être universellement représentées par des pixels. Tranquillement et sans faire de remarques, écrit-il, tous les types de médias ont convergé en un seul – le support numérique universel, les bits.

En lisant le récit de Smith sur cette convergence, je me suis retrouvé à penser à une célèbre citation attribuée à l'écrivain et cinéaste français Jean Cocteau. Le cinéma ne deviendra un art, disait Cocteau, que lorsque ses matériaux seront aussi bon marché qu'un crayon et du papier. C'est en partie ce à quoi Smith veut en venir lorsqu'il nous demande de regarder avec admiration la puissance du pixel. Et ce souvenir m'a amené – inexorablement, vraiment – ​​à penser au mème Steamed Hams.

Pour les non-initiés, Steamed Hams est né comme une courte vignette dans un épisode de la septième saison de Les Simpsons , 22 courts métrages sur Springfield, diffusés pour la première fois en 1996 : Skinner, le principal idiot de l'école primaire de Springfield, accueille son patron, le surintendant Chalmers, pour un déjeuner chez lui. Les deux minutes et 42 secondes de la vignette se déroulent comme une série croissante de catastrophes mineures, conduisant Skinner à se faufiler chez Krusty Burger, puis à revendiquer le repas de restauration rapide comme le sien. Ayant promis au surintendant des palourdes cuites à la vapeur, Skinner couvre sa ruse en affirmant qu'il avait en fait dit qu'il fabriquait des jambons cuits à la vapeur, ce qui, selon lui, est un argot régional pour les hamburgers dans le nord de l'État de New York.

C'est un petit extrait idiot d'un décalé simpson épisode, et il n'a suscité aucune attention particulière jusqu'à ce que la grande convergence numérique place les outils de réalisation de films numériques entre les mains de pratiquement n'importe qui disposant d'un ordinateur et d'une connexion Internet. Et puis ce qui s'est passé est à la fois facile à expliquer et difficile à comprendre pleinement. Ce qui s'est passé, c'est que les gens ont commencé à jouer avec.

La force créatrice libérée

La naissance du mème Steamed Hams semble avoir été un extrait court extrait de la vignette, reproduit à l'aide d'une application de conversion de texte en film et publié sur YouTube en mars 2010. Dans les années qui ont suivi, alors que les outils numériques de production et de diffusion de courtes vidéos s'amélioraient à la vitesse vertigineuse de la loi de Moore, le mème s'est métastasé sauvagement . Le clip a été empilé sur lui-même, l'écran YouTube divisé en 10 cases, chacune jouant Steamed Hams sur un court délai, comme si elle était chantée en un tour, jusqu'à ce qu'elle se dissolve dans une cacophonie rugissante. Il a été réglé sur un large éventail de chansons pop - ma préférée est celle dans laquelle le logiciel Auto-Tune (lui-même un produit de la convergence) a été utilisé pour plier et transformer le dialogue afin qu'il soit en quelque sorte colle à la mélodie de la chanson à succès de Green Day, Basket Case. Il a été superposé à divers jeux vidéo. Un fan entreprenant de Steamed Hams a persuadé l'acteur Jeff Goldblum de lire l'intégralité du scénario de la vignette dans sa diction distinctive; la clip YouTube résultant des coupes expertes de la lecture en direct de Goldblum à l'animation originale, parfois en écran partagé. Il y a une sorte de remake de Steamed Hams dans lequel un animateur différent rend toutes les 13 secondes de la vignette dans un tout autre style. Ceci n'est qu'un petit échantillon des faits saillants. Le mème est massif.

Si jamais on me demandait d'enseigner un cours d'art postmoderne, je présenterais le mème entier comme un exemple emblématique de la force créative stupéfiante libérée par la grande convergence numérique. Grâce à des outils pas plus difficiles à obtenir qu'un stylo et un crayon, Internet héberge désormais une abondance impossible de riffs inventifs : GIF et clips, supercuts et mashups, reboots et remixes. Tout un monde de créateurs occasionnels réalisant des films numériques, utilisant de tout nouveaux outils qui sont déjà devenus si courants que nous les remarquons à peine. Nous sommes chez nous dans Digital Light.

C'est-à-dire que le monde de la création cinématographique omniprésente de Cocteau pourrait très bien être ici. C'est ce vers quoi Alvy Ray Smith a travaillé pendant un demi-siècle à la poursuite de ce premier film numérique. Nous sommes arrivés. Nous sommes tous auteurs. Va jouer.

Chris Turner est un auteur et essayiste basé à Calgary, en Alberta. Son livre le plus récent est The Patch: Les gens, les pipelines et la politique des sables bitumineux.

cacher