Photo Avenir

Un jour d'été de 1826, dans sa propriété de campagne à environ 340 kilomètres au sud-est de Paris, Joseph Nicéphore Niépce installa sa camera obscura et projeta l'image de sa cour sur une plaque en étain recouverte d'un matériau photosensible. Pendant huit heures, l'objectif a focalisé la lumière du soleil, fixant chimiquement les zones où la lumière a frappé la plaque pour capturer la vue d'un pigeonnier, d'un poirier, d'un toit de grange et d'une aile prolongée de sa maison. Pour cette réalisation, Niépce est crédité de la création de la première photographie au monde.

L'étain et d'autres plaques solides ont cédé la place à des rouleaux de film souples en 1889; le film couleur a suivi au milieu des années 1930. Au milieu des années 1990, les premiers appareils photo numériques couleur grand public ont été introduits, capturant des images avec des capteurs de lumière sur une puce. Ces progrès ont conduit à des appareils photo moins chers, plus petits et plus portables qui peuvent produire des images vives. Mais au niveau le plus fondamental, les caméras n'ont pas été modifiées de manière significative, explique Ramesh Raskar, professeur agrégé et chef du groupe Camera Culture au MIT Media Lab. L'appareil physique lui-même a à peine changé au cours des 100 dernières années, dit-il. Vous avez un objectif similaire, une boîte similaire qui imite l'œil humain. Mis à part le fait qu'elle est moins chère, plus rapide et plus pratique, la photographie n'a pas beaucoup changé.

Cette histoire faisait partie de notre numéro de mai 2009

• Voir le reste du numéro
• S'abonner

Raskar, cependant, espère que lui et d'autres au MIT et dans le monde pourront déclencher une révolution dans la photographie. Les chercheurs dans un domaine appelé photographie informatique repensent les appareils photo numériques pour mieux tirer parti des ordinateurs qui y sont intégrés. Ils envisagent un jour où n'importe qui pourra utiliser un appareil photo avec un petit objectif bon marché pour prendre le type de photos époustouflantes qui ne sont aujourd'hui réalisables que par des photographes professionnels utilisant des équipements et des logiciels haut de gamme tels qu'Adobe Photoshop. En fait, ils pensent que de telles caméras pourraient dépasser les technologies les plus sophistiquées d'aujourd'hui, dépassant ce qui semblait être des limites fondamentales.

La photographie informatique englobe de nouvelles conceptions de composants optiques et de matériel de caméra ainsi que de nouveaux algorithmes pour l'analyse d'images. L'objectif, explique Raskar, est de construire des caméras capables d'enregistrer ce que l'œil voit, pas seulement ce que l'objectif et le capteur sont capables de capturer. Si vous êtes sur des montagnes russes, vous ne pouvez jamais obtenir une bonne image, dit-il. Si vous êtes à un bon dîner, vous ne pouvez jamais prendre de photos qui rendent la nourriture appétissante. Mais avec des techniques informatiques, les caméras pourraient éliminer le flou d'un instantané pris lors d'un manège cahoteux dans un parc d'attractions. De tels appareils photo pourraient également capturer les formes subtiles et les ombres des aliments et les sourires des gens dans la faible luminosité d'un dîner aux chandelles, sans un long temps d'exposition, qui produit invariablement des images floues, ou l'utilisation d'un flash perturbateur.

Encadré : Le voyage du laboratoire au marché

De plus, la photographie informatique pourrait permettre aux photographes amateurs de créer facilement des images qui nécessitent aujourd'hui des techniques de post-traitement spécialisées et chronophages. Même les appareils photo pour téléphones portables, qui ont des objectifs fixes peu coûteux, pourraient donner aux amateurs le même type de contrôle sur la mise au point que les professionnels ont avec un appareil photo reflex à objectif unique (SLR) haut de gamme.

Toutes les caméras fonctionnent de la même manière : la lumière entre par une lentille de focalisation et passe par une ouverture. Dans un appareil photo traditionnel, la lumière frappe les produits chimiques photoréactifs sur le film ou les plaques. Dans un appareil photo numérique, la lumière passe à travers des filtres de séparation des couleurs et atterrit sur un ensemble de capteurs photo, dont chacun représente un pixel. Lorsque la lumière frappe un capteur photoélectrique, il produit un courant électrique dont la force reflète l'intensité de la lumière. Le courant est converti en 1 numérique et 0 s, que le processeur de l'appareil photo (une puce informatique) convertit ensuite en l'image qui s'affiche sur l'écran d'aperçu de l'appareil photo et qui est stockée sur une carte mémoire flash ou un disque dur interne.

Lorsque les images sont capturées sous forme de bits d'information numériques, elles peuvent être améliorées par un logiciel, ouvrant ainsi un tout nouveau monde de possibilités. Au cours des 15 dernières années environ, explique Raskar, les chercheurs se sont efforcés de tirer pleinement parti de ces possibilités, en particulier grâce à de nouveaux algorithmes de traitement d'images qui empruntent aux domaines traditionnellement distincts de la vision par ordinateur et de l'infographie. La vision par ordinateur permet à une caméra d'analyser les objets d'une image, en sélectionnant des caractéristiques comme le bord d'une table. Et les techniques de l'infographie offrent de nombreuses façons de manipuler une image numérique. Lorsque ces approches sont combinées dans une caméra dont les composants optiques sont conçus avec de tels algorithmes à l'esprit, vous pouvez faire des choses surprenantes. Par exemple, vous pouvez, en effet, régler la source lumineuse après la prise de la photo, de sorte qu'un objet éclairé sous un angle semble être éclairé sous un autre. Et vous pouvez même ajuster la mise au point sur une photo après coup.

Flou de mouvement de combat

L'un des exemples les plus convaincants de ce que la photographie informatique peut réaliser est la photographie invariante de mouvement, un moyen intelligent d'éliminer le flou des images d'objets en mouvement.

Le flou est un processus qui brouille les informations, explique Frédo Durand, professeur agrégé de génie électrique et d'informatique au MIT qui a contribué à développer cette idée. Les pixels d'une image numérique se comportent comme des carrés sur un damier, dit-il. Un motif en damier noir et blanc se déplaçant rapidement devient gris, une moyenne des carrés noirs et blancs. Mais si vous savez précisément comment le damier a été déplacé, par exemple en le faisant tourner autour d'un point au centre ou en le secouant de haut en bas, vous pouvez écrire une fonction mathématique pour décrire le flou basé sur le mouvement. Une fois que vous connaissez cette fonction, vous pouvez l'inverser pour supprimer le flou.

Durand et ses collègues, dont Anat Levin, chercheur postdoctoral, et Bill Freeman, professeur de génie électrique et d'informatique au MIT, ont conçu un appareil photo qui peut tirer parti de ce principe pour supprimer le flou d'une image d'un objet qui voyage dans une ligne droite, comme une voiture roulant sur la route. La clé est de faire quelque chose de contre-intuitif, dit Durand : Nous créons Suite flou en déplaçant l'appareil photo pendant l'exposition.

La caméra de test des chercheurs est dotée d'un système optique qui se déplace d'avant en arrière le long d'une ligne droite, brouillant l'image entière. En raison de la façon dont le capteur se déplace d'avant en arrière, il y aura au moins un moment pendant l'exposition où l'appareil photo suit parfaitement l'objet photographié, permettant à l'appareil photo de capturer des informations précises sur la structure visuelle de l'objet, quelle que soit sa vitesse. Ces informations permettent aux chercheurs d'écrire une équation définissant le flou basé sur le mouvement, puis d'éliminer la vitesse de cette équation. En inversant l'équation, ils peuvent reconstruire une image sans aucun flou (voir Éliminer le flou de mouvement, p. M14) .

Dans cet appareil photo, contrairement à un modèle typique, le travail de l'optique n'est pas de former directement l'image finale, explique Durand. Au lieu de cela, dans un sens, il s'agit de mélanger les rayons lumineux afin que ce qui est enregistré par le capteur nous donne accès à plus d'informations.

Mise au point précise

L'un des inconvénients des téléphones portables et des appareils photo compacts est qu'ils n'ont pas le contrôle de la mise au point du reflex. Avec un appareil photo reflex, l'objectif peut être déplacé pour changer ce qui est mis au point. En ajustant l'ouverture, un photographe peut obtenir une photo dans laquelle un sujet au premier plan est clairement mis au point, tandis que l'arrière-plan est volontairement flou pour atténuer les éléments gênants. Cependant, les reflex sont chers et difficiles à utiliser pour les amateurs. Les chercheurs en photographie informatique tentent de développer un appareil photo simple à objectif fixe pour téléphone portable qui permet à quiconque d'obtenir facilement de tels effets. Ils espèrent également donner aux photographes la possibilité de choisir les objets sur lesquels ils souhaitent faire la mise au point après la prise de vue.

Les caméras sont conçues pour se concentrer sur des objets dans une plage donnée. Lorsqu'une caméra se concentre sur un objet particulier, l'objectif concentre la lumière réfléchie par cet objet sur le réseau de capteurs. La lumière réfléchie par les objets qui ne sont pas au point atteint toujours les capteurs, mais elle n'est pas concentrée, ce qui entraîne une image floue. Si une caméra n'est pas parfaitement focalisée, dit Durand, alors l'objectif projettera des points de la scène sur le capteur sous forme de disques plutôt que de points.

Si les distances entre l'appareil photo et les objets d'une image sont connues, un algorithme peut être appliqué aux données d'image pour accentuer les parties floues d'une image, convertissant les disques de lumière flous en points focalisés. Cependant, les caméras conventionnelles ne peuvent pas déterminer elles-mêmes ces informations de profondeur.

Pour extraire des informations de profondeur d'une photographie, Durand, Freeman et d'autres collègues ont modifié un objectif existant avec un masque inséré dans l'ouverture. Essentiellement, le masque est un morceau de carton qui bloque une partie de la lumière pour changer subtilement l'apparence des parties floues de l'image. Durand explique que le flou indifférencié causé par un objectif flou ordinaire ne fournit pas suffisamment d'indices qui pourraient être utilisés pour reconstruire une image claire. Mais leur masque change ce flou uniforme en ce qu'il appelle un désordre étrange mais structuré. Les stries et autres caractéristiques inhabituelles de l'image floue aident les chercheurs à récupérer des informations sur la profondeur : grâce à la façon dont le masque bloque la lumière dans l'ouverture de la caméra, un objet à 10 pieds de la caméra sera flou différemment d'un objet à cinq pouces de distance. Parce qu'ils connaissent la forme du masque, les chercheurs ont pu définir mathématiquement le flou associé à chaque profondeur, leur permettant de concevoir un algorithme qui peut le défaire. (voir photographies des ouvertures conventionnelles et codées et Extraction des informations de profondeur, p. M15) .

Une autre stratégie pour améliorer la mise au point, en particulier dans un simple appareil photo de téléphone portable, est similaire à la technique de Durand pour traiter le flou de mouvement. La grande ouverture d'un reflex lui confère une faible profondeur de champ (la plage de distances de l'appareil photo où les objets apparaissent nettement au point), ce qui permet de faire la mise au point sur un sujet spécifique et de permettre à l'arrière-plan, au premier plan ou même aux deux de reculer, explique Raskar. Mais les photos prises avec des appareils photo de téléphones portables ordinaires, qui ont de très petites ouvertures, semblent plates car tout semble être à la même distance de l'appareil photo. Lors de la première conférence internationale de l'IEEE sur la photographie informatique, qui s'est tenue à San Francisco en avril, le postdoctorant Ankit Mohan a présenté un article qu'il a écrit avec Raskar et d'autres décrivant une technique pour simuler un objectif avec une plus grande ouverture. Ils ont démontré comment un appareil photo à objectif fixe peut être conçu de manière à ce que son objectif et son capteur bougent légèrement pendant l'exposition. En faisant varier la vitesse et la portée du mouvement, ils sont capables, en effet, de modifier la distance focale et la taille d'ouverture pour contrôler quelle partie de la photo est nette ; le reste est volontairement flouté (voir Contrôle de la mise au point pour les appareils photo à objectif fixe, p. M15) . Une telle technologie pourrait donner à un appareil photo de téléphone portable bon marché le contrôle de mise au point d'un reflex.

Réglage de l'éclairage, perspective

L'amélioration de la mise au point n'est qu'un début ; la photographie informatique pourrait également permettre aux gens d'ajuster l'éclairage d'une scène, ou même de changer la perspective de l'appareil photo, après qu'une photo a été prise. C'est le genre d'astuce que la vision par ordinateur rend possible. C'est difficile à faire si votre ordinateur n'a une compréhension de l'image qu'au niveau des pixels, explique Freeman. Mais si vous pouvez donner à l'ordinateur une compréhension de cette image en termes de concepts de niveau supérieur, comme l'éclairage ou la forme, alors vous pouvez laisser l'utilisateur ajuster les boutons contrôlant ces quantités.

Cette compréhension de niveau supérieur provient d'algorithmes d'analyse d'images qui permettent à un ordinateur de voir les composants d'une image. Par exemple, un algorithme peut identifier quelles composantes de l'image sont dues à la coloration de la surface d'un objet et lesquelles sont dues à la modulation de la lumière réfléchie par sa forme. Une fois cela connu, un utilisateur peut régler indépendamment la coloration de la surface et les effets d'éclairage. L'objectif est de construire un système capable d'identifier, disons, où se termine le bord d'un morceau sombre de côte de bœuf et où commence l'ombre qu'il projette sur une assiette.

De telles techniques, dit Raskar, pourraient révéler des détails – tels que des expressions faciales subtiles – qui auraient auparavant été obscurcis par des ombres. En bref, les caméras pourront capturer de plus près l'essence d'une scène. Lorsque vous marchez dans la rue avec un ami, vous pouvez être dans n'importe quel type d'éclairage et vous pouvez voir à quel point cette personne est belle, dit-il. Pour le moment, une photo ne peut pas faire ça. Mais les techniques informatiques réduisent l'écart qui sépare encore l'œil et le cerveau de la caméra. Dans dix ans, dit-il, c'est peut-être exactement ce qu'une photographie peut faire.

cacher