Comment modifier l'appareil photo d'un smartphone pour qu'il enregistre un million d'images par seconde

xiaojie2020

Dans les années 1930, un jeune ingénieur électricien nommé Harold Edgerton a commencé à expérimenter la photographie au flash électronique au MIT. Il l'a utilisé pour figer l'action d'objets du quotidien tels qu'un jet d'eau, un ballon qui éclate et une balle frappant une pomme.

Edgerton a ensuite été le pionnier d'une large gamme de techniques à un ou plusieurs flashs (ainsi que de nombreuses autres techniques d'imagerie). Beaucoup d'entre eux sont désormais disponibles en standard sur les appareils photo et smartphones populaires.

Depuis lors, les vitesses d'obturation ont légèrement augmenté. Certains iPhones peuvent prendre des images uniques avec une vitesse d'obturation de 1/10 000e de seconde. Les caméras spécialisées peuvent enregistrer des images au rythme de 40 000 par seconde. Mais ce genre d'engin est complexe et coûteux, donc ces techniques sont inaccessibles pour la plupart des gens.

Aujourd'hui, cela semble sur le point de changer grâce au travail de Sam Dillavou de l'Université de Harvard et de quelques collègues, qui ont développé une technique qui permet aux caméras électroniques et aux smartphones ordinaires d'enregistrer des images à la vitesse époustouflante de millions d'images par seconde.

Tout d'abord un peu de contexte. Les caméras modernes utilisent des pixels électroniques pour enregistrer la lumière qui les frappe. Ces pixels enregistrent l'intensité, généralement sur une échelle de 16 niveaux. Ceci est déterminé par le niveau de bit des pixels. Ainsi lors d'une exposition, chaque pixel peut enregistrer 14 nuances de gris entre le noir et le blanc.

Mais pour de nombreux types d'imagerie, ce niveau de détail n'est pas nécessaire : il suffit d'une simple image en noir ou blanc. Dans ce cas, le détail gris supplémentaire est redondant.

Cela a donné à Dillavou et à ses collègues une idée pour séparer des images uniques en plusieurs expositions plus courtes.

Voici comment. Imaginez un mur blanc recouvert d'un rideau noir. Ouvrez maintenant le rideau de gauche à droite pour révéler le mur et enregistrez le mouvement en une seule exposition.

Pendant l'exposition, les pixels sur le côté gauche de l'image enregistrent d'abord le rideau noir, puis le mur blanc lorsque le rideau se déplace dans le cadre. Cela correspond en moyenne à un gris clair.

En revanche, les pixels enregistrant le côté droit de l'image voient le rideau noir pendant la majeure partie de l'exposition. Ce n'est qu'à la fin de l'exposition que le mur blanc se révèle. Dans ce cas, la moyenne est un gris foncé.

De même, les pixels au milieu de l'image enregistreront un gris moyen. Et l'image finale apparaît sous la forme d'un dégradé de gris, qui représente le mouvement du rideau.

L'idée clé de Dillavou et ses collègues est que cette image unique peut être considérée comme autant d'instantanés en noir et blanc du rideau en mouvement superposés les uns aux autres. En effet, le nombre d'images pouvant être extraites d'une seule image dépend du nombre de niveaux de bits enregistrés par les pixels.

Forts de cette idée, ils ont développé une technique mathématique pour extraire ces images d'une seule image, une idée qu'ils appellent la technique du cadre virtuel. Dans ce cas, il peut créer 16 images du rideau se déplaçant sur le mur.

Cette technique a le potentiel de transformer presque n'importe quel appareil photo électronique en une merveille à grande vitesse. L'équipe l'a testé en comparant les images virtuelles avec celles prises par une caméra à haute vitesse enregistrant à 40 000 images par seconde.

Ils ont placé une feuille de caoutchouc étirée devant un séparateur de faisceau qui envoyait la lumière aux deux caméras, de sorte que les deux avaient la même vue de la feuille. L'équipe a configuré l'éclairage de manière à ce que la feuille de caoutchouc apparaisse noire tandis que le fond apparaissait blanc. Ils ont utilisé un scalpel pour entailler la feuille de caoutchouc et ont enregistré la façon dont elle s'est fendue avec les deux caméras alors que la fracture traversait la feuille.

Enfin, l'équipe a utilisé la technique de l'image virtuelle pour extraire des images à fréquence d'images élevée et les comparer avec celles de la caméra à haute vitesse filmant à 40 000 images par seconde. Une vidéo de cette comparaison est téléchargeable ici .

Les résultats montrent que la technique du cadre virtuel a un énorme potentiel. Premièrement, les deux ensembles d'images montrent un processus de fracturation similaire, ce qui confirme le mérite de l'approche. Mais il présente également un certain nombre d'avantages non négligeables. Il enregistre 1,3 mégapixels dans chaque image, par rapport aux 60 kilopixels de l'appareil photo standard. Cela augmente considérablement le champ de vision et donc la distance sur laquelle la fracture peut être enregistrée.

La fréquence d'images virtuelle est également beaucoup plus rapide. La fréquence d'images effective obtenue en utilisant [la technique de cadrage virtuel] est de 1 MHz, disent Dillavou et co.

Ils étudient ensuite comment l'application de la nouvelle technique à une variété de caméras différentes augmente leurs fréquences d'images. Les chiffres sont révélateurs. À titre d'exemple, le Nikon D850 enregistre des images virtuelles à 16 MHz tout en conservant une résolution supérieure à 50 Mpx, disent-ils. Même un iPhone X est capable d'enregistrer jusqu'à un million d'images par seconde en utilisant cette technique.

Il y a peu de raisons de penser que cela ne peut pas être géré facilement, car tout le traitement est effectué plus tard. Cette fréquence d'images virtuelle améliorée ne nécessite aucun changement dans le fonctionnement de la caméra, explique l'équipe.

Cependant, il existe des limites importantes aux types de phénomènes qui peuvent être enregistrés de cette manière. Tout d'abord, l'objet d'intérêt doit être noir sur fond blanc (ou vice versa). Tout gris dans la scène ruinera les résultats.

Et le phénomène lui-même doit être ce que Dillavou et co appellent monotone. En d'autres termes, tout changement au cours d'une exposition doit passer du noir au blanc (ou vice versa) mais pas revenir en arrière. Dans l'exemple avec rideau, la technique du cadre virtuel fonctionne si le rideau se déplace dans une direction mais pas s'il se déplace d'avant en arrière.

Néanmoins, la technique du cadre virtuel est une avancée significative pour la photographie. Il a le potentiel de transformer l'appareil photo du smartphone dans votre poche arrière en un enregistreur à grande vitesse, ce qui aurait impressionné même Doc Edgerton.

Réf : arxiv.org/abs/1811.02936 : Technique d'image virtuelle : imagerie ultra-rapide avec n'importe quelle caméra

cacher