L'algorithme qui déchiffre les images fracturées

Prenez un marteau sur un miroir et vous briserez l'image qu'il produit ainsi que le verre. Continuez à briser et l'image devient plus brisée. Lorsque les morceaux de verre ont la taille de paillettes, les reflets seront aléatoires et l'image méconnaissable.

Il est facile d'imaginer que la reconstruction de cette image serait presque impossible. Ce n'est pas le cas, disent Zhengdong Zhang et ses amis du Massachusetts Institute of Technology de Cambridge. Aujourd'hui, ces gars dévoilent SparkleVision, un algorithme de traitement d'image qui réassemble l'image brisée.

Le problème que Zhang et ses collègues attaquent est de déterminer le contenu d'une image reflétée sur un écran couvert de paillettes. L'approche consiste à photographier les paillettes, puis à traiter l'image résultante de manière à déchiffrer l'image.

Il s'avère qu'il existe un moyen simple d'aborder cela. Zhang et co considèrent chaque morceau de paillettes comme un micromiroir orienté au hasard. Ainsi, la lumière de l'image frappe un micro-miroir et est réfléchie vers un capteur à l'intérieur de l'appareil photo.

Cela signifie qu'il existe un mappage simple de chaque pixel de l'image d'origine à un capteur de l'appareil photo. La tâche consiste à déterminer ce mappage pour chaque pixel. Il existe une matrice de brouillage vers l'avant, et en principe nous pouvons trouver son inverse et déchiffrer l'image, disent-ils.

Pour trouver cette matrice de décryptage, Zhang et ses collègues font briller un ensemble d'images de test sur l'écran scintillant et enregistrent où les pixels de l'image d'origine se retrouvent dans l'appareil photo.

À partir de là, ils peuvent créer un algorithme qui désembrouille toute autre image placée exactement au même endroit que les images de test. Ils appellent cet algorithme SparkleVision.

C'est un logiciel pratique qui pourrait avoir des applications intéressantes pour récupérer des images réfléchies sur des surfaces scintillantes telles que certains types de feuillage, des surfaces humides, des métaux, etc.

Et Zhang et co espèrent rendre le logiciel plus utile. Dans sa version actuelle, le logiciel ne peut déchiffrer que les images placées à l'emplacement exact des images de test. Mais en théorie, les images de test devraient fournir suffisamment de données pour déchiffrer les images de n'importe quelle partie du champ lumineux. Ainsi, notre système pourrait être naturellement étendu pour fonctionner comme une caméra à champ clair, disent-ils.

Le travail fait partie d'un corps croissant qui révolutionne actuellement la photographie et le traitement d'image. D'autres chercheurs ont trouvé comment débrouiller les images de toutes sortes de reflets et de surfaces déformées, parfois même sans utiliser d'objectifs.

Ces caméras dites aléatoires élargissent considérablement les capacités des spécialistes de l'optique. Et SparkleVision semble prêt à prendre sa place parmi eux.

Réf : http://arxiv.org/abs/1412.7884 : SparkleVision : Voir le monde à travers des microfacettes spéculaires aléatoires

cacher