La caméra à un seul pixel atteint une étape importante en imitant la vision humaine

L'imagerie computationnelle est en pleine révolution. Il s'agit de la discipline consistant à créer des images à l'aide de techniques informatiques plutôt qu'optiques. Sa percée la plus connue est la possibilité d'enregistrer des images et des films haute résolution à l'aide d'un seul pixel. Mais les chercheurs l'ont également utilisé pour construire des caméras sans objectif, des systèmes d'imagerie 3D et plus encore.

Aujourd'hui, ils poussent la technique encore plus loin en l'utilisant pour imiter la façon dont les humains voient le monde. David Phillips de l'Université de Glasgow et quelques amis disent avoir trouvé un moyen d'utiliser un seul pixel pour créer des images dans lesquelles la zone centrale est enregistrée en haute résolution tandis que la périphérie est enregistrée en basse résolution. Cela imite exactement les systèmes de vision animale dans lesquels la rétine a une région centrale de haute acuité visuelle appelée la fovéa entourée d'une zone de résolution inférieure.

L'équipe a même montré comment déplacer la région fovéale pour suivre les objets dans le champ de vision. La technique a le potentiel de changer la façon dont de nombreux systèmes d'imagerie fonctionnent à l'avenir.

Tout d'abord un peu de contexte. Un système d'imagerie à pixel unique enregistre la lumière d'une scène en un seul point. Cette lumière doit être randomisée d'une manière ou d'une autre, par exemple en la faisant passer à travers du verre dépoli ou en la réfléchissant sur un réseau de micro-miroirs disposés de manière aléatoire.

Il est facile de penser que peu de choses peuvent être gagnées en enregistrant la lumière aléatoire de cette manière. L'astuce consiste bien sûr à prendre beaucoup d'images d'un seul pixel de cette manière. Bien que chaque point de données semble être un échantillon aléatoire de lumière, les points de données consécutifs sont corrélés car ils sont des réflexions de la même scène.

L'astuce derrière l'imagerie informatique consiste donc à utiliser un algorithme d'exploration de données pour trouver la corrélation entre des images successives. Un peu de calcul numérique peut alors recréer la scène originale.

Il s'avère que c'est relativement simple, à condition que la lumière de la scène soit correctement randomisée à chaque fois que le pixel l'enregistre. La résolution de l'image finale dépend alors du nombre de points de données utilisés pour la créer.

En d'autres termes, chaque point de données peut être considéré comme l'enregistrement d'un pixel dans l'image finale. C'est cette idée qui permet à Phillips and co de faire varier la résolution d'une image à l'autre.

Ces gars-là utilisent un réseau de micro-miroirs numériques pour randomiser la lumière d'une scène atteignant leur détecteur de lumière à pixel unique. Mais ils sont également capables de contrôler la résolution de la randomisation dans ce tableau. Ainsi, ils peuvent utiliser la randomisation haute résolution dans certaines parties de la scène pour augmenter la résolution de l'image finale. C'est l'image fovéale

Leur réseau de micro-miroirs peut afficher quelque 10 000 motifs aléatoires par seconde, ce qui leur permet de générer des images de 32 x 32 pixels à une vitesse d'environ 10 par seconde.

Pour commencer, les pixels sont carrés et de taille égale dans chaque image 32 x 32. Mais une image fovéale a des pixels plus petits et plus denses au centre et des pixels plus grands dans les périphéries.

Phillips et co y parviennent en randomisant la lumière de la scène avec une résolution plus élevée au centre de l'image.

Et les résultats sont impressionnants. L'équipe montre comment les images résultantes ont clairement une résolution plus élevée au centre. Nous avons démontré que la capacité de collecte de données d'un système d'imagerie informatique à un seul pixel peut être améliorée en imitant la vision fovéale adaptative qui est répandue dans le règne animal, disent-ils.

Mais ils montrent aussi comment il est possible de déplacer la fovéa pour suivre les objets d'intérêt d'une image à l'autre. Ils montrent même comment il est possible d'avoir deux fovéa dans une seule image pour suivre deux objets différents, prenant ainsi la technique au-delà des capacités du monde animal. Et ils démontrent la technique avec la lumière visible et infrarouge.

C'est un travail intéressant qui a des applications potentielles importantes. Le plus évident concerne les systèmes d'imagerie dans lesquels les matrices de pixels ne sont pas pratiques. Par exemple, des pixels uniques sont disponibles pour les fréquences térahertz, mais pas les matrices de pixels.

Mais la technique est plus généralement applicable. Dans tous les systèmes d'imagerie, il existe un compromis entre la résolution et la fréquence d'images. Cette technique permet d'optimiser ce compromis à la volée et permet de se concentrer sur les parties d'une image qui présentent le plus d'intérêt.

Cela pourrait être rendu beaucoup plus puissant en le combinant avec d'autres algorithmes de techniques de vision artificielle qui ont commencé à surpasser les humains dans des tâches telles que la reconnaissance des visages et des objets.

Les humains et les animaux surpassent depuis longtemps les machines dans les tâches de vision. Mais avec des techniques comme celle-ci, cette maîtrise ne durera plus longtemps.

Réf : arxiv.org/abs/1607.08236 : Imagerie adaptative fovéale à un seul pixel avec super-échantillonnage dynamique

cacher