Une caméra qui voit comme l'œil humain

La rétine est un outil extrêmement puissant. Il trie d'énormes quantités de données tout en ne fonctionnant qu'avec une fraction de la puissance dont un appareil photo numérique et un ordinateur conventionnels auraient besoin pour effectuer la même tâche.

Vision dynamique : La force de la caméra réside dans la capture du mouvement, comme les gouttes de lait que l'on voit ici.

Maintenant, les ingénieurs d'une entreprise appelée iniLabs en Suisse appliquent les leçons de la biologie dans le but de construire un appareil photo numérique plus efficace inspiré de la rétine humaine.

Comme les neurones individuels dans nos yeux, la nouvelle caméra, nommée Dynamic Vision Sensor (DVS), ne répond qu'aux changements dans une scène donnée. Cette approche élimine de larges bandes de données redondantes et pourrait être utile dans de nombreux domaines, notamment la surveillance, la robotique et la microscopie.

Votre œil et mon œil sont aussi des appareils photo numériques. [Ils sont] juste un autre type d'appareil photo numérique, déclare Tobi Delbruck, directeur scientifique d'iniLabs. Nous avions une vision industrielle aussi bonne que possible avec l'architecture et le matériel existants. Mais comparée à la biologie, la vision artificielle est pathétiquement pauvre.

Une caméra ordinaire capte tout ce qu'elle voit, stockant les informations à traiter plus tard. Cela consomme beaucoup d'énergie et beaucoup d'espace. Les neurones de l'œil, cependant, ne se déclenchent que lorsqu'ils détectent un changement, par exemple lorsqu'une partie particulière d'une scène devient plus lumineuse ou plus sombre. Le DVS imite cette sélectivité, transmettant des informations uniquement en réponse à un changement dans la scène. Cela prend moins d'énergie et laisse moins d'informations à traiter.

Rétine artificielle : Le capteur de vision dynamique (DVS) ne répond qu'aux changements de la scène, éliminant ainsi de larges bandes de données non pertinentes.

Cette fonction peut être particulièrement utile pour enregistrer des scènes qui ne changent pas souvent. Par exemple, lorsque les chercheurs sur le sommeil enregistrent leurs sujets sur vidéo, ils sont ensuite obligés de passer au peigne fin des heures de séquences sans incident. Avec un capteur comme le DVS, les parties actives importantes des données sont automatiquement mises en évidence.

Les pixels du DVS imitent également la façon dont un neurone oculaire individuel se calibrera à un emplacement particulier : cette cellule et les responsables d'une autre zone répondront aux données entrantes de manière légèrement différente, de sorte qu'un neurone peut être très sensible à l'entrée tandis qu'un autre prend plus de stimulation pour tirer. De même, chaque pixel du DVS ajuste sa propre exposition. Cela permet au DVS de gérer des conditions d'éclairage inégales, bien qu'il nécessite également d'énormes pixels qui sont 10 fois la taille de ceux d'un appareil photo de téléphone portable moderne.

Le DVS est conçu pour fonctionner avec la nouvelle architecture informatique TrueNorth d'IBM (voir IBM Researchers Show Blueprints for Brainlike Computing ). TrueNorth est une approche de programmation qui imite la biologie : les informations sont stockées, traitées et partagées dans un réseau de puces informatiques neuromorphiques, inspirées des réseaux neuronaux du cerveau.

Ce dont nous parlons - les caméras qui envoient des informations lorsque quelque chose change - est en fait un thème très central du fonctionnement du cerveau, ou du moins de la façon dont les neuroscientifiques pensent qu'il fonctionne, dit Nabil Imam , informaticien à l'Université Cornell, qui fait partie de l'équipe Cornell qui a aidé IBM à développer ses puces neuromorphiques. Nous capturons les caractéristiques du cerveau à un niveau élevé.

En combinant leur caméra avec l'architecture TrueNorth, Delbruck et son équipe pensent qu'ils obtiendront un appareil qui gère mieux les problèmes dynamiques en temps réel.

Le DVS est disponible à l'achat pour environ 2 700 $ et a été utilisé dans plusieurs projets de recherche, dont un qui a enregistré le trafic et un autre qui impliquait le suivi des particules dans un fluide. L'équipe prévoit de continuer à améliorer l'appareil. Les prochains objectifs sont d'ajouter une sensibilité aux couleurs et d'agrandir la rétine de la caméra par rapport à sa résolution actuelle de 240x180.

cacher