Transformer une caméra de smartphone ordinaire en caméra 3D

À peu près tout le monde porte un appareil photo de nos jours en raison de la possession d'un téléphone portable, mais peu de ces appareils capturent les contours tridimensionnels des objets comme le peut une caméra de profondeur.

À la caméra: Avec quelques modifications matérielles, comme un anneau de LED proche infrarouge, une Microsoft LifeCam est adaptée pour fonctionner comme une caméra de profondeur.

Les caméras de profondeur gagnent rapidement en importance pour leur potentiel dans les appareils de poche, où l'idée est que si nos téléphones capturent les contours de tout, des coins de rue à l'aménagement de votre salon, les développeurs peuvent créer des applications allant de meilleurs jeux interactifs à utiles guides pour les malvoyants.

Pourtant, alors que des efforts comme ceux de Google Projet Tango ajoutent des caméras de profondeur dans les gadgets mobiles, nouvelle recherche de Microsoft montre qu'avec quelques modifications simples et des techniques d'apprentissage automatique, une caméra ou une webcam de smartphone ordinaire peut être utilisée comme caméra de profondeur 3D. L'idée est de faciliter l'accès au développement d'applications 3D en réduisant les coûts et les barrières techniques à l'entrée de ces appareils, et de rendre les caméras de profondeur 3D elles-mêmes beaucoup plus petites et moins gourmandes en énergie.

Les mains en l'air: Des chercheurs de Microsoft ont modifié l'appareil photo d'un smartphone afin qu'il puisse capturer la profondeur des mains et des visages.

Un groupe dirigé par Sean Ryan Fanello, Cem Keskin et Shahram Izadi de Microsoft Research doit présenter un papier sur le travail mardi à Siggraph, une conférence sur l'infographie et l'interaction à Vancouver, en Colombie-Britannique.

Pour modifier les caméras, le groupe a supprimé le filtre proche infrarouge, souvent utilisé dans les caméras de tous les jours pour bloquer les signaux lumineux normalement indésirables dans les images. Ensuite, ils ont ajouté un filtre qui ne laissait passer que la lumière infrarouge, ainsi qu'un anneau de plusieurs LED proche infrarouge bon marché. Ce faisant, ils ont essentiellement fait en sorte que chaque caméra agisse comme une caméra infrarouge.

À propos du visage : Avec quelques modifications, les chercheurs de Microsoft peuvent utiliser des caméras ordinaires pour cartographier la profondeur des mains et des visages.

Nous avons en quelque sorte retourné la caméra, note Izadi.

L'équipe Microsoft a déclaré qu'elle souhaitait utiliser l'intensité réfléchissante de la lumière infrarouge comme quelque chose comme un croisement entre un signal sonar et une torche dans une pièce sombre. La lumière rebondirait sur l'objet proche et reviendrait au capteur avec une intensité correspondante. Les objets sont brillants lorsqu'ils sont proches et sombres lorsqu'ils sont éloignés - intuitifs pour nous en ce qui concerne la lumière visible. Mais le groupe avait besoin de former les machines (dans ce cas, un smartphone Samsung Galaxy Nexus et une caméra Web Microsoft LifeCam) sur cette relation, afin que la caméra puisse déterminer si elle voyait, par exemple, une grande main au loin ou une petite main de près.

Pour ce projet, les chercheurs ont décidé de se concentrer sur un seul défi : modéliser des mains et des visages humains, pas toutes sortes d'objets et d'environnements. Après avoir construit un ensemble de données d'entraînement, qui comprenait des images de mains, le groupe a découvert qu'il pouvait mesurer les mouvements d'une personne à une vitesse de 220 images par seconde. Dans un manifestation le groupe a montré comment un tel suivi pouvait être utilisé pour naviguer sur une carte, par exemple en faisant des mouvements de préhension ou en écartant les mains, ou pour jouer à un jeu simple, comme en coupant virtuellement une banane volante dans les airs.

Main d'entraînement : Une main capturée par une caméra modifiée fonctionnant comme une caméra de profondeur (à gauche) est utilisée par l'algorithme d'apprentissage automatique des chercheurs de Microsoft pour produire une estimation de sa profondeur (à droite).

Alors que les données d'entraînement se concentraient sur les visages et les mains, le groupe n'entraînait pas réellement les machines à reconnaître les mains ou les visages, comme nous les penserions, mais uniquement les propriétés de réflexion de la peau. L'énorme quantité de données d'apprentissage permet à la machine de créer suffisamment d'associations avec les points de données dans les images pour pouvoir ensuite utiliser des propriétés supplémentaires de l'image pour estimer la profondeur. Microsoft a choisi la peau car elle a de nombreuses implications pour la navigation dans les environnements Xbox et Windows, mais Kohli souligne que les techniques d'apprentissage automatique pourraient être transférées n'importe où.

La seule limite est le type de données d'entraînement que vous lui fournissez, dit-il. L'approche en elle-même peut être adaptée pour fonctionner sur n'importe quel autre scénario.

cacher