Découvrez l'interface agile du futur

Kinect de Microsoft, une caméra 3D et un logiciel pour les jeux, a eu un grand impact depuis son lancement en 2010. Huit millions d'appareils ont été vendus au cours des deux premiers mois du produit sur le marché alors que les gens réclamaient de jouer à des jeux vidéo avec tout leur corps dans lieu de contrôleurs portables. Mais alors que Kinect est idéal pour les jeux de tout le corps, il n'est pas utile comme interface pour l'informatique personnelle, en partie parce que ses algorithmes ne peuvent pas détecter rapidement et avec précision les mouvements de la main et des doigts.

Doigt de souris : 3Gear utilise des caméras à détection de profondeur pour suivre les mouvements des doigts.

Maintenant, une startup basée à San Francisco appelée 3Gear a développé une interface gestuelle qui peut suivre les doigts en mouvement rapide. Aujourd'hui, la société publiera une première version de son logiciel pour les programmeurs. La configuration nécessite deux caméras 3D positionnées au-dessus de l'utilisateur à droite et à gauche.

L'espoir est que les développeurs créeront des applications utiles qui élargiront la portée des algorithmes de suivi manuel de 3Gear. Finalement, dit Robert Wang, cofondateur de l'entreprise, la technologie de 3Gear pourrait être utilisée par les ingénieurs pour fabriquer des objets 3D, par les joueurs qui veulent un jeu de précision, par les chirurgiens qui ont besoin de manipuler des données 3D pendant les opérations, et par tous ceux qui veulent un ordinateur pour faire ses enchères d'un geste du doigt.

Un problème avec les interfaces gestuelles, ainsi que les écrans de bureau à écran tactile, est qu'elles peuvent être inconfortables à utiliser. Ils conduisent parfois à une douleur surnommée bras de gorille. En conséquence, dit Wang, 3Gear s'est concentré sur la pratique et le confort de son interface gestuelle.

Si je veux travailler à mon bureau et utiliser des gestes, je ne peux pas le faire toute la journée, dit-il. Ce n'est pas précis, et ce n'est pas ergonomique.

La clé, dit Wang, est d'utiliser deux caméras 3D au-dessus des mains. Ils sont actuellement montés sur un cadre métallique, mais pourraient éventuellement être clipsés sur un moniteur. Une vue d'en haut signifie que les mains peuvent reposer sur un bureau ou rester sur un clavier. (Bien que le kit de développement logiciel 3Gear soit gratuit pendant sa version bêta publique, qui dure jusqu'au 30 novembre, les développeurs doivent acheter leur propre matériel, y compris les caméras et le cadre.)

D'autres projets ont remplacé les écrans tactiles par des capteurs placés sur le bureau et pointés vers l'écran, obligeant toujours l'utilisateur à tendre la main vers l'avant, loin du clavier, dit Daniel wigdor , professeur d'informatique à l'Université de Toronto et auteur de Brave GRAND monde , un livre sur les interfaces tactiles et gestuelles. Cette solution essaie de résoudre ce problème.

3Gear n'est pas le seul à vouloir s'attaquer aux subtilités du suivi des gestes. Plus tôt cette année, Microsoft a publié une mise à jour qui a permis aux personnes qui développent le logiciel Kinect pour Windows de suivre la position de la tête, l'emplacement des sourcils et la forme d'une bouche. De plus, la startup israélienne Omek , startup belge SoftKinetic , et une startup de San Francisco appelée Mouvement de saut – qui prétend que son petit système à caméra unique suivra les mouvements au centième de millimètre – se battent tous pour une position sur le marché naissant des interfaces gestuelles.

Le suivi des mains est un problème difficile et de longue date, dit Patrick Baudisch , professeur d'informatique à l'Institut Hasso-Plattner de Potsdam, en Allemagne. Il note qu'il existe une tradition d'utilisation de gants encombrants ou de marqueurs de couleur sur les doigts pour réaliser ce type de suivi. Une interface sans ces extras est hautement souhaitable, dit Baudisch.

Le système de 3Gear utilise deux caméras de profondeur (du même type que celles utilisées avec Kinect) qui capturent 30 images par seconde. La position des mains et des doigts d'un utilisateur est associée à une base de données de 30 000 configurations potentielles de mains et de doigts. Le processus d'identification et de mise en correspondance avec la base de données - une approche bien connue dans le domaine de la reconnaissance des gestes - se déroule en 33 millisecondes, dit Wang, donc on a l'impression que l'ordinateur peut voir et répondre même à un mouvement de doigt d'un millimètre presque instantanément.

Même avec l'intérêt croissant pour la reconnaissance des gestes pour les mains et les doigts, il faudra peut-être du temps pour que les non-joueurs et les non-ingénieurs adoptent largement la technologie.

Dans le scénario de l'espace de bureau et de la productivité, c'est une vente beaucoup plus difficile, note Johnny Lee , qui travaillait auparavant chez Microsoft dans l'équipe Kinect et travaille maintenant chez Google. Vous devez rivaliser avec la souris, le clavier et l'écran tactile devant vous. Pourtant, dit Lee, il est ravi de voir le type d'applications qui émergeront à mesure que le prix des caméras de profondeur baisse, les algorithmes de détection 3D continuent de s'améliorer et de plus en plus de développeurs considèrent les gestes comme un moyen utile d'interagir avec les machines.

cacher