Tenez votre main pour jouer de la musique

Lorsque Navneet Dalal écoute de la musique sur son ordinateur, il ne veut pas que les touches du clavier ou les clics de la souris interrompent l'expérience. Il préfère simplement tenir une paume ouverte pour jouer ou mettre en pause les airs.

Dalal est cofondateur de Battement , une startup qui propose un logiciel simple qui permet aux utilisateurs de contrôler des applications informatiques ordinaires avec des gestes aussi simples. Flutter apparaît alors que les commandes gestuelles deviennent de plus en plus populaires sur les appareils grand public : le capteur de mouvement Kinect de Microsoft l'a apporté à la Xbox, et la société vend désormais une configuration Kinect pour Windows qui encourage les utilisateurs à créer des applications utilisant la technologie. Samsung, quant à lui, a ajouté une technologie de contrôle gestuel à certains de ses téléviseurs.

Contrairement au logiciel de contrôle gestuel existant qui n'est disponible que sur certains appareils ou qui nécessite un matériel spécial, Flutter utilise une webcam ordinaire. Tout le monde peut télécharger le logiciel gratuit, qui a été publié dans une phase de test alpha publique le mois dernier (il est actuellement disponible uniquement pour les Mac). Les utilisateurs de Flutter peuvent contrôler les fonctions de lecture et de pause sur iTunes et Spotify en tenant une paume plate et ouverte.

Si Dalal et son cofondateur, Mehul Nariyawala, réussissent, ce ne sera que le début. Avec des milliards d'ordinateurs portables, de téléphones intelligents et de tablettes dotés déjà d'appareils photo intégrés, et plus encore, Flutter envisage un avenir pas si lointain où vous pourrez utiliser des gestes pour contrôler toutes sortes d'applications et de jeux. Pour l'instant, l'idée fait son chemin. Plus de 20 000 personnes ont téléchargé le logiciel depuis sa sortie en mars.

Flutter n'utilise pas la webcam de votre ordinateur pour rechercher des mouvements ; au lieu de cela, il détermine si une paume ouverte est présente ou non. Les algorithmes du programme traitent les informations de l'image et déterminent l'action à entreprendre. Encore une fois, ces actions sont actuellement limitées à la pause ou à la lecture de musique ou de vidéos dans iTunes et de musique dans Spotify, mais Flutter prévoit d'activer davantage de gestes et la possibilité de contrôler davantage de contenu vidéo.

L'entreprise pense que les commandes gestuelles doivent être simples et elle souhaite que l'action de contrôler une application ou un jeu soit naturelle. Nous traitons cette webcam comme l'œil de la machine. Et notre processus de pensée est que les machines et les humains devraient interagir de la même manière que deux humains avec des yeux devraient interagir, dit Nariyawala.

Alors que le Kinect nécessite du temps pour s'étalonner lorsque vous le démarrez et est sensible à la lumière du soleil, Flutter n'a pas besoin de temps d'étalonnage, dit Dalal, et fonctionnera dans toutes les conditions d'éclairage, sauf dans l'obscurité totale. Son logiciel ignorera également les mouvements de fond, comme quelqu'un marchant derrière vous, dit-il.

Mais comme le suggère la désignation alpha, c'est encore assez capricieux. J'ai essayé Flutter sur un MacBook Pro et j'ai découvert que même s'il pouvait certainement lire et mettre en pause la musique sur commande, il interprétait souvent ma main qui s'éloignait de l'écran après le geste comme un geste supplémentaire et rallumerait la musique après l'avoir interrompue. (ou l'inverse). Nariyawala dit qu'ils ont résolu de nombreux problèmes avec le logiciel, mais qu'ils travaillent toujours à éliminer ces faux positifs.

Flutter devra peut-être aussi gagner certains sceptiques. Sidhant Gupta , un étudiant diplômé et chercheur à l'Université de Washington qui construit et conçoit des systèmes d'interaction et de détection, dit que le logiciel ne semble pas très différent des autres efforts qu'il a vus de Toshiba et de la startup israélienne eyeSight. Mais il pense que cela pourrait fonctionner dans le cadre d'un système de reconnaissance des gestes plus puissant s'il est combiné avec un capteur de profondeur 3D et un capteur sonique de type Kinect.

Dalal et Nariyawala ont de nombreux ajouts en préparation. Dans les mois à venir, ils ont l'intention de permettre à Flutter de contrôler les vidéos Netflix et YouTube et de déployer des commandes gestuelles supplémentaires telles que sauter en avant ou en arrière et augmenter ou baisser le volume.

Ils m'ont montré une démo d'un jeu vidéo à deux joueurs qu'ils ont construit. Les joueurs utilisent leurs mains pour intercepter les étoiles filantes bleues qui volent à travers l'écran, les faisant exploser dans une pluie de rouge et de jaune. Le jeu est simple, mais il ne nécessitait pas plus de temps de démarrage qu'une application informatique moyenne et semblait interpréter avec précision les gestes de ses créateurs.

À l'avenir, la société envisage de facturer certaines fonctionnalités avancées. Flutter peut essayer de gagner de l'argent en laissant les développeurs d'applications utiliser son logiciel, Flutter prenant une part des revenus qui en résultent. L'entreprise peut également licencier son logiciel aux fabricants d'appareils afin qu'il puisse être inclus dans de nouveaux gadgets. Pour l'instant, cependant, Dalal et Nariyawala offrent le logiciel gratuitement pendant qu'ils résolvent les problèmes.

Nous voulons que ce soit aussi fluide et homogène que possible, dit Dalal.

cacher