Les pirates élèvent le Kinect à de nouveaux niveaux

Peu de temps après que Microsoft a sorti l'appareil de jeu Kinect, les pirates ont trouvé un moyen d'extraire des données brutes du système, élargissant radicalement ses utilisations potentielles. Les passionnés ont utilisé le matériel pour dessiner des griffonnages 3D dans les airs avec des mouvements de la main, pour jouer avec des personnages virtuels à l'écran et permettre à un robot de reconnaître les gestes et de cartographier son environnement.

Salut de la main: Un plug-in logiciel appelé DepthJS permet de contrôler un navigateur Web à l'aide du Kinect.

Mais l'un des plus grands objectifs des pirates Kinect - contrôler un ordinateur avec des gestes - s'avère difficile à atteindre.

Des chercheurs du Media Lab du MIT ont créé une nouvelle extension de navigateur Web Chrome qui permet aux utilisateurs d'interagir avec n'importe quelle page Web via le Kinect si l'appareil est connecté à un ordinateur. Leur projet est un cas de test pour la promesse et les limites du piratage du périphérique de jeu de Microsoft pour des utilisations non liées au jeu.

L'extension, appelée ProfondeurJS , utilise JavaScript pour traduire un petit nombre de gestes de la main en commandes pouvant être exécutées par le navigateur. Par exemple, un mouvement rapide du bras vers la gauche permet de basculer entre les fenêtres de navigateur ouvertes. Ouvrir et fermer une main agit rapidement comme un clic de souris.

Le but n'est pas vraiment d'utiliser la Kinect comme un moyen pratique de naviguer sur le Web. Au lieu de cela, DepthJS est censé servir d'interface entre une variété d'applications Web et les gestes capturés par Kinect.

Pour intégrer les événements de Kinect dans le navigateur Web, il s'agit de réduire le coût d'entrée pour explorer et créer des applications à l'aide d'informations approfondies, explique Doug Fritz du groupe Fluid Interfaces du MIT, qui a travaillé sur le projet. Les utilisateurs d'ordinateurs passent la plupart de leur temps dans le navigateur Web, note Fritz. Et la plupart des programmeurs informatiques (en particulier les développeurs Web) savent utiliser JavaScript. Cela en fait un point d'entrée facile pour la programmation Kinect.

Un problème est que contrairement à l'utilisation d'une souris, d'un clavier ou d'un écran tactile, il n'existe pas de vocabulaire largement reconnu (ou naturellement intuitif) pour l'informatique gestuelle. Microsoft a développé un petit nombre de gestes pour permettre aux utilisateurs de Kinect de naviguer dans les menus et de parcourir les médias sur la Xbox.

La plupart d'entre nous n'avaient même pas utilisé de Kinect avec la Xbox avant de commencer à travailler, nous n'étions donc pas vraiment gênés par le langage gestuel développé par Microsoft, explique Fritz. L'équipe s'est inspirée des gestes multitouch de l'iPhone et du travail du pionnier de l'informatique 3D John Underkoffler . Étonnamment, certains des gestes créés pour DepthJS sont similaires à ceux proposés par Microsoft. À l'heure actuelle, nous sommes dans cet état de changement rapide où les gens remixent des techniques d'interaction familières avec ce qui semble naturel, a déclaré Fritz.

Limor Fried et Phillip Torrone d'Adafruit Industries, une entreprise qui fournit de l'équipement aux pirates informatiques, ont aidé à lancer la course au piratage du Kinect en versant une prime de 3 000 $ pour un logiciel qui pourrait connecter l'appareil à un ordinateur ordinaire.

Tous deux sont enthousiasmés par l'avenir du Kinect en tant que capteur standard pour tout, de la robotique haut de gamme aux projets artistiques. Les développeurs ont créé un flux constant de vidéos de différentes applications utilisant le Kinect. Ces vidéos ne sont en réalité que des preuves de concept qui montrent certaines des possibilités de développement ultérieur, explique Fried.

L'une des vidéos les plus populaires est celle d'une marionnette interactive en 3D. C'est amusant, c'est intuitif, et c'est quelque chose qui serait vraiment difficile à faire sans ce composant bon marché et prêt à l'emploi. Comme vous bri En abaissant les barrières, les gens ont de la place pour faire preuve de créativité.

Fritz du MIT s'empresse de noter que l'informatique d'interface utilisateur naturelle en trois dimensions utilisant la reconnaissance gestuelle et les capteurs de profondeur est en jeu dans la communauté des chercheurs depuis des années. Le Kinect est un appareil de rupture en termes d'emballage et de mise en œuvre de ces technologies pour les consommateurs. Plus les utilisateurs se familiarisent avec celui-ci, plus ils sont susceptibles de le traduire dans des sphères au-delà du jeu.

Le clavier et la souris ne vont nulle part, mais il y a beaucoup d'espace pour quelque chose de plus, et je pense que les gens sont prêts pour cela, dit Fritz.

Mais tout effort pour traduire les gestes à l'écran se heurte inévitablement au fait que nous sommes toujours des êtres tridimensionnels essayant d'interagir avec un monde bidimensionnel. La plupart des jeux Kinect résolvent ce problème en nous associant à un avatar à l'écran qui imite nos mouvements. Que nous dansions, jouions au volley-ball ou au rafting, les personnages à l'écran exécutent une version stylisée de nos mouvements hors écran.

Une solution pourrait être d'utiliser des projecteurs de lumière pour créer des objets virtuels dans l'espace réel avec lesquels nous pouvons interagir. Microsoft Research a déjà fait des pas dans cette direction avec Mobile Surface, un environnement multitouch basé sur un projecteur.

cacher