Le plan de Microsoft pour ouvrir l'ère du contrôle gestuel

Alors que la plupart des gros titres sur Microsoft cet automne concerneront son nouveau système d'exploitation, Windows 8, et sa nouvelle tablette Surface, la société travaille également dur sur un effort à long terme pour réinventer la façon dont nous interagissons avec les ordinateurs existants. L'entreprise veut qu'il soit aussi courant d'agiter les bras ou de parler à un ordinateur que d'atteindre une souris ou un écran tactile aujourd'hui.

C'est l'objectif d'un programme appelé Kinect pour Windows , qui vise à placer l'accessoire de jeu à succès Kinect partout où se trouve le système d'exploitation omniprésent de Microsoft. Il est également conçu pour permettre aux ordinateurs d'être utilisés de nouvelles manières, par exemple, par des chirurgiens qui ne veulent pas toucher un clavier avec des mains stérilisées à mi-chemin de l'opération.

Nous essayons d'encourager les développeurs [de logiciels] à créer une toute nouvelle classe d'applications contrôlées par le geste et la voix, déclare Peter Zatloukal, responsable de l'ingénierie du programme Kinect pour Windows.

Peu de temps après le lancement du Kinect, les ingénieurs logiciels ont commencé à le réutiliser pour différentes utilisations, telles que la navigation robotique ou le contrôle d'un navigateur Web (voir Hackers Take the Kinect to New Levels ). Kinect pour Windows est destiné à exploiter cet enthousiasme et à diffuser la technologie.

Zatloukal dit que le résultat sera comparable à d'autres grands changements dans la façon dont nous contrôlons les ordinateurs. Nous avons d'abord utilisé des claviers, puis la souris et les interfaces graphiques étaient une grande innovation, maintenant le toucher fait partie intégrante de la vie des gens, dit-il. La progression se fera désormais vers la voix et le geste. Les soins de santé, la fabrication et l'éducation sont tous des domaines dans lesquels Zatloukal s'attend à ce que Kinect pour Windows réussisse. Un clavier, une souris ou un écran tactile conventionnel peut être difficile à utiliser dans les salles de classe et les services hospitaliers, ou dans les usines.

Une unité Kinect utilise des caméras infrarouges et conventionnelles pour suivre les gestes et un microphone pour prendre la saisie vocale (voir Hack : Microsoft Kinect ). L'équipement Kinect pour Windows a été mis en vente en février pour 249 $ et est maintenant disponible dans 32 pays. Plus tôt ce mois-ci, Microsoft a rendu le matériel disponible pour la première fois en Chine, un pays qui compte à la fois de nombreux clients potentiels et un nombre important de fabricants d'ordinateurs.

Pour que la plate-forme atteigne des millions de personnes, Microsoft a besoin de développeurs de logiciels pour créer des applications qui tuent. En plus du matériel, la société fournit un kit de développement logiciel, ou SDK, qui propose une gamme d'outils prêts à l'emploi, notamment la reconnaissance vocale et le suivi des parties du corps. Plus tôt ce mois-ci, cela a été étendu pour permettre aux applications qui détectent les objets et les personnes à plus de quatre mètres de distance et permettent de contrôler les logiciels avec un curseur virtuel.

Nous avons ouvert beaucoup plus de données du capteur, explique Zatloukal. Par exemple, en utilisant l'infrarouge, vos applications peuvent désormais voir dans le noir. Cela pourrait permettre à un système basé sur Kinect de comprendre les gestes lorsqu'une personne regarde la télévision dans une pièce sombre.

Zatloukal ne parlera pas de la manière exacte dont Microsoft commercialisera Kinect pour Windows. Le matériel n'est actuellement proposé qu'aux développeurs de logiciels, mais si de nombreux programmes deviennent disponibles, Microsoft pourrait le proposer directement aux consommateurs, ou encourager les fabricants d'ordinateurs à le regrouper avec des ordinateurs de bureau, des ordinateurs portables ou des moniteurs à la place d'une webcam ordinaire.

Certaines grandes entreprises, dont Bloomingdale's et Nissan, collaborent avec Microsoft pour tester d'éventuelles applications. Nissan a introduit un système à commande gestuelle pour les concessionnaires qui permet aux acheteurs potentiels de regarder à l'intérieur d'une version virtuelle d'une nouvelle voiture. Pendant ce temps, apparaissent des startups qui vendent des systèmes basés sur Kinect pour Windows (voir Meet the Nimble-Fingered Interface of the Future ).

L'une de ces startups est GestSure , basée à Seattle, qui vend un produit basé sur Kinect pour Windows qui permet aux chirurgiens d'utiliser des gestes pour contrôler un ordinateur affichant des images médicales. Bien que la référence aux scans et autres images soit cruciale dans la salle d'opération, les chirurgiens ne peuvent pas utiliser un ordinateur sans toucher un contrôleur non stérilisé et avoir à nettoyer à nouveau, ou demander à une infirmière de faire fonctionner l'ordinateur pour eux. Ces deux options font perdre un temps précieux, explique Jamie Tremaine, cofondateur et PDG de la startup.

GestSure vend un boîtier qui, une fois connecté à un ordinateur de salle d'opération, attend qu'un chirurgien fasse un signe de la main spécifique, puis suit les bras du médecin pour permettre le contrôle du curseur. Lorsqu'il n'y a pas d'obstacle à la référence aux images, les chirurgiens les vérifient beaucoup plus, explique Tremaine.

Tremaine dit que la capacité du matériel Kinect à percevoir la profondeur facilite la reconnaissance et le suivi des objets, ce qui est très difficile avec un appareil photo ordinaire. Il l'emporte même sur la reconnaissance vocale, dit-il. La reconnaissance vocale est précise à 95 à 98%, donc une fois sur 50, cela ne fonctionnera pas, dit-il. Cela fonctionne comme un outil, cela fonctionnera pour vous à chaque fois.

Parmi les autres startups qui créent des produits autour de Kinect pour Windows, citons Ne pas entrer , qui l'utilise pour aider les personnes en réadaptation physique après un AVC. Les utilisateurs peuvent effectuer des exercices à la maison pendant que leur ordinateur surveille de près et donne des commentaires. Une autre compagnie, Freak'n Genius , propose un logiciel d'animation gestuelle.

Marc Bolas , professeur agrégé et directeur du Mixed Reality Lab de l'Université de Californie du Sud, affirme que la technologie de Kinect pour Windows peut aider à rendre l'utilisation des ordinateurs plus naturelle. Lorsque nous utilisons un ordinateur aujourd'hui, nous considérons notre corps comme un bout de doigt ou tout au plus deux bouts de doigts, dit-il. Mais les humains ont évolué pour communiquer avec tout leur corps.

Le groupe de recherche de Bolas expérimente l'utilisation de Kinect pour suivre des comportements très subtils, en surveillant la montée et la descente de la poitrine d'une personne pour mesurer la fréquence respiratoire, par exemple. C'est un excellent signal de stress et utile pour les téléconférences, dit-il.

L'affichage d'une indication du rythme respiratoire de quelqu'un pendant un appel vidéo permet aux autres de mieux comprendre une personne, dit-il, et peut montrer quand commencer à parler sans l'interrompre. Le groupe a également expérimenté la détection d'un langage corporel agité ou défensif tel que les bras croisés. L'espoir est de remédier aux signaux sociaux qui sont perdus lorsque les appels vidéo remplacent la communication en face à face, explique Bolas. La viande compte, dit-il, et le Kinect apporte cela à l'informatique.

cacher