Kinect transforme n'importe quelle surface en écran tactile

Un nouveau prototype peut transformer un bloc-notes en ordinateur bloc-notes, un mur en écran interactif et la paume de votre main en écran de téléphone intelligent. En fait, des chercheurs de Microsoft et de l'Université Carnegie Mellon affirment que leur nouvel appareil monté sur l'épaule, appelé OmniTouch, peut transformer n'importe quelle surface à proximité en un écran tactile interactif ad hoc.

Écran pratique : Un système de validation de principe permet aux téléphones intelligents d'utiliser pratiquement n'importe quelle surface comme écran interactif tactile.

OmniTouch fonctionne en réunissant un projecteur miniature et une caméra de profondeur infrarouge, similaire à celle utilisée dans la console de jeu Kinect de Microsoft, pour créer un système porté à l'épaule conçu pour s'interfacer avec des appareils mobiles tels que des téléphones intelligents, explique le co-inventeur. Chris Harrison , chercheur de troisième cycle au Carnegie Mellon’s Human-Computer Interaction Institute à Pittsburgh et ancien stagiaire à Microsoft Research. Au lieu de s'appuyer sur des écrans, des boutons ou des touches, le système surveille l'environnement de l'utilisateur pour toutes les surfaces disponibles et projette un affichage interactif sur une ou plusieurs d'entre elles.

OmniTouch le fait automatiquement, en utilisant les informations de profondeur fournies par la caméra pour créer un modèle 3D de l'environnement, explique Harrison. La caméra acquiert des informations de profondeur sur la scène en émettant un faisceau de lumière infrarouge à motifs et en utilisant les réflexions pour calculer où se trouvent les surfaces dans la pièce. Cela élimine le besoin de marqueurs d'étalonnage externes. Le système reconstruit le modèle dynamiquement au fur et à mesure que l'utilisateur ou la surface se déplace - par exemple, la position d'une main ou l'angle ou l'orientation d'un livre - de sorte que la taille, la forme et la position de ces projections correspondent à celles des surfaces d'affichage improvisées, il dit. OmniTouch découvre ce qui se trouve devant vous et y adapte tout.

Le système surveille également l'environnement pour tout ce qui est cylindrique et approximativement de la taille d'un doigt pour déterminer lorsque l'utilisateur interagit avec, encore une fois en utilisant des informations de profondeur pour déterminer quand un doigt ou des doigts entrent en contact avec une surface. Cela permet aux utilisateurs d'interagir avec des surfaces arbitraires comme ils le feraient avec un écran tactile, explique Harrison. De même, les objets et les icônes sur les écrans ad hoc peuvent être glissés et pincés pour faire défiler et zoomer, un peu comme sur un écran tactile traditionnel. Dans une application artistique de démonstration, par exemple, OmniTouch a utilisé un mur ou une table à proximité comme toile et la paume de la main de l'utilisateur comme palette de couleurs.

La configuration montée sur l'épaule est complètement impraticable, admet Hrvoje Benko , un chercheur du groupe Natural Interaction Research chez Microsoft Research à Redmond, Washington, qui a également travaillé sur le projet, avec son collègue Andrew Wilson . Mais ce n'est pas l'endroit où vous le montez qui compte, dit-il. La motivation principale était de pousser cette idée de transformer n'importe quelle surface disponible en une surface interactive. Tous les composants utilisés dans OmniTouch sont prêts à l'emploi et rétrécissent constamment. Donc, je ne pense pas que nous soyons si loin d'être transformés en pendentif ou attachés à des lunettes, dit Benko.

Duncan Brumby , chercheur à l'University College London Interaction Center, en Angleterre, appelle OmniTouch une forme d'interaction amusante et originale. La taille des écrans des appareils mobiles peut être limitée, dit-il. Il y a un intérêt croissant pour ce domaine d'avoir des écrans omniprésents et intangibles intégrés dans l'environnement, dit-il. Et bien que les nouvelles générations de téléphones intelligents aient tendance à avoir des écrans de meilleure qualité, Brumby estime que les utilisateurs seraient prêts à accepter des images projetées de moins bonne qualité, avec les bonnes applications.

Précisément quelles applications sont difficiles à prévoir, dit Harrison. C'est une technologie habilitante, tout comme les écrans tactiles. Les écrans tactiles eux-mêmes ne sont pas si excitants, dit-il, c'est ce que vous faites avec eux. Mais l'équipe a construit plusieurs exemples d'applications ; l'un permet aux utilisateurs d'annoter virtuellement un document physique, et un autre intègre des gestes de la main pour permettre à OmniTouch de déduire si les informations affichées doivent être rendues publiques ou gardées privées.

L'utilisation de surfaces comme celle-ci n'est pas nouvelle, dit Pranav Mistry chercheur au Media Labs du MIT. En effet, il y a deux ans, Mistry a fait la démonstration d'un système appelé Sixième sens , qui projetait des écrans d'un pendentif sur des surfaces voisines. Dans la version originale, Mistry utilisait des marqueurs pour détecter les doigts de l'utilisateur, mais il dit que depuis lors, il utilise également une caméra de profondeur. La nouveauté ici [avec OmniTouch] est la technologie, dit-il. La nouveauté est la précision et le rend plus robuste.

En effet, l'équipe OmniTouch a testé le système sur 12 sujets pour voir comment il se compare aux écrans tactiles traditionnels. Présenter leurs conclusions cette semaine à l'ACM Symposium sur Logiciel d'interface utilisateur et technologie à Santa Barbara, l'équipe a montré qu'il était possible d'afficher des boutons incroyablement petits, de seulement 16,2 millimètres, avant que les utilisateurs n'aient du mal à cliquer dessus. Avec un écran tactile traditionnel, la limite inférieure est généralement d'environ 15 millimètres, explique Harrison.

cacher