Cette application vous permet de contrôler votre téléphone à l'aide de Sonar

Alors que je bouge ma main de gauche à droite, une fusée de style Space Invaders se déplace sur l'écran de mon iPhone. Mais mes doigts sont à au moins six pouces du combiné, car je contrôle en fait le jeu via le sonar, qui est généré par le matériel d'origine du téléphone.

Ceci est rendu possible par un logiciel conçu par Wei Wang et Alex X. Liu du Département d'informatique et de technologie de l'Université de Nanjing en Chine. Il utilise les haut-parleurs intégrés du téléphone pour émettre un son à des fréquences comprises entre 17 et 23 kilohertz, vers l'extrémité supérieure de l'audition humaine, et à peine audible pour les oreilles plus jeunes. En analysant les signaux réfléchis détectés par les microphones intégrés, il est possible de mesurer la proximité d'un objet, comme votre main, à quatre millimètres près.

Contrôler un appareil sans avoir à le toucher directement n'est pas un gadget bon marché. Il est utile partout où il y a un désordre, d'une cuisine à une salle d'opération. Des efforts pour créer un contrôle gestuel à faible coût pour les ordinateurs ont été proposés dans le passé (voir Leaping into the Gesture-Control Era ). Mais Wang et Liu pensent que leur fonctionnalité pourrait être intégrée à moindre coût dans n'importe quel smartphone moderne sans avoir besoin de matériel supplémentaire.

Tout ce qu'il faut, c'est un geste de la main.

Ce n'est pas la première fois qu'un smartphone est utilisé pour effectuer une écholocation. Shyam Gollakota de l'Université de Washington (un Examen de la technologie MIT Innovator Under 35 en 2014 ), par exemple, a utilisé une approche similaire dans le cadre de son Projet FingerIO , qui a étudié s'il était possible de localiser des mains humaines à l'aide de sons à haute fréquence et de matériel embarqué. Mais Gollakota est impressionné par le travail de Wang et Liu, car ils sont capables de l'utiliser pour contrôler directement le téléphone. C'est très cool, dit-il, que la technique ait été mise en œuvre pour fonctionner en temps réel.

Il y a un petit décalage dans sa réponse aux gestes humains. Wang dit que le téléphone prend 15 millisecondes pour détecter et traiter les mouvements. En pratique, c'est à peine perceptible, cependant, et le contrôle lui-même est impressionnant. Au début, vous vous sentez obligé de bouger toute votre main, mais avec un peu de pratique, il devient possible d'obtenir les mêmes résultats en bougeant un seul doigt.

L'application est actuellement une projet de recherche et n'est disponible dans aucune boutique d'applications. Mais la paire prévoit de le transformer en une API pouvant être utilisée par d'autres développeurs pour intégrer le système d'écholocation dans des applications sur iPhone et appareils Android. Ils estiment qu'il pourrait finir par être utilisé pour faire défiler des pages Web, par exemple, ou tourner les pages d'un livre électronique.

Celles-ci ressemblent beaucoup aux fonctionnalités proposées dans le cadre de Le projet Soli de Google . Mais l'approche adoptée par les chercheurs de Google consiste à construire une puce radar dédiée qui pourrait être ajoutée à un appareil. Bien que cela offre plus de précision que la technique du sonar, cela signifie également intégrer une autre technologie dans un smartphone.

Wang souligne que les fabricants de matériel pourraient plutôt simplement optimiser le positionnement des microphones et des haut-parleurs sur les appareils existants. Ils pourraient même augmenter la fréquence supérieure à laquelle les appareils transmettent et reçoivent le son pour atteindre des résolutions inférieures au millimètre - le matériel serait probablement moins cher que celui requis pour le radar.

Pendant ce temps, Wang et Liu continuent d'améliorer leur logiciel en laboratoire. Ils espèrent développer des versions pour les montres intelligentes et les casques VR, où interagir avec un écran est difficile ou impossible, ainsi que créer de nouveaux algorithmes pour détecter les doigts individuels. Ils affirment déjà qu'ils sont capables de suivre le mouvement d'une main avec suffisamment de précision pour identifier les caractères écrits avec une précision de plus de 90 %.

cacher