211service.com
La caméra permet aux personnes aveugles de naviguer avec des gestes
Eelke Folmer et Vinitha Khambadkar pensent que les personnes aveugles pourraient se passer de leurs cannes blanches et plutôt naviguer avec une caméra autour du cou qui donne des indications vocales en réponse aux gestes de la main.
Folmer et Khambadkar, chercheurs à l'Université du Nevada, ont présenté la technologie la semaine dernière au Symposium ACM sur les logiciels et la technologie d'interface utilisateur. Connu sous le nom d'interface gestuelle pour la perception spatiale à distance, qu'ils abrévient en ESSENTIEL , le système utilise un capteur Microsoft Kinect pour analyser et identifier les objets dans son champ de vision. GIST vous permet d'extraire des informations de votre environnement, dit Folmer.
La recherche du Nevada s'appuie sur les idées du MIT Projet Sixième Sens , un effort de réalité augmentée dans lequel un appareil portable projette des informations sur le monde physique et permet à l'utilisateur d'interagir avec lui en agitant, en pointant ou en faisant d'autres gestes de la main. Mais en revanche, GIST collecte des données en réponse aux gestes de la main afin d'augmenter la perception spatiale sévèrement réduite des personnes aveugles.
Par exemple, si une personne portant GIST fait un signe V avec l'index et le majeur, l'appareil identifiera la couleur dominante dans la zone encapsulée. Si l'utilisateur tend le poing fermé, le système identifiera si une personne se trouve dans cette direction et à quelle distance elle se trouve. (Voir la brève vidéo de démonstration des chercheurs ci-dessous.)
Cependant, les gestes ne sont pas destinés à être le seul moyen d'interaction avec GIST, grâce à la capacité du Kinect à reconnaître les objets, les visages et la parole. Comme l'explique Folmer : vous dites au capteur quelque chose comme « Ceci est ma tasse. » Vous la posez sur la table et dites : « Hé, où est ma tasse ? » Il dira qu'elle est juste devant vous. L'astuce suivante consiste à déterminer comment continuer à suivre l'objet lorsqu'il s'éloigne ou se trouve derrière l'utilisateur.
Les chercheurs prévoient également de voir si GIST pourrait efficacement dire à ses porteurs qui est devant eux, en comparant les visages des personnes qu'il détecte à une petite base de données que l'utilisateur pourrait configurer avec des commandes vocales. Si cela ne fonctionne pas, dit Folmer, les chercheurs pourraient essayer un système qui identifie les personnes en fonction de la forme de leur corps.
GIST bénéficiera bientôt du nouveau capteur Kinect 2.0, qui améliore le suivi de l'original et permet une reconnaissance précise des doigts, par opposition aux simples mains. La mise en garde, cependant, est que le nouveau Kinect est plus gros et plus volumineux, ce qui le rend mal adapté à un port prolongé autour du cou.
Mais Folmer pense que ce n'est qu'une question de temps jusqu'à ce qu'il y ait des capteurs de type Kinect assez petits pour s'adapter aux smartphones. Et dans l'ensemble, Folmer pense qu'à mesure que les appareils informatiques grand public deviennent plus petits, ils seront très utiles aux personnes malvoyantes, car ces appareils s'appuieront sur des interfaces, telles que la parole, que les aveugles utilisent depuis des décennies.