Comment les brassards peuvent traduire la langue des signes

Une paire de myo des brassards à commande gestuelle et un ordinateur ou un smartphone peuvent permettre aux malentendants de communiquer plus rapidement et plus facilement en utilisant la langue des signes avec ceux qui ne la comprennent pas.

C'est ce que les chercheurs de l'Arizona State University disent pouvoir faire avec un projet appelé Sceptre . Ils utilisent les brassards pour enseigner au logiciel une gamme de gestes de la langue des signes américaine ; puis, lorsqu'une personne portant les bandes fait l'un de ces signes, il peut être associé au mot ou à la phrase correspondant dans la base de données de Sceptre et s'afficher sous forme de texte sur un écran.

L'espoir est de faciliter la communication dans les situations d'urgence en particulier, comme dans un cabinet médical ou à l'hôpital, sans s'appuyer sur la communication écrite ou, comme l'ont fait d'autres recherches sur la reconnaissance de la langue des signes, en utilisant des caméras pour reconnaître les gestes de la langue des signes. UNE papier sur les travaux seront présentés lors d'une conférence sur les interfaces utilisateur intelligentes en mars.

Les chercheurs se sont appuyés sur les brassards Myo pour faire fonctionner Sceptre, car ils comprennent à la fois une unité de mesure inertielle pour suivre le mouvement et des capteurs d'électromyographie pour la détection musculaire, qui peuvent être utilisés pour aider à déterminer les configurations des doigts. Ils ont formé un logiciel pour reconnaître une variété de gestes ASL, ainsi que les signes pour les lettres individuelles et les chiffres de un à 10, tous exécutés par une personne portant les brassards Myo.

Sceptre, un projet de recherche qui traduit la langue des signes sous forme de texte à l'aide de brassards Myo, pourrait être conçu pour fonctionner avec un ordinateur ou un smartphone.

Après avoir demandé aux utilisateurs d'entraîner leur logiciel sur 20 gestes ASL différents comme la pizza, le bonheur et l'orange en répétant chacun d'eux trois fois, les chercheurs ont découvert que Sceptre était alors capable de déchiffrer le signe correctement près de 98 % du temps.

Dans un vidéo démontrant comment cela fonctionne, Prajwal Paudyal, un étudiant diplômé de l'Arizona State University qui a co-écrit l'article , porte les brassards et signe plusieurs choses différentes qui sont ensuite illustrées sur un écran d'ordinateur, comme toute la matinée, mal de tête et ne peut pas dormir.

Bien que les signes aient été présentés sous forme de texte dans l'étude, ils pouvaient également être prononcés à haute voix par une application pour faciliter une conversation, explique Paudyal. . Et tandis que la démo des chercheurs montrait le texte sur l'écran d'un ordinateur, auquel les brassards Myo étaient connectés via Bluetooth, Sceptre pourrait également être utilisé avec un simple smartphone, ce sur quoi les chercheurs travaillent également (Myo prend en charge la diffusion de données de deux bracelets vers un smartphone, mais les chercheurs disent que cela n'était pas possible lorsqu'ils ont mené leurs premiers travaux).

Idéalement, la personne peut l'utiliser partout où elle va, dit Paudyal.

Sceptre, un projet de recherche de l'Arizona State University, utilise deux brassards Myo pour traduire la langue des signes sous forme de texte.

Roozbeh Jafari , professeur agrégé au Center for Remote Healthcare Technologies and Systems du Texas A&M, a effectué un travail similaire, bien qu'il ait impliqué la construction de capteurs plutôt que l'utilisation d'appareils prêts à l'emploi comme l'a fait le groupe ASU.

Il dit qu'il y a un certain nombre de problèmes qui devraient être résolus pour que quelque chose comme Sceptre fonctionne pour les consommateurs. En règle générale, lorsque vous placez des capteurs d'électromyographie sur le corps, le système qui les utilise doit être calibré à moins qu'ils ne se trouvent exactement au même endroit qu'auparavant, dit-il. Il est également nécessaire de tenir compte des variations qui se produisent naturellement dans la façon dont les gens signent les mêmes choses. Malgré ces obstacles, dit-il, je pense que nous allons dans la bonne direction.

cacher