Traducteur en langue des signes

Les dictionnaires bilingues fonctionnent généralement dans les deux sens : vous pouvez rechercher un mot en anglais et trouver, par exemple, son équivalent espagnol, mais vous pouvez également faire l'inverse. Les dictionnaires en langue des signes, cependant, ne traduisent que des mots écrits en gestes. Cela peut être extrêmement frustrant, en particulier pour les parents d'enfants sourds qui souhaitent comprendre des gestes inconnus, ou pour les personnes sourdes qui souhaitent interagir en ligne en utilisant leur langue principale. Les chercheurs de l'Université de Boston (BU) développent donc un dictionnaire interrogeable pour la langue des signes , dans lequel tout utilisateur peut saisir un geste dans le moteur de recherche d'un dictionnaire depuis son propre ordinateur portable en se connectant devant une caméra intégrée.

Recherche par signe : Des chercheurs de Boston conçoivent le premier dictionnaire en langue des signes consultable par geste. Un signataire (photo) est assis dans un studio équipé de caméras à haute vitesse qui capturent les mouvements de la main et les expressions faciales. Des vidéos sur un ordinateur portable l'incitent à faire des signes particuliers. La vidéo du signataire sera utilisée pour entraîner des algorithmes permettant d'identifier des modèles gestuels.

Vous avez peut-être une collection de langues des signes sur YouTube, et maintenant, pour rechercher, vous devez rechercher en anglais, dit Stan Sclaroff , professeur d'informatique à la BU. C'est l'équivalent, dit Sclaroff, de la recherche de texte espagnol à l'aide de traductions anglaises. Ce n'est pas naturel, dit-il, et ce n'est pas juste.

Sclaroff développe le dictionnaire en collaboration avec Carol Neidle , professeur de linguistique à la BU, et Vassilis Athitsos, professeur adjoint d'informatique et d'ingénierie à l'Université du Texas à Arlington. Une fois que l'utilisateur a effectué un geste, le dictionnaire l'analyse et affiche les cinq premières correspondances et significations possibles.

La reconnaissance de la langue des signes d'aujourd'hui est [à] environ le stade où la reconnaissance vocale était il y a 20 ans, dit Thad Starner , chef du groupe d'informatique contextuelle au Georgia Institute of Technology. Le groupe Starner s'est développé logiciel de reconnaissance de la langue des signes pour les enfants , en utilisant des gants chargés de capteurs pour suivre les mouvements de la main. Lui et ses élèves ont conçu des jeux éducatifs dans lesquels des enfants malentendants, portant des gants, apprennent la langue des signes. Un ordinateur évalue la forme de la main et passe à l'exercice suivant si l'enfant a signé correctement.

Contrairement au travail de Starner, les objectifs de Sclaroff et Neidle visent un système sans capteur dans lequel toute personne disposant d'un appareil photo et d'une connexion Internet peut apprendre la langue des signes et interagir. L'approche, selon Starner, est unique dans le domaine de la reconnaissance de la langue des signes, ainsi que dans le domaine de la vision par ordinateur.

Cela demande beaucoup de puissance de traitement et il est très difficile d'essayer de gérer la langue des signes dans différentes qualités vidéo, explique Starner. Donc, s'ils réussissent, ce serait très cool de pouvoir effectuer des recherches sur le Web en langue des signes.

Pour relever ce défi de taille, l'équipe de la BU demande à plusieurs signataires de s'asseoir dans un studio, un à la fois, et de signer 3 000 gestes dans un dictionnaire classique de la langue des signes américaine (ASL). Au moment de signer, quatre caméras haute vitesse et de haute qualité captent simultanément les vues de face et de côté, ainsi que les expressions faciales. Selon Neidle, les sourires, les froncements de sourcils et les sourcils levés sont une partie largement sous-étudiée de l'ASL qui pourrait offrir des indices solides sur la signification d'un geste.

Au fur et à mesure que les données visuelles arrivent, Neidle et ses étudiants les analysent, marquant le début et la fin de chaque signe et identifiant les sous-gestes clés – des unités équivalentes aux phonèmes anglais. Pendant ce temps, Sclaroff utilise ces informations pour développer des algorithmes qui peuvent, par exemple, distinguer les mains du signataire de l'arrière-plan, ou reconnaître la position et la forme des mains et les schémas de mouvement. Étant donné que tout individu peut signer un mot d'une manière légèrement différente, l'équipe analyse les gestes des signataires natifs et non natifs, dans l'espoir de développer un outil de reconnaissance informatique capable de gérer de telles variations.

Le principal défi à l'avenir peut être de prendre en compte les nombreux facteurs incontrôlables du côté de l'utilisateur de l'interface, explique Sclaroff. Par exemple, une personne utilisant un geste pour saisir une requête de recherche dans un ordinateur portable aura un appareil photo de qualité inférieure. L'arrière-plan peut être plus encombré que l'environnement de studio soigneusement contrôlé dans les échantillons de la base de données, et l'ordinateur devra s'adapter à des variables telles que les vêtements et le teint de la peau.

Juste pour produire le signe et le rechercher, c'est la vraie nouveauté que nous essayons d'accomplir, dit Neidle. Ce serait une amélioration par rapport à tout ce qui existe actuellement.

cacher