Les défis et les menaces de la lecture labiale automatisée

Au XVIe siècle, un moine bénédictin espagnol appelé Pietro Ponce a été le pionnier de l'art apparemment magique de la lecture sur les lèvres. Bien que la technique soit probablement antérieure à lui, Ponce a été le premier professeur de lecture labiale à réussir.

À l'époque, comme aujourd'hui, la technique était principalement utilisée pour aider les personnes malentendantes à interpréter la parole. Mais il est également utilisé par d'autres pour écouter les conversations. En effet, diverses expériences montrent que notre capacité à interpréter la parole s'améliore lorsque nous pouvons voir les lèvres en mouvement du locuteur. En d'autres termes, presque tout le monde utilise la lecture labiale dans une certaine mesure.

Cela soulève une question intéressante. Le processus de lecture labiale peut-il être automatisé et exécuté par ordinateur ? Et si oui, dans quelle mesure cette approche peut-elle réussir et quel type de menace représente-t-elle pour la vie privée ?

Aujourd'hui, nous obtenons des réponses grâce au travail d'Ahmad Hassanat de l'Université Mu'tah en Jordanie. Il décrit les défis auxquels sont confrontés les chercheurs dans le domaine de la lecture labiale automatisée, autrement connue sous le nom de reconnaissance visuelle de la parole. Ce qui ressort clairement de son analyse, c'est que si la lecture labiale doit être automatisée avec succès, des défis importants doivent encore être surmontés.

Le processus fondamental de la lecture labiale consiste à reconnaître une séquence de formes formées par la bouche, puis à la faire correspondre à un mot ou à une séquence de mots spécifique.

Il y a là un défi important. Pendant la parole, la bouche forme entre 10 et 14 formes différentes, appelées visèmes. En revanche, la parole contient environ 50 sons individuels appelés phonèmes. Ainsi, un même visème peut représenter plusieurs phonèmes différents.

Et c'est là que réside le problème. Une séquence de visèmes ne peut généralement pas être associée à un mot ou à une séquence de mots unique. Au lieu de cela, une séquence de visèmes peut avoir plusieurs solutions différentes. Le défi pour le lecteur labiale est de choisir celui que l'orateur a utilisé.

Le problème est aggravé par le fait que les lèvres d'un locuteur sont souvent obscurcies, de sorte qu'en moyenne, un lecteur labial ne voit qu'environ 50% des mots prononcés. Le résultat est que la lecture labiale n'est en aucun cas parfaite, même pour les praticiens les plus expérimentés.

Les expériences montrent à quel point c'est difficile, même lorsque le vocabulaire est extrêmement limité. lorsqu'on demande aux gens de décider lesquels des chiffres de 1 à 9 ont été prononcés, uniquement par lecture labiale, leur taux de réussite est en moyenne d'un peu plus de 50 %. Pas bon du tout.

Il est donc aisé d'imaginer que les perspectives d'automatisation de cette technique sont faibles. Mais Hassanat souligne un nombre croissant de recherches qui s'attaquent à ce problème, aidées par une amélioration rapide de la vision artificielle ces dernières années.

Le premier problème de la lecture labiale automatisée est la reconnaissance du visage et des lèvres. Cela s'est amélioré à pas de géant ces dernières années. Un défi plus difficile consiste à reconnaître, extraire et catégoriser les caractéristiques géométriques des lèvres pendant la parole.

Cela se fait en mesurant la hauteur et la largeur des lèvres ainsi que d'autres caractéristiques telles que la forme de l'ellipse délimitant les lèvres, la quantité de dents visibles et la rougeur de l'image, qui détermine la quantité de langue visible. .

Déterminer le contour exact des lèvres est difficile en raison de la différence relativement faible entre les pixels montrant le visage et les lèvres. En effet, Hassanat dit que ce n'est pas nécessaire puisque l'ellipse de délimitation et la hauteur et la forme de la bouche fournissent une approximation décente des contours réels. Nous soutenons qu'il n'est pas nécessaire d'utiliser tout ou partie des points de contour des lèvres pour définir la forme extérieure des lèvres, dit-il.

Les expériences que lui et d'autres ont faites ont cependant trouvé d'autres problèmes. La première est que les barbes et les moustaches peuvent confondre considérablement les systèmes de reconnaissance visuelle de la parole. Par conséquent, ils ont plus de succès auprès des locuteurs féminins que masculins.

Un autre problème est que certaines personnes sont plus expressives avec leurs lèvres que d'autres, il est donc plus facile d'interpréter ce qu'elles disent à partir des seuls mouvements des lèvres. En effet, certaines personnes bougent à peine leurs lèvres et ces soi-disant sans-voix sont presque impossibles à interpréter.

Néanmoins, le propre système de reconnaissance visuelle de la parole de Hassanat est remarquablement bon. Ses expériences atteignent un taux de réussite moyen de 76%, bien que dans des conditions soigneusement contrôlées. Le taux de réussite est encore plus élevé chez les femmes en raison de l'absence de barbes et de moustaches.

Tout cela suggère qu'il existe un potentiel important pour les systèmes de reconnaissance visuelle de la parole à l'avenir, en particulier en tant qu'aide à d'autres formes de reconnaissance de la parole.

Cependant, des défis importants subsistent. En particulier, Hassanat souligne que les meilleurs lecteurs humains sur les lèvres s'appuient sur des quantités importantes d'informations supplémentaires pour interpréter la parole, telles que le contexte de la conversation, les mouvements du corps de l'orateur et une bonne connaissance de la grammaire, des idiomes et du discours courant.

Ce sont des facteurs que les ordinateurs doivent encore appréhender. La lecture labiale automatisée est peut-être encore loin, mais les premiers signes montrent qu'elle n'est en aucun cas impossible.

Et cela soulève toute une série d'autres problèmes liés à la vie privée. Par exemple, il se peut que des vidéos de conversations sans son soient impossibles à interpréter maintenant mais qu'elles soient faciles à interpréter à l'avenir. Comment les politiciens, les chefs d'entreprise et les personnalités populaires pourraient-ils être équitables dans ce type d'analyse future ?

Pensez-y la prochaine fois que vous verrez une caméra CCTV.

Réf : arxiv.org/abs/1409.1411 : Reconnaissance vocale visuelle

cacher