L'IA a battu les humains à la lecture labiale

La lecture labiale est notoirement difficile, dépendant autant du contexte et de la connaissance du langage que des indices visuels. Mais les chercheurs montrent que l'apprentissage automatique peut être utilisé pour discerner la parole à partir de clips vidéo silencieux plus efficacement que les lecteurs labiales professionnels.

Dans un projet, une équipe du département d'informatique de l'Université d'Oxford a développé un nouveau système d'intelligence artificielle appelé LipNet. Comme Quartz rapporté , son système a été construit sur un ensemble de données connu sous le nom de GRID, qui est composé de clips bien éclairés et tournés vers l'avant de personnes lisant des phrases de trois secondes. Chaque phrase est basée sur une chaîne de mots qui suivent le même schéma.

L'équipe a utilisé cet ensemble de données pour former un réseau de neurones, similaire à celui souvent utilisé pour effectuer la reconnaissance vocale. Dans ce cas, cependant, le réseau neuronal identifie les variations de la forme de la bouche au fil du temps, apprenant à lier cette information à une explication de ce qui est dit. L'IA n'analyse pas les séquences par bribes mais considère l'ensemble, ce qui lui permet de comprendre le contexte de la phrase analysée. C'est important, car il y a moins de formes de bouche que de sons produits par la voix humaine.

Lorsque testé , le système a pu identifier correctement 93,4 % des mots. Des volontaires humains lisant sur les lèvres auxquels on a demandé d'effectuer les mêmes tâches n'ont identifié correctement que 52,3 % des mots.

Mais comme Nouveau scientifique rapports , une autre équipe du Département des sciences de l'ingénieur d'Oxford, qui a travaillé avec Google DeepMind, s'est attelée à une tâche un peu plus difficile. Au lieu d'utiliser un ensemble de données soigné et cohérent comme GRID, il utilise une série de 100 000 clips vidéo extraits de la télévision de la BBC. Ces vidéos ont une gamme de langage beaucoup plus large, avec beaucoup plus de variations dans l'éclairage et les positions de la tête.

Utilisant une approche similaire , l'équipe d'Oxford et DeepMind a réussi à créer une IA capable d'identifier correctement 46,8 % de tous les mots. C'est aussi bien mieux que les humains, qui n'ont enregistré que 12,4% des mots sans erreur. Il y a clairement de nombreuses raisons pour lesquelles la précision est plus faible, de l'éclairage et de l'orientation à la plus grande complexité du langage.

Différences mises à part, les deux expériences montrent que l'IA surpasse largement les humains en lecture labiale, et il n'est pas difficile d'imaginer des applications potentielles pour un tel logiciel. À l'avenir, Skype pourrait combler les lacunes lorsqu'un appelant se trouve dans un environnement bruyant, par exemple, ou les personnes malentendantes pourraient tenir leur smartphone pour entendre ce que quelqu'un dit.

(Lire la suite: Quartz , Nouveau scientifique , Groupe de lecture sur l'apprentissage automatique d'Oxford , arXiv , Les défis et les menaces de la lecture labiale automatisée )

cacher