Le système d'apprentissage en profondeur de Baidu rivalise avec les gens en matière de reconnaissance vocale

La principale société chinoise de recherche sur Internet, Baidu, a développé un système vocal capable de reconnaître l'anglais et le mandarin mieux que les gens, dans certains cas.

Le nouveau système, appelé Discours profond 2 , est particulièrement important dans la mesure où il s'appuie entièrement sur l'apprentissage automatique pour la traduction. Alors que les anciens systèmes de reconnaissance vocale comprennent de nombreux composants fabriqués à la main pour faciliter le traitement et la transcription audio, le système Baidu a appris à reconnaître les mots à partir de zéro, simplement en écoutant des milliers d'heures d'audio transcrit.

La technologie repose sur une technique puissante connue sous le nom d'apprentissage en profondeur, qui consiste à former un très grand réseau virtuel multicouche de neurones pour reconnaître des modèles dans de grandes quantités de données. L'application Baidu pour smartphones permet aux utilisateurs d'effectuer des recherches vocales et comprend également un assistant personnel à commande vocale appelé Duer (voir Baidu's Duer Joins the Personal Assistant Party ). Les requêtes vocales sont plus populaires en Chine car la saisie de texte prend plus de temps et parce que certaines personnes ne savent pas utiliser le pinyin, le système phonétique de transcription du mandarin en caractères latins.

Historiquement, les gens considéraient le chinois et l'anglais comme deux langues très différentes, et il était donc nécessaire de concevoir des fonctionnalités très différentes, explique Andrew Ng, ancien professeur de Stanford et chercheur chez Google, et maintenant scientifique en chef de la société chinoise. Les algorithmes d'apprentissage sont maintenant si généraux que vous pouvez simplement apprendre.

L'apprentissage en profondeur trouve ses racines dans des idées développées pour la première fois il y a plus de 50 ans, mais au cours des dernières années, de nouvelles techniques mathématiques, combinées à une plus grande puissance informatique et à d'énormes quantités de données d'entraînement, ont conduit à des progrès remarquables, en particulier dans les tâches qui nécessitent un certain tri. de la perception visuelle ou auditive. La technique a déjà amélioré les performances de la reconnaissance vocale et du traitement des images, et de grandes entreprises telles que Google, Facebook et Baidu l'appliquent aux énormes ensembles de données qu'elles possèdent.

L'apprentissage en profondeur est également adopté pour de plus en plus de tâches. Facebook, par exemple, utilise l'apprentissage en profondeur pour trouver des visages dans les images que ses utilisateurs téléchargent. Et plus récemment, il a fait des progrès dans l'utilisation de l'apprentissage en profondeur pour analyser le texte écrit (voir Enseigner aux machines pour nous comprendre). Google utilise désormais l'apprentissage en profondeur dans plus de 100 projets différents, de la recherche aux voitures autonomes.

En 2013, Baidu a ouvert son propre effort pour exploiter cette nouvelle technologie, le Institut d'apprentissage en profondeur , co-implanté au siège de la société à Pékin et dans la Silicon Valley. Deep Speech 2 a été principalement développé par une équipe en Californie.

En développant Deep Speech 2, Baidu a également créé une nouvelle architecture matérielle pour l'apprentissage en profondeur qui s'exécute sept fois plus rapidement que la version précédente. L'apprentissage en profondeur repose généralement sur des processeurs graphiques, car ceux-ci sont bons pour les calculs parallèles intensifs impliqués.

La vitesse atteinte nous a permis de faire des expériences à une échelle beaucoup plus grande que ce que les gens avaient atteint auparavant, dit Jesse Engel , chercheur à Baidu et l'un des plus de 30 chercheurs nommés dans un article décrivant Deep Speech 2. Nous avons pu effectuer des recherches sur de nombreuses architectures [de réseaux de neurones] et réduire le taux d'erreur de mots de 40 %.

Ng ajoute que cela a récemment produit des résultats impressionnants. Pour de courtes phrases, hors contexte, nous semblons dépasser les niveaux humains de reconnaissance, dit-il.

Il ajoute : En mandarin, il y a beaucoup de dialectes régionaux qui sont parlés par des populations beaucoup plus petites, donc il y a beaucoup moins de données. Cela pourrait nous aider à mieux reconnaître les dialectes.

cacher