Premier ordinateur à correspondre aux humains dans la reconnaissance vocale conversationnelle

Une à une, les compétences qui nous séparent des machines tombent dans la colonne des machines. D'abord il y a eu les échecs, puis Péril! , puis Go, puis la reconnaissance d'objets, la reconnaissance faciale et le jeu vidéo en général. Vous pourriez être pardonné de penser que les humains deviennent obsolètes.

Mais essayez n'importe quel logiciel de reconnaissance vocale et votre foi en l'humanité sera rapidement restaurée. Bien qu'ils soient bons et s'améliorent, ces systèmes ne sont en aucun cas parfaits. Commandez-vous une glace ou dites-vous que je crie ? Probablement les deux, si c'est une machine à laquelle vous parlez.

Il devrait donc être rassurant de savoir que la reconnaissance de la parole conversationnelle ordinaire est une chose pour laquelle les machines ont encore du mal - que les humains sont toujours maîtres de leur propre langage.

Ce point de vue devra peut-être changer. Rapidement. Aujourd'hui, Geoff Zweig et ses amis de Microsoft Research à Redmond, dans l'État de Washington, affirment avoir découvert ce type de reconnaissance vocale et que leurs algorithmes d'apprentissage automatique surpassent désormais les humains pour la première fois dans la reconnaissance de la parole conversationnelle ordinaire.

La recherche sur la reconnaissance vocale a une longue histoire. Dans les années 1950, les premiers ordinateurs pouvaient reconnaître jusqu'à 10 mots prononcés clairement par un seul locuteur. Dans les années 1980, des chercheurs ont construit des machines capables de transcrire un discours simple avec un vocabulaire de 1 000 mots. Dans les années 1990, ils sont passés aux enregistrements d'une personne lisant le le journal Wall Street , puis sur le discours des nouvelles diffusées.

Ces scénarios sont tous de plus en plus ambitieux. Mais ils sont aussi plus simples que le discours ordinaire en raison de diverses contraintes. Le vocabulaire dans le le journal Wall Street se limite aux affaires et à la finance, et les phrases sont bien structurées et grammaticalement correctes, ce qui n'est pas nécessairement vrai du discours ordinaire. Le discours des nouvelles diffusées est moins formel mais toujours hautement structuré et clairement prononcé. Tous ces exemples ont finalement été conquis par des machines.

Mais la tâche la plus difficile - la transcription d'un discours conversationnel ordinaire - a résolument résisté à l'assaut.

Le discours ordinaire est beaucoup plus difficile à cause de la taille du vocabulaire et aussi à cause des bruits autres que les mots que les gens font quand ils parlent. Les humains utilisent une gamme de bruits pour gérer le tour de parole dans la conversation, un type de communication que les linguistes appellent un backchannel.

Par example, euh-huh est utilisé pour accuser réception de l'orateur et signaler qu'il doit continuer à parler. Mais euh est une hésitation indiquant que l'orateur a plus à dire, un avertissement qu'il y a plus à venir. À son tour la gestion, euh joue le rôle opposé à euh-huh .

Les humains ont peu de difficulté à analyser ces sons et à comprendre leur rôle dans une conversation. Mais les machines ont toujours eu du mal avec eux.

En 2000, l'Institut national des normes et de la technologie a publié un ensemble de données pour aider les chercheurs à résoudre ce problème. Les données consistaient en des enregistrements de conversations ordinaires au téléphone. Certaines d'entre elles étaient des conversations entre des individus sur un sujet assigné. Le reste était des conversations entre amis et parents sur n'importe quel sujet.

La plupart des données devaient aider à former un algorithme d'apprentissage automatique pour reconnaître la parole. Le reste était un test que les machines devaient retranscrire.

La mesure de la performance était le nombre de mots que la machine se trompait, et le but ultime était de faire la tâche mieux que les humains.

Alors, à quel point les humains sont-ils bons ? Le consensus général est qu'en matière de transcription, les humains ont un taux d'erreur d'environ 4 %. En d'autres termes, ils transcrivent incorrectement quatre mots sur cent. Dans le passé, les machines étaient loin d'atteindre cette référence.

Maintenant, Microsoft dit qu'il a finalement égalé les performances humaines, mais avec une mise en garde importante. Les chercheurs de Microsoft ont commencé par réévaluer les performances humaines dans les tâches de transcription. Ils l'ont fait en envoyant les enregistrements téléphoniques dans l'ensemble de données NIST à un service de transcription professionnel et en mesurant le taux d'erreur.

À leur grande surprise, ils ont constaté que ce service avait un taux d'erreur de 5,9 % pour les conversations entre individus sur un sujet donné et de 11,3 % pour les conversations entre amis et membres de la famille. C'est beaucoup plus élevé qu'on ne le pensait.

Ensuite, Zweig et co ont optimisé leurs propres systèmes d'apprentissage en profondeur basés sur des réseaux de neurones convolutionnels avec un nombre variable de couches, chacune traitant un aspect différent de la parole. Ils ont ensuite utilisé l'ensemble de données d'apprentissage pour apprendre à la machine à comprendre la parole ordinaire et à la lâcher sur l'ensemble de données de test.

Les résultats : dans l'ensemble, le système de reconnaissance vocale de Microsoft a un taux d'erreur similaire à celui des humains, mais les types d'erreurs qu'il commet sont assez différents.

L'erreur la plus courante commise par la machine Microsoft est de confondre les sons du canal de retour euh et euh-huh . En revanche, les humains font rarement cette erreur et ont plutôt tendance à confondre des mots comme à et la ou euh et à .

Il n'y a en principe aucune raison pour qu'une machine ne puisse pas être entraînée à reconnaître les sons du canal de retour. Zweig et co pensent que la difficulté de la machine avec ceux-ci est probablement liée à la façon dont ces bruits sont étiquetés dans l'ensemble de données d'apprentissage. Les performances relativement médiocres du système automatique ici pourraient simplement être dues à des confusions dans les annotations des données de formation, disent-ils.

Dans l'ensemble, cependant, la machine correspond au taux d'erreur humaine de 5,9 % pour les conversations sur un sujet donné, mais surpasse les humains dans la tâche de transcrire les conversations entre amis et en famille avec un taux d'erreur de 11,1 %. Pour la première fois, nous rapportons des performances de reconnaissance automatique à égalité avec les performances humaines sur cette tâche, disent Zweig et co.

C'est un travail intéressant. Microsoft a peut-être déplacé les poteaux de but en enregistrant cette victoire pour ses machines, mais l'écriture est clairement sur le mur. Les machines deviennent meilleures que les humains en matière de reconnaissance vocale. Cela aura des implications importantes sur la façon dont nous interagissons avec les machines, notamment lorsqu'il s'agit de commander des glaces.

Réf : arxiv.org/abs/1610.05256 : Atteindre la parité humaine dans la reconnaissance vocale conversationnelle

cacher