Le logiciel traduit votre voix dans une autre langue

Les chercheurs de Microsoft ont créé un logiciel qui peut apprendre le son de votre voix, puis l'utiliser pour parler une langue que vous ne maîtrisez pas. Le système pourrait être utilisé pour personnaliser les logiciels de tutorat linguistique ou pour créer des outils pour les voyageurs.

Lors d'une manifestation sur le campus de Microsoft à Redmond, Washington, mardi, un chercheur de Microsoft Frank Soong a montré comment son logiciel pouvait lire du texte en espagnol en utilisant la voix de son patron, Rick Rashid, qui dirige les efforts de recherche de Microsoft. Dans une deuxième démonstration, Soong a utilisé son logiciel pour accorder à Craig Mundie, directeur de la recherche et de la stratégie de Microsoft, la capacité de parler le mandarin.

Écoutez la voix de Rick Rashid dans sa langue maternelle, puis traduite dans plusieurs autres langues :

Français : Écoutez un clip de Rick Rashid parlant normalement.

Espagnol : écoutez-le en espagnol.

Italien : écoutez-le en italien.

Mandarin : écoutez-le en mandarin.

En anglais, une version synthétique de la voix de Mundie a accueilli le public lors d'une journée portes ouvertes organisée par Microsoft Research, concluant : Avec l'aide de ce système, je peux maintenant parler le mandarin. La phrase a été répétée en chinois mandarin, dans ce qui était encore reconnaissable la voix de Mundie.

Nous pourrons faire pas mal d'applications de scénarios, a déclaré Soong, qui a créé le système avec des collègues de Microsoft Research Asia, le deuxième plus grand laboratoire de recherche de l'entreprise, à Pékin, en Chine.

Pour un locuteur unilingue voyageant dans un pays étranger, nous effectuerons une reconnaissance vocale suivie d'une traduction, suivie de la sortie finale du texte en parole [dans] une langue différente, mais toujours dans sa propre voix, a déclaré Soong.

La nouvelle technique pourrait également être utilisée pour aider les étudiants à apprendre une langue, a déclaré Soong. Fournir des exemples de phrases étrangères dans la propre voix d'une personne peut être encourageant ou plus facile à imiter. Soong a également montré comment son nouveau système pourrait améliorer une application téléphonique d'indications de navigation, permettant à une voix synthétique en anglais de lire de manière transparente le texte écrit sur les panneaux de signalisation chinois tout en relayant les instructions pour un itinéraire à Pékin.

Le système a besoin d'environ une heure de formation pour développer un modèle capable de lire n'importe quel texte avec la propre voix d'une personne. Ce modèle est converti en un modèle capable de lire du texte dans une autre langue en le comparant à un modèle standard de synthèse vocale pour la langue cible. Les sons individuels utilisés par le premier modèle pour construire des mots en utilisant la voix d'une personne dans sa propre langue sont soigneusement modifiés pour donner au nouveau modèle de synthèse vocale une capacité complète à prononcer des phrases dans la deuxième langue.

Soong dit que cette approche peut convertir entre n'importe quelle paire de 26 langues, y compris le chinois mandarin, l'espagnol et l'italien.

Préserver la voix d'une personne lors de la synthèse de son discours dans une autre langue serait probablement rassurant pour un utilisateur et pourrait rendre les interactions dépendantes d'un logiciel de traduction plus significatives, selon Shrikanth Narayanan , professeur à l'Université de Californie du Sud, à Los Angeles, dirige un groupe de recherche travaillant sur des systèmes de traduction de la parole dans des situations telles que les consultations médecin-patient.

Le mot n'est qu'une partie de ce qu'une personne dit, dit-il, et pour vraiment transmettre toutes les informations contenues dans le discours d'une personne, les systèmes de traduction devront être capables de préserver les voix et bien plus encore. Préserver la voix, préserver l'intonation, ces choses comptent, et ce projet le sait clairement, dit Narayanan. Nos systèmes doivent capturer l'expression qu'une personne essaie de transmettre, qui elle est et comment elle le dit.

Son groupe de recherche étudie comment des caractéristiques telles que l'accentuation, l'intonation et la façon dont les gens utilisent les pauses ou les hésitations affectent l'efficacité et la qualité perçue d'une traduction mot à mot. Nous demandons si vous pouvez créer des systèmes qui peuvent servir de médiateur entre les personnes ainsi que simplement remplacer les mots, dit-il. Je considère cette [recherche Microsoft] comme une partie de la façon dont vous y parvenez.

cacher