L'IA de Google peut désormais traduire votre discours tout en gardant votre voix

Une image du secrétaire général de l'ONU, Ban Ki-moon, écoutant un appareil de traduction EMILIO MORENATTI / AP

Écoutez ce clip audio en espagnol.

C'est ainsi que sa traduction anglaise pourrait sonner lorsqu'elle est soumise à un système de traduction automatique traditionnel.

Voilà comment cela sonne lorsqu'il est soumis au nouveau système de traduction automatique de Google.

Les résultats ne sont pas parfaits, mais vous pouvez en quelque sorte entendre comment le traducteur de Google a pu conserver la voix et le ton de l'orateur d'origine. Il peut le faire car il convertit l'entrée audio directement en sortie audio sans étapes intermédiaires . En revanche, les systèmes de traduction traditionnels convertissent l'audio en texte, traduisent le texte, puis resynthétisent l'audio, perdant les caractéristiques de la voix d'origine en cours de route.

Le nouveau système, surnommé le Translatotron, a trois composants, qui regardent tous le spectrogramme audio du locuteur - un instantané visuel des fréquences utilisées lors de la lecture du son, souvent appelé empreinte vocale. Le premier composant utilise un réseau neuronal formé pour mapper le spectrogramme audio dans la langue d'entrée au spectrogramme audio dans la langue de sortie. Le second convertit le spectrogramme en une onde audio qui peut être jouée. Le troisième composant peut ensuite superposer les caractéristiques vocales du haut-parleur d'origine dans la sortie audio finale.

Non seulement cette approche produit des traductions plus nuancées en conservant d'importants indices non verbaux, mais en théorie, elle devrait également minimiser les erreurs de traduction, car elle réduit la tâche à moins d'étapes.

Translatotron est actuellement une preuve de concept. Lors des tests, les chercheurs ont testé le système uniquement avec une traduction espagnol-anglais, qui nécessitait déjà de nombreuses données de formation soigneusement organisées. Mais les sorties audio comme le clip ci-dessus démontrent le potentiel d'un système commercial plus tard. Vous pouvez en écouter plus ici .

cacher