Le système d'IA de Facebook peut parler avec la voix de Bill Gates

Bill Gates Jack Taylor / Stringer / Getty

La parole machine est une sorte de déception. Même les meilleurs systèmes de synthèse vocale ont une qualité mécanique et manquent des changements de base dans l'intonation que les humains utilisent. Le système de parole très copié de Stephen Hawking en est un bon exemple.

C'est quelque peu surprenant compte tenu des énormes progrès de l'apprentissage automatique ces dernières années. Les techniques qui ont si bien fonctionné pour reconnaître les visages et les objets, puis en produire des images réalistes, devraient certainement fonctionner aussi bien avec l'audio. Pas vraiment.

Du moins, pas avant aujourd'hui. Entrez Sean Vasquez et Mike Lewis de Facebook AI Research, qui ont trouvé un moyen de surmonter les limites des systèmes de synthèse vocale pour produire des clips audio remarquablement réalistes générés entièrement par machine. Leur machine, appelée MelNet, non seulement reproduit l'intonation humaine, mais peut le faire de la même voix que de vraies personnes. L'équipe l'a donc entraîné à parler comme Bill Gates, entre autres. L'œuvre ouvre la possibilité d'une interaction plus réaliste entre les humains et les ordinateurs, mais elle soulève également le spectre d'une nouvelle ère de faux contenus audio.

Tout d'abord un peu de contexte. La lenteur des progrès des systèmes de synthèse vocale réalistes n'est pas due à un manque d'essais. De nombreuses équipes ont tenté de former des algorithmes d'apprentissage en profondeur pour reproduire de vrais modèles de parole à l'aide de grandes bases de données audio.

Le problème avec cette approche, disent Vasquez et Lewis, est avec le type de données. Jusqu'à présent, la plupart des travaux se sont concentrés sur les enregistrements de formes d'onde audio. Ceux-ci montrent comment l'amplitude du son change au fil du temps, chaque seconde d'audio enregistrée étant constituée de dizaines de milliers de pas de temps.

Ces formes d'onde montrent des modèles spécifiques à un certain nombre d'échelles différentes. Pendant quelques secondes de parole, par exemple, la forme d'onde reflète les motifs caractéristiques associés aux séquences de mots. Mais à l'échelle des microsecondes, la forme d'onde présente des caractéristiques associées à la hauteur et au timbre de la voix. Et à d'autres échelles, la forme d'onde reflète l'intonation du locuteur, la structure des phonèmes, etc.

Une autre façon de penser à ces modèles consiste à établir des corrélations entre la forme d'onde à un pas de temps et au pas de temps suivant. Ainsi, pour une échelle de temps donnée, le son du début d'un mot est corrélé aux sons qui suivent.

Les systèmes d'apprentissage en profondeur devraient être bons pour apprendre ces types de corrélations et les reproduire. Le problème est que les corrélations agissent sur de nombreuses échelles de temps différentes et que les systèmes d'apprentissage en profondeur ne peuvent étudier les corrélations que sur des échelles de temps limitées. C'est à cause d'un type de processus d'apprentissage qu'ils utilisent, appelé rétropropagation, qui recâble à plusieurs reprises le réseau pour améliorer ses performances sur la base des exemples qu'il voit.

Le taux de répétition limite l'échelle de temps sur laquelle les corrélations peuvent être apprises. Ainsi, un réseau d'apprentissage en profondeur peut apprendre des corrélations dans les formes d'onde audio sur des échelles de temps longues ou courtes, mais pas les deux. C'est pourquoi ils réussissent si mal à reproduire la parole.

Vasquez et Lewis ont une approche différente. Au lieu de formes d'onde audio, ils utilisent des spectrogrammes pour former leur réseau d'apprentissage en profondeur. Les spectrogrammes enregistrent l'ensemble du spectre des fréquences audio et leur évolution dans le temps. Ainsi, alors que les formes d'onde capturent le changement dans le temps d'un paramètre, l'amplitude, les spectrogrammes capturent le changement sur une vaste gamme de fréquences différentes.

Cela signifie que les informations audio sont plus denses dans ce type de représentation des données. L'axe temporel d'un spectrogramme est des ordres de grandeur plus compact que celui d'une forme d'onde, ce qui signifie que les dépendances qui couvrent des dizaines de milliers de pas de temps dans les formes d'onde ne couvrent que des centaines de pas de temps dans les spectrogrammes, disent Vasquez et Lewis.

Cela rend les corrélations plus accessibles à un système d'apprentissage en profondeur. Cela permet à nos modèles de spectrogramme de générer des échantillons de parole et de musique inconditionnels avec cohérence sur plusieurs secondes, disent-ils.

Et les résultats sont impressionnants. Après avoir formé le système à l'aide de la voix ordinaire des conférences TED, MelNet est alors capable de reproduire la voix de l'orateur TED disant plus ou moins n'importe quoi en quelques secondes. Les chercheurs de Facebook démontrent sa flexibilité en utilisant la conférence TED de Bill Gates pour former MelNet, puis utilisent sa voix pour dire une gamme de phrases aléatoires.

C'est le système qui dit On fronce les sourcils quand les événements tournent mal et le Porto est un vin fort au goût fumé. D'autres exemples sont ici.

On fronce les sourcils quand les événements tournent mal

le porto est un vin fort au goût fumé

Il y a certaines limites, bien sûr. Le discours ordinaire contient des corrélations sur des échelles de temps encore plus longues. Par exemple, les humains utilisent des changements d'intonation pour indiquer des changements de sujet ou d'humeur à mesure que les histoires évoluent sur des dizaines de secondes ou de minutes. La machine de Facebook n'en semble pas encore capable.

Ainsi, bien que MelNet puisse créer des phrases remarquablement réalistes, l'équipe n'a pas encore perfectionné des phrases plus longues, des paragraphes ou des histoires entières. Cela ne semble pas être un objectif susceptible d'être atteint de sitôt.

Néanmoins, les travaux pourraient avoir un impact significatif sur l'interaction homme-machine. De nombreuses conversations ne comportent que des phrases courtes. Les opérateurs téléphoniques et les services d'assistance en particulier peuvent se débrouiller avec une gamme de phrases relativement courtes. Cette technologie pourrait donc automatiser ces interactions d'une manière beaucoup plus humaine que les systèmes actuels.

Pour le moment, cependant, Vasquez et Lewis sont discrets sur les applications potentielles.

Et comme toujours, il existe des problèmes potentiels avec les machines à consonance naturelle, en particulier celles qui peuvent imiter les humains de manière fiable. Il ne faut pas beaucoup d'imagination pour imaginer des scénarios dans lesquels cette technologie pourrait être utilisée pour faire des bêtises. Et pour cette raison, c'est encore une autre avancée liée à l'IA qui soulève plus de questions éthiques qu'elle n'apporte de réponses.

Réf : arxiv.org/abs/1906.01083 : MelNet : un modèle génératif pour l'audio dans le domaine fréquentiel

cacher