Lorsque l'IA fournit le son des clips vidéo, les humains ne peuvent pas faire la différence

L'apprentissage automatique change notre façon de penser les images et la façon dont elles sont créées. Les chercheurs ont entraîné des machines à générer des visages, à dessiner des dessins animés et même à transférer le style des peintures sur des images. Il n'y a qu'un pas entre ces techniques et la création de vidéos de cette manière, et cela se fait déjà.

Tout cela indique une manière de créer des environnements virtuels entièrement par machine. Cela ouvre toutes sortes de possibilités pour l'avenir de l'expérience humaine.

Mais il y a un problème. La vidéo n'est pas seulement une expérience visuelle ; générer un son réaliste est tout aussi important. Une question intéressante est donc de savoir si les machines peuvent générer de manière convaincante la composante audio d'une vidéo.

Aujourd'hui, nous obtenons une réponse grâce au travail de Yipin Zhou et de ses amis de l'Université de Caroline du Nord à Chapel Hill et de quelques amis d'Adobe Research. Ces gars-là ont formé un algorithme d'apprentissage automatique pour générer des bandes sonores réalistes pour de courts clips vidéo.

En effet, les sons sont si réalistes qu'ils trompent la plupart des humains en leur faisant croire qu'ils sont réels. Tu peux faites vous-même un test ici pour voir si vous pouvez faire la différence.

L'équipe adopte l'approche standard de l'apprentissage automatique. Les algorithmes ne sont jamais aussi bons que les données utilisées pour les former, donc la première étape consiste à créer un grand ensemble de données annotées de haute qualité d'exemples vidéo.

L'équipe crée cet ensemble de données en sélectionnant un sous-ensemble de clips d'une collection Google appelée Audioset, qui se compose de plus de deux millions de clips de 10 secondes de YouTube qui incluent tous des événements audio. Ces vidéos sont divisées en catégories étiquetées par des humains se concentrant sur des choses comme les chiens, les tronçonneuses, les hélicoptères, etc.

Pour entraîner une machine, l'équipe doit avoir des clips dans lesquels la source sonore est clairement visible. Ainsi, toute vidéo contenant de l'audio provenant d'événements hors écran ne convient pas. L'équipe les filtre à l'aide de travailleurs externalisés du service Mechanical Turk d'Amazon pour trouver des clips dans lesquels la source audio est clairement visible et domine la bande sonore.

Cela a produit un nouvel ensemble de données avec plus de 28 000 vidéos, chacune d'une durée d'environ sept secondes, couvrant 10 catégories différentes.

Ensuite, l'équipe a utilisé ces vidéos pour entraîner une machine à reconnaître les formes d'onde associées à chaque catégorie et à les reproduire à partir de zéro à l'aide d'un réseau de neurones appelé SampleRNN.

Enfin, ils ont testé les résultats en demandant à des évaluateurs humains d'évaluer la qualité du son accompagnant une vidéo et de déterminer s'il est réel ou généré artificiellement.

Les résultats suggèrent que les machines peuvent devenir assez bonnes dans cette tâche. Nos expériences montrent que les sons générés sont assez réalistes et ont une bonne synchronisation temporelle avec les entrées visuelles, disent Zhou et co.

Et les évaluateurs humains semblent être d'accord. Les évaluations montrent que plus de 70% du son généré par nos modèles peut tromper les humains en leur faisant croire qu'ils sont réels, disent Zhou et co.

C'est un travail intéressant qui ouvre la voie à l'édition sonore automatisée. Un problème courant dans les vidéos est que le bruit parasite provenant d'une source hors écran peut ruiner un clip. Il sera donc utile de disposer d'un moyen de remplacer automatiquement le son par une alternative réaliste générée par la machine.

Et avec l'implication d'Adobe dans cette recherche, il ne faudra peut-être pas longtemps avant de voir ce type de capacité dans les logiciels de montage vidéo commerciaux.

Réf : arxiv.org/abs/1712.01393 : Visual to Sound : générer un son naturel pour les vidéos en pleine nature

cacher