Deep Learning Machine résout le problème du cocktail

L'effet cocktail est la capacité de se concentrer sur une voix humaine spécifique tout en filtrant les autres voix ou le bruit de fond. La facilité avec laquelle les humains exécutent cette astuce contredit le défi auquel les scientifiques et les ingénieurs ont été confrontés pour la reproduire de manière synthétique. Dans l'ensemble, les humains surpassent facilement les meilleures méthodes automatisées pour isoler les voix.

Un problème de cocktail particulièrement difficile se situe dans le domaine de la musique, où les humains peuvent facilement se concentrer sur une voix chantée superposée à un fond musical qui comprend une large gamme d'instruments. En comparaison, les machines sont médiocres dans cette tâche.

Aujourd'hui, cela semble changer grâce au travail d'Andrew Simpson et de ses amis de l'Université de Surrey au Royaume-Uni. Ces gars-là ont utilisé certaines des avancées les plus récentes associées aux réseaux de neurones profonds pour séparer les voix humaines de l'arrière-plan dans une large gamme. de chansons.

Leur approche met en valeur les énormes progrès qui ont été réalisés ces dernières années dans l'apprentissage automatique et les réseaux de neurones. Et il ouvre la voie à une solution plus générale au fameux problème du cocktail qui devrait permettre, entre autres, de séparer facilement les voix de la musique qu'elles accompagnent.

La méthode utilisée par ces gars est relativement simple. Ils commencent par une base de données de 63 chansons disponibles sous la forme d'un ensemble de pistes individuelles contenant chacune un instrument ou une voix différente, ainsi que la version entièrement mixée de la chanson.

Simpson et co divisent chaque piste en segments de 20 secondes et créent un spectrogramme pour chacun qui montre comment les fréquences du son varient dans le temps. Le résultat est une sorte d'empreinte digitale unique qui identifie l'instrument ou la voix.

Ils créent également un spectrogramme de la version entièrement mixée de la chanson. Il s'agit essentiellement de tous les spectrogrammes de composants additionnés.

La tâche de sélectionner une voix à partir de ce mélange consiste essentiellement à séparer le spectrogramme unique de la voix des autres spectrogrammes présents.

Simpson et co ont formé leur réseau de neurones à convolution profonde pour faire exactement cela. Ils ont utilisé 50 de ces chansons pour former le réseau tout en gardant les 13 restantes pour le tester. Au total, cela a généré plus de 20 000 spectrogrammes à des fins de formation.

La tâche du réseau de neurones était simple. En entrée, ils lui ont donné le spectrogramme entièrement mélangé et s'attendaient à ce qu'il produise, essentiellement, le spectrogramme vocal en sortie.

La tâche dans ce type d'apprentissage automatique est l'optimisation des paramètres. Leur réseau neuronal profond a un milliard de paramètres qui doivent être réglés de manière à produire la sortie souhaitée.

Ce processus d'optimisation ou d'apprentissage se produit par itération. Ainsi, le réseau commence avec ces paramètres définis de manière aléatoire, puis améliore progressivement les paramètres à chaque fois qu'il parcourt la base de données, ce qu'il a fait sur une centaine d'itérations.

Après avoir trouvé une bonne configuration pour le réseau, Simpson and co lui a ensuite donné les 13 chansons qu'il n'avait pas vues auparavant pour tester à quel point il pouvait séparer les voix du mix.

Les sorties se sont révélées impressionnantes. Ces résultats démontrent qu'une approche de réseau de neurones profonds convolutifs est capable de généraliser la séparation des voix, apprise dans un contexte musical, à de nouveaux contextes musicaux, explique l'équipe.

Simpson et compagnie ont même comparé leurs résultats à ceux d'un algorithme de cocktail traditionnel appliqué aux mêmes données. Le principal avantage du réseau neuronal profond semble être son apprentissage général de ce que sont les sons «vocaux», disent-ils.

En d'autres termes, après avoir appris à quoi ressemble une voix, un réseau neuronal profond peut utiliser ces informations pour sélectionner d'autres voix dans un mix. Mais à quel point cette approche est-elle bonne par rapport à la performance humaine, ils ne le disent pas.

Une application immédiate est la production de pistes musicales sans voix pour les machines à karaoké. C'est clairement un… euh… objectif important, mais il y a aussi des implications plus larges.

Les réseaux de neurones profonds révolutionnent l'apprentissage automatique dans un large éventail de domaines. Jusqu'à récemment, les humains dominaient clairement les tâches de reconnaissance de formes telles que la reconnaissance faciale et la reconnaissance d'objets. Cette avance a été considérablement réduite et, dans certains cas, complètement perdue.

Maintenant, les machines rattrapent leur retard dans le domaine des problèmes de cocktail et seul un imbécile parierait contre leur triomphe dans un avenir pas trop lointain.

Réf : arxiv.org/abs/1504.04658 : Deep Karaoke : Extraction de voix à partir de mélanges musicaux à l'aide d'un réseau de neurones profonds à convolution

cacher