Un algorithme d'apprentissage automatique surveille la danse Dance Revolution, puis crée ses propres danses

Dance Dance Revolution est l'un des jeux vidéo classiques de la fin du 20e siècle. Un témoignage de son succès, de sa nouveauté et de sa longévité est qu'il est toujours populaire aujourd'hui, près de 20 ans après son lancement.

Il s'agit d'un jeu de danse composé d'un écran et d'une plateforme de danse que les joueurs contrôlent avec leurs pieds. La plate-forme dispose de quatre pads, que les joueurs doivent toucher à la musique dans l'ordre spécifié par un tableau à l'écran. Les joueurs doivent donc danser sur la musique de la manière dont le jeu l'exige.

Le jeu permet également aux joueurs de concevoir et de distribuer leurs propres danses. Au fil des ans, les gens ont créé d'énormes bases de données de danses pour une vaste gamme de chansons populaires.

Cela a donné une idée à Chris Donahue et ses amis de l'Université de Californie à San Diego. Pourquoi ne pas utiliser cette énorme base de données pour former une machine d'apprentissage en profondeur afin de créer ses propres danses ?

Aujourd'hui, ils montrent comment ils y sont parvenus. Leur système, appelé Dance Dance Convolution, prend en entrée les fichiers audio bruts de chansons pop et produit des routines de danse en sortie. Le résultat est une machine capable de chorégraphier de la musique.

Le jeu lui-même est simple dans son principe. Pendant que la musique joue, le joueur touche les pads sur la plate-forme de danse dans l'ordre indiqué à l'écran. Chaque pad peut être dans l'un des quatre états suivants : activé, désactivé, maintenu (ou gelé) et relâché. Parce que les quatre pads peuvent être activés ou relâchés indépendamment, il y a 256 combinaisons de pas possibles à tout instant.

Bien sûr, les danses deviennent progressivement plus difficiles, la plupart des chansons ayant des danses avec cinq niveaux de difficulté. La difficulté est déterminée par la vitesse des subdivisions rythmiques. Les jeux de niveau débutant ont des pas sur les noires et les croches, mais les danses de difficulté plus élevée ont des pas de 16e note et certains modèles impliquant des 12e et 24e notes.

Il existe également d'autres règles informelles pour la création de tableaux de danse. Les auteurs de graphiques s'efforcent d'éviter les modèles qui obligeraient un joueur à se détourner de l'écran, disent Donahue et co. Le résultat est des danses avec une grande variété de structures riches.

La tâche d'automatiser la création de tableaux de danse n'est en aucun cas simple. Donahue et co le divisent en deux parties. La première consiste à décider quand placer les marches et la seconde à décider quelles marches sélectionner. Ils forment ensuite un algorithme d'apprentissage automatique pour apprendre chaque tâche.

La première tâche se résume à identifier un ensemble d'horodatages dans une chanson auquel placer des pas. Ceci est similaire à un problème bien étudié dans la recherche musicale appelé détection d'apparition. Cela implique d'identifier les moments importants d'une chanson tels que les notes de mélodie ou les frappes de batterie.

Bien que tous les débuts de nos données ne correspondent pas à une étape de Dance Dance Revolution, chaque pas de Dance Dance Revolution correspond à un début, disons Donahue et co.

Une fois les horodatages de chaque étape identifiés, la deuxième tâche consiste à sélectionner une étape à effectuer à chaque instant.

Dans toutes les tâches d'apprentissage automatique, l'ensemble de données de formation est crucial. La recherche musicale a été entravée dans le passé parce que les problèmes de droit d'auteur peuvent empêcher les chansons d'être utilisées dans la recherche (ou du moins d'être transmises avec les résultats).

La DDR contourne ce problème car de nombreux tableaux de danse ont été créés par des utilisateurs ordinaires. Donahue et co disent qu'un référentiel en ligne, appelé Stepmania Online, stocke plus de 350 gigaoctets de cartes de danse sur plus de 100 000 chansons.

Pour cette recherche, l'équipe se concentre sur deux ensembles de données plus petits composés d'enregistrements et de tableaux de danse. Le premier contient 90 chansons chorégraphiées par un seul auteur, qui a produit des tableaux de cinq niveaux de difficulté pour chaque chanson. Le deuxième ensemble de données contient 133 chansons chacune avec un seul tableau de danse.

L'équipe augmente ensuite l'ensemble de données en créant une image miroir de chaque graphique, par exemple en remplaçant la gauche par la droite et le haut par le bas (ou les deux). Le résultat est un ensemble de données de 35 heures de musique sous forme de fichiers audio bruts avec plus de 350 000 étapes.

Donahue et co utilisent ensuite 80 % de la musique pour entraîner l'algorithme d'apprentissage automatique à reconnaître les temps de placement des pas. Ils valident et testent le modèle résultant avec les 20 % de données restantes. Et ils utilisent des proportions similaires pour former un autre algorithme afin de déterminer la sélection de l'étape. Des techniques similaires sont largement utilisées dans l'apprentissage automatique pour des tâches telles que le traitement du langage naturel.

Les résultats sont impressionnants. Nos expériences établissent la faisabilité de l'utilisation de l'apprentissage automatique pour générer automatiquement des graphiques DDR de haute qualité à partir d'audio brut, disent Donahue et co.

En combinant les connaissances de la détection des débuts musicaux et de la modélisation statistique du langage, nous avons conçu et évalué un certain nombre de méthodes d'apprentissage en profondeur pour apprendre à chorégraphier, disent-ils.

C'est un travail divertissant qui montre l'utilité de l'apprentissage automatique pour les tâches où il existe de grands ensembles de données annotées. Cela montre également qu'une fois de plus, un autre bastion de la créativité humaine est tombé entre les mains des machines.

Réf : arxiv.org/abs/1703.06891 : Danse Danse Convolution

cacher