L'apprentissage en profondeur transforme les enregistrements mono en son immersif

Samuel Dixon | Unsplash

Écoutez un oiseau chanter dans un arbre à proximité et vous pourrez identifier relativement rapidement son emplacement approximatif sans regarder. Écoutez le rugissement d'un moteur de voiture lorsque vous traversez la route, et vous pouvez généralement dire immédiatement s'il est derrière vous.

La capacité humaine à localiser un son dans un espace tridimensionnel est extraordinaire. Le phénomène est bien compris, il est le résultat de la forme asymétrique de nos oreilles et de la distance qui les sépare.

Mais alors que les chercheurs ont appris à créer des images 3D qui trompent facilement nos systèmes visuels, personne n'a trouvé de moyen satisfaisant de créer des sons 3D synthétiques qui trompent de manière convaincante nos systèmes auditifs.

Aujourd'hui, cela semble sur le point de changer, du moins en partie, grâce au travail de Ruohan Gao de l'Université du Texas et de Kristen Grauman de Facebook Research. Ils ont utilisé une astuce que les humains exploitent également pour apprendre à un système d'IA à convertir des sons mono ordinaires en un assez bon son 3D. Les chercheurs l'appellent le son 2.5D.

Tout d'abord un peu de contexte. Le cerveau utilise une variété d'indices pour déterminer d'où provient un son dans l'espace 3D. Un indice important est la différence entre les heures d'arrivée d'un son à chaque oreille - la différence de temps interaurale.

Un son produit sur votre gauche arrivera évidemment à votre oreille gauche avant la droite. Et bien que vous ne soyez pas conscient de cette différence, le cerveau l'utilise pour déterminer d'où vient le son.

Un autre indice est la différence de volume. Ce même son sera plus fort dans l'oreille gauche que dans l'oreille droite, et le cerveau utilise également cette information pour faire son calcul. C'est ce qu'on appelle la différence de niveau interauriculaire.

Ces différences dépendent de la distance entre les oreilles. Les enregistrements stéréo ne reproduisent pas cet effet, car la séparation des microphones stéréo ne lui correspond pas.

La façon dont le son interagit avec les oreillettes est également importante. Les volets déforment le son d'une manière qui dépend de la direction d'où il provient. Par exemple, un son provenant de l'avant atteint le conduit auditif avant de toucher le pavillon de l'oreille. En revanche, le même son provenant de l'arrière de la tête est déformé par le pavillon de l'oreille avant d'atteindre le conduit auditif.

Le cerveau peut également ressentir ces différences. En fait, la forme asymétrique de l'oreille est la raison pour laquelle nous pouvons dire quand un son vient d'en haut, par exemple, ou de nombreuses autres directions.

L'astuce pour reproduire artificiellement le son 3D est de reproduire l'effet que toute cette géométrie a sur le son. Et c'est un problème difficile.

L'enregistrement binaural est une façon de mesurer la distorsion. Il s'agit d'un enregistrement réalisé en plaçant un microphone à l'intérieur de chaque oreille, qui peut capter ces infimes variations.

En analysant les variations, les chercheurs peuvent ensuite les reproduire à l'aide d'un algorithme mathématique connu sous le nom de fonction de transfert liée à la tête. Cela transforme n'importe quelle paire d'écouteurs ordinaires en machines sonores 3D extraordinaires.

Mais parce que les oreilles de chacun sont différentes, tout le monde entend le son d'une manière différente. Ainsi, créer la fonction de transfert liée à la tête d'une personne signifie mesurer la forme des oreilles de la personne avant de lire un enregistrement. Et bien que cela puisse être fait en laboratoire, personne n'a trouvé comment le faire dans la nature.

Pourtant, il existe des moyens d'approcher le son 3D en utilisant les distorsions sonores qui ne dépendent pas de la forme de l'oreille - les différences de temps et de niveau interaurales.

L'astuce utilisée par Grauman et Gao consiste à déterminer la direction d'où provient un son à l'aide d'indices visuels (comme le font souvent les humains aussi). Ainsi, étant donné une vidéo d'une scène et un enregistrement sonore mono, le système d'apprentissage automatique détermine d'où proviennent les sons, puis déforme les différences de temps et de niveau interauraux pour produire cet effet pour l'auditeur.

Par exemple, imaginez une vidéo montrant une paire de musiciens jouant de la batterie et du piano. Si le tambour est sur le côté gauche du champ de vision et le piano sur la droite, il est simple de supposer que les sons de tambour doivent provenir de la gauche et le piano de la droite. C'est ce que fait ce système d'apprentissage automatique, déformant le son en conséquence.

La méthode de formation des chercheurs est relativement simple. La première étape de la formation de tout système d'apprentissage automatique consiste à créer une base de données d'exemples de l'effet qu'il doit apprendre. Grauman et Gao en ont créé un en réalisant des enregistrements binauraux de plus de 2 000 clips musicaux qu'ils ont également filmés.

Leur enregistreur binaural se compose d'une paire d'oreilles synthétiques séparées par la largeur d'une tête humaine, qui enregistre également la scène à venir à l'aide d'une caméra GoPro.

L'équipe a ensuite utilisé ces enregistrements pour former un algorithme d'apprentissage automatique afin de reconnaître d'où provenait un son compte tenu de la vidéo de la scène. Ayant appris cela, il est capable de regarder une vidéo, puis de déformer un enregistrement monaural de manière à simuler d'où le son devrait provenir. Nous appelons la sortie son visuel 2.5D résultant - le flux visuel aide à « élever » l'audio monocanal plat en son spatialisé, disent Grauman et Gao.

Les résultats sont impressionnants. Tu peux regarder une vidéo de leur travail ici - assurez-vous de porter des écouteurs pendant que vous regardez.

La vidéo compare les résultats des enregistrements 2.5D avec l'enregistrement monaural et montre à quel point cela peut être bon. Le son visuel 2.5D prédit offre une expérience audio plus immersive, disent Grauman et Gao.

Cependant, il ne produit pas de son 3D complet pour les raisons mentionnées ci-dessus : les chercheurs ne créent pas de fonction de transfert personnalisée liée à la tête.

Et il y a certaines situations que l'algorithme trouve difficiles à gérer. Évidemment, le système ne peut traiter aucune source sonore qui n'est pas visible dans la vidéo. Il ne peut pas non plus traiter des sources sonores qu'il n'a pas été entraîné à reconnaître. Ce système se concentre principalement sur les vidéos musicales.

Néanmoins, Grauman et Gao ont une idée astucieuse qui fonctionne bien pour de nombreux vidéoclips. Et ils ont l'ambition d'étendre ses applications. Nous prévoyons d'explorer les moyens d'intégrer la localisation et le mouvement des objets, et de modéliser explicitement les sons de la scène, disent-ils.

Réf : arxiv.org/abs/1812.04204 : Son visuel 2.5D

cacher