L'apprentissage en profondeur aidera à empêcher la vidéo d'encombrer Internet

La vidéo remplit Internet. Environ 75% de tout le trafic est du contenu vidéo, et ce volume devrait tripler d'ici 2021.

Si nous ne voulons pas que la demande insatiable de vidéos de chats et de services de streaming obstrue les pipelines pour toujours, nous devrons compter sur la compression vidéo. Il s'agit du processus de réencodage d'un fichier vidéo afin qu'il soit plus petit que l'original. Mais les techniques de compression actuelles sont anciennes par rapport aux normes de la technologie moderne. Les principes fondamentaux des algorithmes de compression vidéo existants n'ont pas considérablement changé au cours des 20 dernières années, déclarent Oren Rippel et co chez WaveOne, une société d'apprentissage en profondeur qui tente de faire entrer la compression vidéo dans le 21e siècle.

Ces gars-là ont utilisé l'apprentissage en profondeur pour développer un nouvel algorithme de compression qui surpasse considérablement les codecs vidéo existants. À notre connaissance, il s'agit de la première méthode basée sur l'apprentissage automatique à le faire, disent-ils.

L'idée de base derrière la compression vidéo est de supprimer les données redondantes d'un code et de les remplacer par une description plus courte qui permet toujours de reproduire la vidéo plus tard. La plupart des compressions vidéo se déroulent en deux étapes.

La première, la compression de mouvement, recherche les objets en mouvement et tente de prédire où ils se trouveront dans l'image suivante. Ensuite, au lieu d'enregistrer les pixels associés à cet objet en mouvement dans chaque image, l'algorithme encode uniquement la forme de l'objet, ainsi que la direction de déplacement. En effet, certains algorithmes examinent les images futures pour déterminer le mouvement avec encore plus de précision, bien que cela ne puisse évidemment pas fonctionner pour les diffusions en direct. Le résultat est que la vidéo compressée traduit simplement l'objet sur l'écran.

La deuxième étape de compression supprime les autres redondances entre une trame et la suivante. Ainsi, au lieu d'enregistrer la couleur de chaque pixel dans un ciel bleu, un algorithme de compression pourrait identifier la zone de cette couleur et spécifier qu'elle ne change pas au cours des prochaines images. Ainsi, ces pixels restent de la même couleur jusqu'à ce qu'on leur dise de changer. C'est ce qu'on appelle la compression résiduelle.

La nouvelle approche que Rippel et co ont lancée utilise l'apprentissage automatique pour améliorer ces deux techniques de compression. Prenez la compression de mouvement, où les techniques d'apprentissage automatique de l'équipe ont trouvé de nouvelles redondances basées sur le mouvement que les codecs conventionnels n'ont jamais été en mesure d'exploiter.

Par exemple, la tête d'une personne qui passe d'une vue frontale à une vue latérale produit toujours un résultat similaire. Les codecs traditionnels ne pourront pas prédire un visage de profil à partir d'une vue frontale, disent Rippel et co. En revanche, le nouveau codec apprend ces types de modèles spatio-temporels et les utilise pour prédire les images futures.

Un autre problème est de répartir la bande passante disponible entre le mouvement et la compression résiduelle. Dans certaines scènes, la compression de mouvement est plus importante ; dans d'autres, la compression résiduelle fournit les gains les plus importants. Le compromis optimal entre eux diffère d'une image à l'autre.

Les algorithmes de compression traditionnels trouvent cela difficile car ils compressent les deux processus séparément. Cela signifie qu'il n'y a pas de moyen facile de les échanger.

Rippel et co contournent ce problème en compressant les deux signaux en même temps et utilisent la complexité de la trame pour décider comment répartir la bande passante entre eux de la manière la plus efficace.

Ces améliorations et d'autres ont permis aux chercheurs de créer un algorithme de compression qui surpasse considérablement les codecs traditionnels. Lors de la compression d'une vidéo haute définition (1080p), les algorithmes de compression ordinaires, tels que H.265 et VP9, ​​produisent des fichiers 20 % plus volumineux que ceux produits par le nouvel algorithme.

Et les gains sont encore plus importants pour les vidéos en définition standard, telles que HEVC/H.265 et AVC/H.264. Celles-ci produisent généralement des fichiers jusqu'à 60 % plus volumineux que la nouvelle approche de l'équipe.

C'est un gain impressionnant qui pourrait réduire considérablement la taille et les temps de téléchargement associés à la vidéo en ligne.

Cependant, la nouvelle approche n'est pas exempte de quelques défauts. Le plus important est peut-être son efficacité de calcul, c'est-à-dire le temps nécessaire pour encoder et décoder les vidéos. Sur une plate-forme Nvidia Tesla V100 et sur des vidéos de taille VGA, le nouveau décodeur fonctionne à une vitesse moyenne d'environ 10 images par seconde avec l'encodeur fonctionnant à environ 2 images par seconde. Cela a une application limitée pour une diffusion en direct.

Bien sûr, les chercheurs s'attendent à apporter des améliorations significatives au-delà de l'étape de la preuve de principe. La vitesse actuelle n'est pas suffisante pour un déploiement en temps réel, mais doit être considérablement améliorée dans les travaux futurs, disent-ils.

Ce qui signifie que grâce à ce type d'approche d'apprentissage automatique, les futurs cyberinternautes devraient pouvoir télécharger leurs vidéos de Game of Thrones ou de chats en un temps record et diffuser leurs matchs de football en haute définition plus efficacement que jamais.

Réf : arxiv.org/abs/1811.06981 : Compression vidéo apprise

cacher