L'algorithme de Yahoo Labs identifie la créativité dans des vidéos Vine de 6 secondes

En janvier 2013, un service de partage de vidéos appelé Vine a soudainement frappé le cyberespace. Le service, propriété de Twitter, était unique car les utilisateurs étaient autorisés à enregistrer et à partager des vidéos qui ne duraient pas plus de six secondes. Mais en quelques mois, elle était devenue l'application de partage de vidéos la plus populaire sur le Web et l'application gratuite la plus téléchargée sur l'Apple Store.

La contrainte de temps a eu un impact intéressant sur le processus créatif : elle a obligé les utilisateurs à raconter leurs histoires en seulement six secondes. Cela, à son tour, a conduit à un tout nouveau genre de cinéma qui a maintenant sa propre catégorie de cinéma de six secondes au Tribeca Film Festival à New York.

L'extraordinaire succès des vidéos de six secondes offre une curieuse opportunité. Parce que les vidéos sont si courtes, elles sont relativement faciles à analyser à l'aide d'algorithmes de vision industrielle et de techniques d'analyse audio. Et cela soulève une question intéressante. Ces techniques automatisées peuvent-elles faire la différence entre des vidéos de six secondes que les humains considèrent comme créatives et celles considérées comme non créatives ?

Aujourd'hui, nous obtenons une réponse grâce au travail de Miriam Redi de Yahoo Labs à Barcelone, en Espagne, et à quelques amis qui ont utilisé des techniques de crowdsourcing et des algorithmes de machine pour analyser quelque 4000 vidéos de six secondes du flux Vine. Leurs résultats suggèrent que les machines peuvent faire un assez bon travail pour faire la distinction entre le contenu créatif et non créatif, du moins dans le genre des six secondes.

L'équipe a commencé avec l'ensemble de données compilé en choisissant 1000 vidéos qui avaient déjà été mises en évidence comme étant créatives. Ils ont sélectionné 200 autres vidéos d'articles en ligne sur la créativité de Vine et parcouru le contenu produit par les auteurs de ce contenu pour trouver 2 300 autres vidéos. Enfin, ils ont sélectionné 500 autres vidéos au hasard dans le flux Vine.

La tâche suivante consistait à déterminer lesquelles de ces vidéos étaient créatives et lesquelles n'étaient pas créatives. Pour le savoir, ils ont demandé à quelque 300 bénévoles externalisés de regarder les vidéos et de répondre à la question : cette vidéo est-elle créative ? les réponses possibles étant positives, négatives ou ne sais pas. Chaque vidéo a été notée par cinq volontaires différents.

Ces travailleurs ont produit des résultats étonnamment cohérents. Ils étaient à 100 % d'accord sur 48 % des vidéos. En d'autres termes, les cinq évaluateurs ont attribué la même note à près de la moitié des vidéos. Parmi ceux-ci, ils ont convenu que 25 % étaient créatifs. Pour mettre cela en perspective, les bénévoles ont identifié seulement 1,9 % des 500 vidéos choisies au hasard comme étant créatives, ce qui donne un taux de créativité de fond.

Ils ont ensuite analysé chaque vidéo avec différents algorithmes. Par exemple, ils ont recherché des caractéristiques de composition telles que la règle des tiers et la faible profondeur de champ. Ils ont utilisé un algorithme d'analyse du contenu des scènes vidéo qui étudie les contours et la disposition d'une image. Ils ont également cherché des preuves que les vidéos étaient des animations en stop motion ou conçues pour fonctionner sur une boucle apparemment sans fin en recherchant des similitudes entre la première et la dernière image. Et ils ont évalué la nouveauté de chaque vidéo en comparant ses propriétés à un groupe d'autres sélectionnés au hasard.

Ils ont ensuite recherché des corrélations entre les fonctionnalités trouvées par les algorithmes de la machine et les vidéos identifiées comme créatives par des volontaires humains. Il s'avère que le contenu de la scène est le plus fortement corrélé à la créativité, suivi des caractéristiques de composition et de la nouveauté vidéo.

Dans une dernière étape, ils ont formé un algorithme d'apprentissage automatique pour utiliser ces fonctionnalités afin de trouver des vidéos créatives dans un ensemble de données qu'il n'avait jamais vu auparavant. Cet algorithme était capable de classer correctement les vidéos comme créatives ou non créatives 80 % du temps.

C'est un résultat intéressant qui ouvre la possibilité de filtrer automatiquement le flux en direct Vine pour le contenu le plus créatif. Cela nous permet d'étudier la créativité audiovisuelle à un niveau plus fin, nous aidant à comprendre ce qui constitue exactement la créativité dans les micro-vidéos, disent Redi et co.

Et s'il est possible pour un algorithme d'identifier avec précision la créativité, pourquoi ne serait-il pas possible pour un ordinateur de générer du contenu créatif ? En fait, repérer la différence entre la créativité produite par l'homme et la créativité générée par ordinateur pourrait un jour être un exercice intéressant de type test de Turing.

Réf : arxiv.org/abs/1411.4080

cacher