L'algorithme d'esthétique computationnelle repère la beauté que les humains négligent

L'une des vérités déprimantes sur les médias sociaux est que la popularité d'une image n'est pas nécessairement une indication de sa qualité. Il est facile de trouver un contenu extrêmement populaire de qualité douteuse. Mais il est beaucoup plus difficile de trouver du contenu impopulaire de haute qualité.

C'est en grande partie parce que la popularité est régie par une loi de puissance : une petite proportion de contenu reçoit une grande proportion d'attention tandis que la grande majorité du contenu partage le reste. Prenez le site de partage de photos Flickr, qui héberge quelque 200 millions de photos. Parmi eux, 166 millions ont cinq favoris ou moins.

C'est un grand nombre d'images impopulaires! Il est facile d'imaginer qu'il doit y avoir de nombreux joyaux photographiques cachés dans cette longue queue d'impopularité. Mais comment le révéler ?

Aujourd'hui, nous recevons et répondons grâce au travail de Rossano Schifanella de l'Université de Turin en Italie et Miriam Redi et Luca Maria Aiello de Yahoo Labs à Barcelone. Ces gars-là ont appris à un algorithme de vision artificielle à reconnaître la beauté, puis lui ont permis de parcourir la longue queue d'images Flickr impopulaires à la recherche de joyaux que personne n'a remarqués. Et les résultats sont impressionnants.

Schifanella et co commencent par crowdsourcing l'opinion humaine sur la qualité esthétique de quelque 10 000 images de la base de données Flickr. Celles-ci incluent à la fois des images populaires et impopulaires dans quatre catégories selon qu'elles représentent des personnes, la nature, des animaux ou des sujets urbains.

Chaque image est évaluée par au moins cinq humains selon cinq catégories esthétiques allant de la qualité extrêmement médiocre à la qualité exceptionnelle. Ce processus produit un ensemble de données de vérité terrain d'images qui correspondent à chaque catégorie esthétique.

Ensuite, l'équipe utilise cet ensemble de données pour former un système de vision artificielle appelé CrowdBeauty pour reconnaître les images qui entrent dans chaque catégorie. Pour ce faire, l'algorithme analyse chaque image à l'aide de critères tels que son contraste, sa luminosité, ses motifs de couleur, la disposition des caractéristiques dans l'image, etc.

L'algorithme fonctionne de la manière dont ces critères sont liés à l'éventuelle évaluation esthétique. Schifanella and co teste ensuite l'algorithme CrowdBeauty en lui demandant de prédire la note attribuée à un certain nombre de photographies qu'il n'a pas encore vues. Cela, il peut le faire avec une précision surprenante, en particulier pour les images d'animaux et les images urbaines.

Enfin, Schifanella et co ont laissé tomber CrowdBeauty sur une base de données de neuf millions d'images de Flickr qui ont moins de cinq favoris. Son objectif est de sélectionner de belles images qui ne sont pas encore devenues populaires.

Les résultats sont impressionnants avec CrowdBeauty mettant en évidence de nombreuses belles images. L'équipe compare ces images à celles qui sont simplement populaires en interrogeant les opinions à leur sujet. Notre méthode récupère des photos dont le score médian de beauté perçue est égal aux plus populaires, et dont la moyenne n'est inférieure que de 1,5%, disent-ils.

(Dans l'image ci-dessus, les images impopulaires sont dans la colonne de gauche, les images populaires apparaissent dans la colonne du milieu et les images sélectionnées par CrowdBeauty apparaissent dans la colonne de droite.)

Cela soulève immédiatement la possibilité de diverses applications. Une idée est d'utiliser CrowdBeauty pour trouver de belles images qui ne sont pas encore devenues populaires.

Comme preuve de concept, nous envisageons une nouvelle page Flickr Beauty Explorer qui présente les photos les plus belles mais les plus impopulaires du mois pour compléter le Flickr Explorer classique qui contient des photos avec un retour social très élevé, disent Schifanella et co.

En d'autres termes, l'algorithme CrowdBeauty a le potentiel de démocratiser les plateformes de partage de photos en mettant en avant des individus talentueux qui sont autrement sous-estimés.

Il y a donc encore de l'espoir pour tous les photographes non appréciés.

Réf : arxiv.org/abs/1505.03358 : Une image vaut plus qu'un millier de favoris : Découvrir la beauté cachée des images Flickr

cacher