L'exploration de données de 100 millions de photos Instagram révèle des tendances vestimentaires mondiales

Imaginez un futur anthropologue ayant accès à des milliards de photos de personnes prises au cours des siècles et à travers le monde et équipé d'outils efficaces pour analyser ces photos afin d'en tirer des enseignements. À quels types de nouvelles questions peut-on répondre ?

C'est le rêve qui a inspiré Kevin Matzen, Kavita Bala et Noah Snavely à l'Université Cornell à Ithaca, New York.

Leur pensée est que les millions de photos téléchargées chaque jour sur les réseaux sociaux offrent une fenêtre fascinante sur les facteurs culturels, sociaux et économiques qui façonnent les sociétés du monde entier. Avec une intelligence artificielle suffisamment puissante, disent-ils, il devrait être possible d'exploiter ce filon mère de données pour obtenir des informations approfondies sur notre civilisation.

L'algorithme révèle comment les styles vestimentaires changent au fil du temps

Par chance, ce type d'intelligence artificielle émerge actuellement à une vitesse vertigineuse. Et Matzen et co l'ont mis au travail en étudiant 100 millions de photos postées sur Instagram.

La question à laquelle ces gars veulent spécifiquement répondre était de savoir comment les styles vestimentaires varient dans le monde, un phénomène culturel qui est autrement difficile à étudier à cette échelle.

Par exemple, leur approche peut aborder des questions telles que l'évolution de la fréquence d'utilisation du foulard aux États-Unis au fil du temps, quels styles sont les plus spécifiques à des régions ou des villes particulières et, inversement, quels styles sont populaires dans le monde.

Pour le savoir, Matzen et co se sont tournés vers Instagram, qui leur a permis de télécharger des images à moins de cinq kilomètres d'un lieu précis et dans les cinq jours suivant une date précise.

L'équipe a ensuite identifié 44 villes à étudier et téléchargé un total de 100 millions d'images de ces endroits dans des fenêtres de cinq jours entre juin 2013 et juin 2016.

Ils ont utilisé un programme de reconnaissance faciale standard pour filtrer toutes les images qui ne contenaient pas de visage, et ils ont également filtré pour un torse visible, laissant un ensemble de 15 millions de photos de personnes montrant la moitié supérieure de leur corps, ainsi que leur emplacement. et la date.

Ensuite, ils ont formé un algorithme d'apprentissage automatique pour reconnaître divers types de vêtements et d'accessoires dans les images. Par exemple, l'algorithme a appris à reconnaître si les gens portaient une veste, une écharpe, une cravate, des lunettes, un chapeau, etc. L'algorithme pourrait également reconnaître les couleurs, les styles d'encolure et la longueur des manches ; catégories de vêtements telles que T-shirt, robe ou débardeur ; et des motifs vestimentaires, tels que solides, rayés, à carreaux, etc.

Enfin, ils ont laissé la machine perdre les 15 millions de photos de leur ensemble de données, puis ont utilisé un autre algorithme pour rechercher des groupes d'images avec des thèmes visuels similaires et suivre leur variation dans le temps et d'un endroit à l'autre.

Les résultats rendent la lecture intéressante. L'algorithme de clustering a trouvé quelque 400 thèmes visuels différents, tels que des personnes portant des T-shirts blancs et des lunettes, ou portant des hauts rouges à col en V ou des robes noires, ou ne portant pas de hauts du tout !

Matzen et co peuvent alors étudier comment ces thèmes visuels varient selon le temps et le lieu. Ils ont constaté, par exemple, que certaines couleurs varient périodiquement, le noir et le marron étant plus courants en hiver et le blanc et le bleu plus courants en été.

D'autres couleurs montrent des motifs différents. Par exemple, la popularité du rouge est en baisse. Et bien qu'il soit beaucoup moins périodique que le noir ou le blanc, il devient soudainement populaire de temps en temps. Matzen et co signalent de petits pics de popularité vers la fin octobre et décembre : en d'autres termes, à Halloween et à Noël. Ce qui s'est démarqué, c'est un large assortiment de chapeaux de Père Noël ainsi qu'un assortiment inattendu de costumes rouges d'Halloween avec des chapeaux ou des capuchons rouges, disent-ils.

Ils ont également constaté une augmentation soudaine de la popularité des maillots jaunes en Colombie et au Brésil lors de la Coupe du monde de football de juin/juillet 2014 - les équipes de football des deux pays portent du jaune.

Ils ont également noté diverses tendances géographiques. Les pays plus au nord ont tendance à proposer plus de vestes, disent-ils, probablement parce qu'il fait plus froid.

Le port du chapeau est également plus populaire dans les pays les plus froids. Mais curieusement, Oman au Moyen-Orient s'avère être l'une des capitales mondiales du chapeau. En particulier, le kuma et le massar sont populaires à Oman, car ils sont un élément important du costume national masculin, disent Matzen et co.

Certains vêtements sont uniques à des endroits particuliers : le gele, une cravate nigériane, est très distinctif de Lagos. Et d'autres styles sont courants dans le monde et tout au long de l'année, notamment les chemises à col bleu, les chemises à carreaux et les t-shirts noirs.

C'est un travail intéressant qui révèle le potentiel de l'apprentissage automatique pour démêler le tissu culturel de notre société.

Bien sûr, cette approche n'est pas parfaite. L'algorithme n'a pas appris à faire la distinction entre les lunettes de soleil et les lunettes de prescription, qui jouent des rôles différents dans la société. Il est peu probable que les images soient représentatives de la société dans son ensemble, car les utilisateurs d'Instagram sont fortement orientés vers une population plus jeune. Et la technique ne regarde que le haut du corps, car les jambes sont souvent recadrées dans les images en ligne.

Mais il existe un potentiel important pour corriger ces lacunes dans les travaux futurs et pour aller plus loin. Un défi permanent en vision artificielle consiste à déterminer si les gens sont debout ou assis ou ce qu'ils font en général. Il serait également possible de combiner cet ensemble de données avec d'autres, comme les données météorologiques et de température.

Comme le concluent Matzen et ses collaborateurs : la combinaison des mégadonnées, de l'apprentissage automatique, de la vision par ordinateur et des algorithmes d'analyse automatisés constituerait un outil d'analyse très puissant plus largement dans la découverte visuelle de la mode et de nombreux autres domaines. »

De toute évidence, nous n'avons pas besoin d'attendre les anthropologues du futur.

Réf : arxiv.org/abs/1706.01869 :StreetStyle : Explorer les styles vestimentaires du monde entier à partir de millions de photos

cacher