L'algorithme élargissant la science de la couleur

Les palettes de couleurs extraites de peintures d'art.

L'étude de la couleur est en pleine révolution. Jusqu'à présent, la théorie des couleurs n'était guère plus qu'un ensemble d'idées basées vaguement sur la science.

Mais la capacité d'analyser d'énormes ensembles de données d'images à l'aide d'algorithmes de vision artificielle est en train de changer cela. Soudain, il est devenu possible d'étudier la couleur et la façon dont elle est utilisée de manières entièrement différentes. Par exemple, il est maintenant facile d'extraire des combinaisons de couleurs d'une image et de les coller sur une autre.

Mais ce processus de collage de couleur est un outil contondant. Il peut remplacer un ensemble de couleurs par un autre, mais il ne peut pas comparer ces palettes de couleurs, décider comment des couleurs spécifiques doivent être assorties ou découvrir s'il manque une couleur à une palette et la remplacer.

Le problème est qu'il n'y a aucun moyen de classer les couleurs dans l'ordre. Et cela rend difficile la comparaison des palettes. Les spécialistes de l'image aimeraient donc beaucoup disposer d'un moyen naturel d'ordonner les couleurs extraites des images et ainsi pouvoir les comparer.

Entrez Huy Phan à l'Université technique du Danemark à Copenhague et quelques copains, qui ont trouvé un moyen de faire exactement cela. Leur technique est simple à mettre en œuvre et conduit immédiatement à une nouvelle génération de filtres d'images enrichies beaucoup plus souples que ceux actuellement disponibles.

Le problème de base est simple à énoncer : étant donné la palette de couleurs de deux images, dans quel ordre les couleurs doivent-elles apparaître pour faire une comparaison significative ? Par significatif, l'équipe veut dire que les couleurs décrivant les mêmes objets doivent être comparables.

Phan et co abordent cela comme une sorte de problème de tri. Ils évaluent d'abord une image en traçant la position des couleurs qu'elle contient - sa palette - dans un espace colorimétrique tridimensionnel (chaque couleur peut être considérée comme un vecteur à trois décrivant comment elle est composée d'un mélange de rouge, vert, et bleu, par exemple).

Ils mesurent ensuite la distance entre chaque paire de couleurs de la palette. Enfin, ils utilisent un algorithme pour déterminer comment mapper une palette sur une autre avec un minimum de distorsion. En effet, cet algorithme trouve des clusters dans l'espace colorimétrique de chaque palette.

L'ensemble de données qu'ils utilisent est important. Nous considérons des palettes de couleurs extraites de collections d'art, que nous pensons être une source abondante de thèmes de couleurs stylistiques et uniques, disent Phan and co.

Cela limite aussi le sujet, qui est crucial. Henri Matisse utilisait souvent des rouges et des verts profonds dans ses peintures, par exemple, tandis que Maximilien Luce utilisait des bleus et des jaunes forts pour ombrer les objets. Mais parce que ces artistes utilisent des scènes globalement similaires (par exemple, divisées en ciel et terre), les couleurs sont comparables.

Cela signifie que l'équipe peut supposer que des groupes de couleurs similaires décrivent des objets similaires. L'algorithme mappe ensuite ces clusters les uns sur les autres. De cette façon, il peut prendre la coloration du ciel dans une image et appliquer le même ensemble de couleurs au ciel dans une autre image.

Et parce que la transformation est appliquée à tout l'espace, il devient simple de mapper n'importe quelle couleur de la palette sur une couleur correspondante dans l'autre palette.

Cela conduit à une manière naturelle d'ordonner les couleurs. Phan et co le font en spécifiant d'abord le nombre de couleurs qui apparaissent dans chaque cluster. Phan et co utilisent cinq comme exemple standard (des nombres plus élevés nécessitent beaucoup plus de ressources de calcul).

L'algorithme trouve alors les cinq couleurs dans le premier cluster, puis dans le deuxième, le troisième et ainsi de suite. La commande de ces clusters permet ensuite de comparer facilement les palettes de chaque image.

La méthode conduit immédiatement à des applications intéressantes. Par exemple, ils créent une application appelée Photo-style Explorer qui agit comme un filtre Instagram mais dans un espace colorimétrique continu. Au lieu de choisir parmi quelques thèmes prédéfinis, on peut librement surfer sur un espace continu de colorisations de photos possibles pour choisir un thème préféré, disent-ils.

Une autre option consiste à recolorer les photos avec différentes palettes dans différentes parties de l'image. Il est donc possible d'utiliser une palette pour recolorer le ciel et une autre pour recolorer les arbres.

Il permet également une meilleure analyse des signatures couleurs des artistes et de transférer ces signatures sur d'autres images. Il devient alors possible de recolorer rapidement une photographie en utilisant la palette de couleurs de Renoir ou celle de Vincent van Gogh.

C'est un travail intéressant qui élargit la façon dont la couleur peut être utilisée dans les images modernes.

Réf : http://arxiv.org/abs/1703.06003 : Orchestre de couleurs : Ordonner des palettes de couleurs pour l'interpolation et la prédiction

cacher