L'algorithme de vision artificielle bat les historiens de l'art à leur propre jeu

Peu de domaines de recherche académique ont échappé à l'influence de l'informatique et de l'apprentissage automatique. Mais l'une d'elles est l'histoire de l'art. Le défi d'analyser les peintures, de reconnaître leurs artistes et d'identifier leur style et leur contenu a toujours dépassé les capacités des algorithmes, même les plus avancés.

Cela est en train de changer grâce aux progrès récents de l'apprentissage automatique basés sur des approches telles que les réseaux de neurones à convolution profonde. En quelques années seulement, des informaticiens ont créé des machines capables d'égaler et parfois de surpasser les humains dans toutes sortes de tâches de reconnaissance de formes.

Aujourd'hui, nous voyons à quel point ces approches sont devenues avancées entre les mains de Babak Saleh et Ahmed Elgammal de l'Université Rutgers du New Jersey. Ces gars-là ont utilisé ces nouvelles techniques d'apprentissage automatique pour former des algorithmes afin de reconnaître l'artiste et le style d'une peinture d'art avec une précision jamais atteinte auparavant.

De plus, les résultats révèlent des liens entre les artistes, et entre des styles de peinture entiers, que les historiens de l'art ont travaillé pendant des années pour comprendre.

Saleh et Elgammal commencent par une base de données d'images de plus de 80 000 peintures de plus de 1 000 artistes couvrant 15 siècles. Ces peintures couvrent 27 styles différents, chacun avec plus de 1 500 exemples. Les chercheurs classent également les œuvres par genre, comme l'intérieur, le paysage urbain, le paysage, etc.

Ils prennent ensuite un sous-ensemble des images et les utilisent pour former divers types d'algorithmes d'apprentissage automatique de pointe afin de sélectionner certaines fonctionnalités. Celles-ci incluent des fonctionnalités générales de bas niveau telles que la couleur globale, ainsi que des fonctionnalités plus avancées décrivant les objets de l'image, telles qu'un cheval et une croix. Le résultat final est une description vectorielle de chaque peinture qui contient 400 dimensions différentes.

Les chercheurs testent alors l'algorithme sur un ensemble de tableaux qu'il n'a pas encore vus. Et les résultats sont impressionnants. Leur nouvelle approche permet d'identifier avec précision l'artiste dans plus de 60 % des peintures qu'il voit et d'identifier le style dans 45 % d'entre elles.

Mais surtout, l'approche de l'apprentissage automatique donne un aperçu de la nature des beaux-arts qui est autrement difficile à développer, même pour les humains. Cela vient de l'analyse des peintures que l'algorithme a du mal à classer.

Par exemple, Saleh et Elgammal disent que leur nouvelle approche a du mal à faire la distinction entre les œuvres peintes par Camille Pissarro et Claude Monet. Mais une petite recherche sur ces artistes révèle rapidement que tous deux étaient actifs en France à la fin du XIXe et au début du XXe siècle et qu'ils ont tous deux fréquenté l'Académie Suisse à Paris. Un expert pourrait également savoir que Pissarro et Monet étaient de bons amis et ont partagé de nombreuses expériences qui ont éclairé leur art. Donc, le fait que leur travail soit similaire n'est pas une surprise.

Autre exemple, la nouvelle approche confond les œuvres de Claude Monet et de l'impressionniste américain Childe Hassam, qui, s'avère-t-il, a été fortement influencé par les impressionnistes français et Monet en particulier. Ce sont des liens qui pourraient prendre un certain temps à un être humain pour les découvrir.

L'approche algorithmique trouve également des liens entre certains styles artistiques. Par exemple, il confond souvent des exemples d'expressionnisme abstrait et de peintures d'action, dans lesquelles les artistes gouttent ou jettent de la peinture et marchent sur la toile. Saleh et Elgammal répètent que ce genre de confusion serait tout à fait compréhensible pour un spectateur humain. « La peinture d’action » est un type ou un sous-genre de l’expressionnisme abstrait », soulignent-ils.

L'algorithme sélectionne de nombreuses autres similitudes. Il relie l'expressionnisme et le fauvisme, ce qui pourrait être attendu étant donné que ce dernier mouvement est souvent considéré comme un type d'expressionnisme. Il relie les styles maniériste et Renaissance, ce qui reflète clairement le fait que le maniérisme est une forme de peinture du début de la Renaissance.

Et il trouve d'autres liens plus directs, par exemple entre les peintures de la Renaissance et du début de la Renaissance, entre l'impressionnisme et le post-impressionnisme, et entre le cubisme et sa manifestation ultérieure, le cubisme synthétique.

Ces liens sont bien connus des historiens de l'art, mais uniquement en raison de plusieurs décennies, voire de plusieurs siècles, d'érudition. En revanche, l'approche d'apprentissage automatique ne s'étend que sur quelques mois.

Cela a des implications importantes pour l'étude de l'histoire de l'art. Une application des nouveaux algorithmes consiste à sélectionner des peintures présentant des caractéristiques similaires (voir images). Cela fournit un outil nouveau et puissant aux historiens pour rechercher des influences entre des artistes dont ils n'ont peut-être jamais eu connaissance.

Cela permet également une nouvelle forme d'exploration artistique, sautant d'une image à une autre similaire, dans un processus qui équivaut visuellement à trouver des synonymes.

Des trucs fascinants!

Réf : arxiv.org/abs/1505.00855 : Classification à grande échelle des peintures d'art : apprendre la bonne métrique sur la bonne caractéristique

cacher