Les coups de pinceau générés par ordinateur imitent les peintures à l'encre orientale

Il fut un temps, il n'y a pas si longtemps, où la manipulation d'images était une chose rare et magique. Cher et chronophage, j'étais confiné en grande partie aux mondes de la publicité, du marketing et de la conception de magazines sur papier glacé.

Dans les années 1990, l'ère de Photoshop a permis la manipulation de photos à un public plus large. Et au cours des dernières années, la manipulation de photos est devenue une activité courante pour le développement de filtres qui donnent automatiquement aux photos un aspect granuleux, ancien ou aquarelle, etc.

Contrairement à Photoshop qui coûte des centaines de dollars, ces filtres sont intégrés aux applications photo qui coûtent quelques centimes. L'explosion d'images altérées sur le web témoigne du fait que tout le monde en possède une.

Malgré ces progrès, certaines techniques de photomanipulation restent encore à automatiser. L'une d'entre elles est la technique du Sumi-e ou peinture à l'encre orientale.

De nombreuses techniques de peinture occidentales créent des images en utilisant de nombreuses couches d'encre ou de peinture qui construisent et modifient lentement l'image. En revanche, sumi-e utilise de simples coups de pinceau pour capturer l'essence d'une image ou d'un mouvement aussi simplement que possible.

Le défi de l'automatisation consiste d'abord à reproduire ces simples coups de pinceau de manière naturelle et reproductible. Ils doivent ensuite être appliqués de manière à produire l'image requise.

Divers groupes ont essayé de produire des coups de pinceau d'apparence naturelle. Une façon consiste à créer un modèle basé sur la physique de la façon dont le pinceau et l'encre entrent en contact avec le papier. Cela peut produire des résultats d'apparence naturelle, mais les calculs coûteux en temps de calcul doivent être répétés pour chaque course, ce qui rend cela peu pratique pour les applications ordinaires.

Maintenant, Ning Xie et ses amis de l'Institut de technologie de Tokyo au Japon ont résolu le problème. Ces gars-là ont développé un modèle informatique qui imite le contact d'un pinceau et de l'encre avec du papier lorsque le pinceau se déplace de différentes manières. Mais permettez à ce modèle de peindre une ligne et cela produit un résultat épouvantable.

Donc Ning et co ont utilisé une technique connue sous le nom d'apprentissage par renforcement pour améliorer le résultat. Il s'agit d'une idée simple dans laquelle le modèle est récompensé pour produire des lignes plus lisses, mais pas lorsqu'il produit des lignes irrégulières. De cette façon, il apprend.

Ning et co ont utilisé cette technique pour créer une bibliothèque de coups de pinceau que l'ordinateur peut utiliser à tout moment. Il les applique ensuite en suivant les lignes sur une image existante pour créer une version à l'encre orientale.

Ning et ses collègues disent qu'ils pensent que les résultats sont plutôt bons. Il est difficile d'être en désaccord. L'image ci-dessus est un bel exemple et il y en a quelques autres ci-dessous.

Combien de temps avant qu'ils ne la publient en tant qu'application iPhone/Android ?

Réf : arxiv.org/abs/1206.4634 : Agent d'artiste : une approche d'apprentissage par renforcement de la génération automatique de traits dans la peinture à l'encre orientale

cacher