Est-ce la première imagination computationnelle ?

Imaginez un chêne dans un champ de blé, se détachant sur un ciel bleu sans nuages ​​par un après-midi ensoleillé de rêve. Il y a de fortes chances que la plupart des gens qui lisent cette phrase puissent facilement imaginer une scène bucolique dans leur esprit. Cette capacité à lire une description d'une scène et ensuite à l'imaginer a toujours été uniquement humaine. Mais cette précieuse compétence n'est peut-être plus la nôtre.

Quiconque pense que ce genre d'imagination dépasse de loin la capacité des machines informatiques d'aujourd'hui sera surpris par le travail de Hiroharu Kato et Tatsuya Harada à l'Université de Tokyo au Japon.

Aujourd'hui, ces gars dévoilent une machine capable de traduire la description d'un objet en image. En d'autres termes, leur ordinateur peut évoquer l'image d'un objet externe non présent autrement. C'est une assez bonne définition de l'imagination - dans ce cas de la variété computationnelle.

Bien sûr, ces imaginations informatiques sont simples, parfois déroutantes et souvent absurdes. Mais le fait qu'ils soient possibles représente un pas en avant significatif pour la créativité informatique.

Les informaticiens ont longtemps lutté pour manipuler les images avec la facilité et la puissance qu'ils gèrent avec des mots. Il est simple, par exemple, de saisir un mot ou une séquence de mots dans un moteur de recherche et de trouver des correspondances très pertinentes.

Ce n'est pas à cause d'une capacité informatique spéciale pour comprendre les mots. Cela se produit simplement en traitant les mots statistiquement, comme si on les comptait hors du sac. En effet, les techniques de sac de mots comme celle-ci sont devenues extrêmement puissantes. En revanche, il n'y a pas de capacité équivalente pour les images.

Ainsi, il y a quelques années, des informaticiens ont commencé à traiter les images de la même manière. Ils ont commencé par penser à une image comme une série de pixels qu'ils divisent en courtes séquences qui correspondent à une partie spécifique d'une image. Par exemple, une courte séquence peut correspondre au bord d'une tasse ou à une zone de peau ou une partie du ciel et ainsi de suite.

Ces courtes séquences signifient peu pour les humains, mais pour un ordinateur, elles peuvent être traitées comme des mots. Ainsi, un ordinateur pourrait analyser une image en comptant le nombre de séquences et leur fréquence d'apparition, tout comme il pourrait traiter un document en comptant la fréquence d'apparition des mots. Une image du ciel aurait beaucoup de séquences qui correspondent à des parties du ciel. Et une image d'une tasse de thé aurait de nombreuses séquences qui correspondent au bord d'une tasse et ainsi de suite.

Cela permet immédiatement de comparer les images. Un ordinateur peut parcourir une base de données d'images analysées de cette manière à la recherche de modèles similaires de séquences dans d'autres images. L'idée est que deux images avec des distributions similaires de séquences devraient se ressembler et les chercheurs ont en effet eu un certain succès avec cette technique pour trouver des correspondances.

Par analogie avec le texte, les informaticiens appellent ces séquences des mots visuels. Et cette nouvelle approche de l'analyse d'images est connue sous le nom de technique du sac de mots visuels. Il analyse une image en comptant la distribution statistique des mots visuels qu'elle contient.

La question que Kato et Harada abordent est à l'opposé de cela. Étant donné une distribution de mots visuels, quelle était l'image originale ? C'est un problème beaucoup plus difficile car, bien qu'un mot visuel décrive une partie d'une image, il n'explique pas d'où il vient dans l'image ni de quels autres mots visuels il était proche.

Ce problème est similaire à la résolution d'un puzzle, disent-ils. Les mots visuels sont les pièces et le problème est de décider comment les assembler pour faire une image.

Kato et Harada abordent ce problème de deux manières différentes. La première consiste à évaluer comment les mots visuels individuels s'emboîtent harmonieusement à côté d'autres mots visuels. Par exemple, tous les mots visuels qui décrivent le bord d'une tasse peuvent être assemblés pour montrer un bord continu.

Ce n'est pas simple car les mots visuels n'ont pas de forme apparente et ne s'emboîtent donc pas comme des pièces de puzzle. Au lieu de cela, Kato et Harada mesurent la relation entre les mots visuels dans une grande base de données d'images en comptant toutes les paires qui se produisent les unes à côté des autres. Cela produit une probabilité qu'une paire de mots visuels soit côte à côte

La deuxième méthode consiste à évaluer la probabilité qu'un mot visuel donné apparaisse dans une certaine partie de l'image. Par exemple, un mot visuel montrant une zone de ciel est plus susceptible d'être en haut d'une image.

Puisque les mots visuels eux-mêmes ne contiennent pas cette information, Kato et Harada la mesurent à nouveau dans une grande base de données d'images. Chaque mot visuel est présumé avoir une préférence quant à la position absolue à laquelle il doit être placé, disent-ils. Cette préférence est la valeur mesurée extraite de l'ensemble de la base de données.

Bien entendu, ces calculs sont coûteux en temps de calcul, en fonction de la taille de la base de données et de la taille des mots visuels.

Néanmoins, Kato et Harada ont démontré un succès considérable avec leur approche. Ils créent une base de données de 101 images montrant chacune un type d'objet différent. Ils redimensionnent chaque image à 128 x 128 pixels et supposent que chaque image est composée de mots visuels de 13 x 13 pixels et que les trois quarts de chaque mot visuel chevauchent le mot visuel suivant.

Après avoir créé la base de données montrant la distribution statistique des mots visuels, ils utilisent ensuite ces informations pour tenter de reconstruire une image en utilisant uniquement les mots visuels qui l'apparaissent.

Les résultats sont généralement impressionnants. Alors que certaines des images générées sont absurdes, d'autres recréent avec succès un large éventail d'images, par exemple, d'un parapluie, d'une clé, d'un tonneau, d'un poisson et même d'un visage (voir les images et leurs reconstructions ci-dessus).

C'est impressionnant et cela mène à un certain nombre d'applications intéressantes. Kato et Harada l'utilisent pour transformer une image en une autre, par exemple. Ils prennent le sac de mots visuels qui représente deux images, puis génèrent des sacs intermédiaires de mots visuels pour créer les images intermédiaires dans la séquence de morphing.

Plus intéressant est leur travail sur la vision par ordinateur. Les informaticiens ont récemment développé de puissants algorithmes automatisés de reconnaissance d'objets qui identifient des objets spécifiques.

Ces algorithmes sont connus sous le nom de classificateurs. Ils travaillent avec une grande précision mais peuvent parfois être trompés par des objets qui semblent faciles à identifier à l'œil humain. Donc, ce qu'ils recherchent exactement n'est pas toujours clair.

Le travail de Kato et Harada change cela. Ils ont utilisé leur approche de sac de mots visuels pour visualiser ces classificateurs d'objets. Cela révèle des différences entre la vision humaine et la vision par ordinateur, disent-ils.

Pour ce faire, ils utilisent les classificateurs pour étudier 10 000 images choisies au hasard et comptent simplement les mots visuels qui déclenchent le plus souvent chaque classificateur. Ils assemblent ensuite ces mots visuels en une image en utilisant leur technique de sac de mots visuels.

Et les résultats sont fascinants. Certains des classificateurs visualisés sont remarquablement similaires aux objets eux-mêmes, du moins en ce qui concerne la reconnaissance humaine. D'autres sont étrangement déformés, comme des œuvres d'art moderne. Et d'autres montrent à quel point des éléments supplémentaires peuvent être importants, par exemple, à quel point l'horizon est important pour identifier les arbres.

Enfin, Kato et Harada utilisent leur approche pour générer des images à partir de phrases ordinaires. Pour ce faire, ils convertissent chaque mot de la phrase en un sac de mots visuels, puis le convertissent en une image.

Convertir des mots ordinaires en un sac de mots visuels est une tâche délicate. Pour ce faire, les chercheurs effectuent une recherche dans un ensemble de données d'images avec des légendes. Chaque fois qu'un mot apparaît dans une légende, ils ajoutent les mots visuels de l'image dans un sac. Cela crée un grand sac de mots visuels à partir duquel il est possible de générer une image.

Les résultats sont fascinants. Plusieurs phrases sont traduites en images complètement absurdes, avouent Kato et Harada. C'est probablement parce que la méthode de conversion d'un mot en un sac de mots visuels est trop simple. Mais d'autres phrases produisent des images oniriques qui sont vaguement liées à l'idée originale (voir les images ci-dessous).

Kato et Harada disent que c'est un début prometteur et ouvre la voie à une nouvelle génération de systèmes de création d'images.

C'est un travail vraiment fascinant qui représente une avancée significative dans la créativité informatique. Demandez à Google de définir l'imagination et il dit ceci : la faculté ou l'action de former de nouvelles idées, images ou concepts d'objets extérieurs non présents aux sens . Il n'est donc pas exagéré de dire que Kato et Harada ont créé la première imagination informatique au monde.

Réf : http://arxiv.org/abs/1505.05190 : Reconstruction d'images à partir d'un sac de mots visuels

cacher