Trouver le bon morceau de ciel

La semaine dernière à SIGGRAPH , une conférence internationale sur l'infographie, un groupe a présenté un système innovant conçu pour analyser des images du ciel. La plupart des systèmes commerciaux de recherche d'images déterminent le contenu d'une image en analysant le texte associé, comme les mots entourant une image sur une page Web ou les balises fournies par les humains. Mais idéalement, le logiciel analyserait le contenu de l'image elle-même. De nombreuses recherches ont été menées dans ce domaine, mais jusqu'à présent, aucun système n'a résolu le problème à lui seul. Le nouveau système, appelé SkyFinder, pourrait offrir des informations importantes sur la façon de créer un outil de recherche intuitif, automatique et évolutif pour toutes les images.

Recherche dans les cieux : SkyFinder divise automatiquement l'image en morceaux et attribue des balises à chacun, permettant aux utilisateurs de trouver des images comme celles ci-dessus.

Jian Soleil , qui a travaillé sur SkyFinder et est le chercheur principal du Groupe d'informatique visuelle à Recherche Microsoft , affirme que l'approche traditionnelle de la recherche d'images conduit parfois à des résultats absurdes lorsqu'un ordinateur interprète mal le texte environnant. En règle générale, les moteurs qui analysent le contenu des images au lieu du texte ont besoin d'une image pour guider la recherche - quelque chose soumis par l'utilisateur qui ressemble beaucoup au résultat escompté. Malheureusement, une telle image peut ne pas être facile à trouver pour l'utilisateur. Sun dit que SkyFinder, en revanche, fournit de bons résultats tout en permettant à l'utilisateur d'interagir intuitivement avec le moteur de recherche.

Pour rechercher un type spécifique d'image du ciel, l'utilisateur saisit simplement une requête dans un langage assez naturel, comme un ciel couvert de nuages ​​noirs, avec l'horizon tout en bas. SkyFinder proposera des images suggérées correspondant à cette description.

Chaque image est traitée après son ajout à la base de données. À l'aide d'une méthode populaire appelée sac de mots, explique Sun, l'image est divisée en petites taches, chacune étant analysée et affectée à un mot de code la décrivant visuellement. En analysant les motifs des mots de code, le système classe l'image dans des catégories telles que ciel bleu ou coucher de soleil, et détermine la position du soleil et de l'horizon. En effectuant ce travail hors ligne, dit Sun, le système peut facilement être mis à l'échelle pour rechercher de très grandes bases de données d'images. (La base de données SkyFinder contient actuellement un demi-million d'images.)

Il est également possible d'affiner les termes de recherche à l'aide d'une interface visuelle. Le système propose par exemple un écran où l'utilisateur peut ajuster les icônes pour afficher les positions souhaitées du soleil et de l'horizon. Ces coordonnées sont ajoutées à la recherche.

SkyFinder organise les images de manière logique sur l'écran, par exemple, du ciel bleu au ciel nuageux, ou du jour au coucher du soleil. Une fois que l'utilisateur a trouvé une image qu'elle aime, elle peut l'utiliser pour guider une recherche plus ciblée afin de trouver des images similaires.

Le système comprend également des outils pour aider un utilisateur à remplacer le ciel d'une image par le ciel d'une autre image.

L'infographie a connu d'énormes succès au cours des dernières décennies, mais il est toujours impossible pour un utilisateur d'ordinateur moyen de synthétiser une image ou une vidéo arbitraire à sa guise, explique James Hays, qui n'a pas participé à la recherche et qui détient un doctorat en informatique. de l'Université Carnegie Mellon. Il pense qu'il est important de développer des outils plus sophistiqués pour les utilisateurs inexpérimentés. Ces personnes pourraient utiliser un outil comme SkyFinder pour trouver une image qu'elles souhaitent ou pour apporter des ajustements à une image existante. Hays pense que la principale contribution de SkyFinder est son interface utilisateur.

Ritendra Datta, ingénieur chez Google qui a étudié l'apprentissage automatique et la recherche d'images, explique que permettre aux ordinateurs de comprendre automatiquement ce qui est affiché dans une image reste l'un des principaux problèmes ouverts dans la recherche d'images. SkyFinder semble être une nouvelle approche intéressante qui fonctionne pour un type d'image. Datta pense que les avancées dans les applications spécialisées pourraient éventuellement être appliquées à plus grande échelle.

Il pense cependant que des études d'utilisabilité approfondies sont absolument nécessaires pour les systèmes de recherche qui reposent sur l'analyse automatique des images.

Sun prévoit d'améliorer SkyFinder en l'ajustant pour analyser plus d'attributs du ciel et en élargissant la base de données. Pour l'instant, dit-il, les systèmes qui analysent automatiquement les images doivent être entraînés de manière complètement différente selon le type d'image avec lequel ils travaillent. Cependant, il dit que son travail avec SkyFinder pourrait être utilisé pour identifier des images du ciel parmi une banque générale d'images.

cacher