Le logiciel apprend à étiqueter les photos

Des chercheurs américains ont publié un nouveau programme en ligne pour marquer automatiquement les images en fonction de leur contenu. Dans son premier test dans le monde réel, le programme a traité des milliers d'images accessibles au public disponibles sur le site de partage de photos Flickr . Au moins une balise précise a été générée pour 98 % de toutes les images analysées.

Le nouveau logiciel, appelé ALIPR (Automatic Linguistic Indexing of Pictures), utilise une combinaison de techniques statistiques pour traiter une image et lui attribuer un lot de 15 mots, classés par ordre de pertinence perçue. Ces mots peuvent faire référence à un objet spécifique dans l'image, comme une personne ou une voiture, ou à un thème plus général, comme l'extérieur ou l'homme.

Pour les humains, déchiffrer une image est d'une simplicité trompeuse. Et pourtant, pour les ordinateurs, qui peuvent trier des millions de documents texte avec une vitesse et une précision fulgurantes, identifier le contenu d'une image reste une tâche diaboliquement difficile.

Reconnaître ce qu'est une image sur le plan sémantique est l'un des problèmes les plus difficiles de l'IA, explique Jia Li, mathématicien à la Pennsylvania State University, au State College, qui a créé le logiciel avec son collègue James Wang, membre du College of Information Sciences et La technologie. Les objets du monde réel sont en 3D, explique Li. Lorsqu'ils apparaissent dans une image, ils peuvent varier considérablement en termes de couleur, de forme, de geste, de taille et de position, et un ordinateur n'a généralement aucune connaissance préalable des variations.

Parce qu'une compréhension complexe du monde reste au-delà de la capacité des ordinateurs, des algorithmes de traitement de la vision plus efficaces sont nécessaires pour les aider à imiter la vision et l'intelligence humaines.

ALIPR analyse une image pixel par pixel et applique une nouvelle méthode statistique pour calculer la probabilité qu'un mot particulier puisse décrire son contenu. Cela implique d'examiner la distribution de la couleur et de la texture dans l'image et de comparer ces caractéristiques avec une base de données stockée de mots et d'images. Li et Wang ont formé leur programme à l'aide d'une base de données commerciale contenant environ 50 000 images déjà étiquetées.

Récemment, ils ont testé ALIPR sur 5 411 images inédites disponibles sur le populaire site de partage d'images Flickr. Pour 51% de ces images, le premier mot généré par ALIPR est apparu dans les tags des utilisateurs. Le programme a également produit au moins un mot précis 98 pour cent du temps. Les chercheurs ont utilisé des images rendues accessibles au public par les utilisateurs de Flickr, qui étaient également librement accessibles via la propre interface de programmation d'applications de Flickr.

Un meilleur logiciel de reconnaissance d'images pourrait avoir une gamme d'applications, dit Li. Il pourrait, par exemple, améliorer les moteurs de recherche Internet ou baliser automatiquement les collections d'images numériques. Li pense que cela pourrait également aider les scientifiques à trier de grandes quantités d'informations visuelles : la classification des images est parfois nécessaire dans les études scientifiques. Sans assistance informatique, les chercheurs doivent classer manuellement les images, et ce processus peut être lent et prendre du retard par rapport au débit élevé de nouvelles images.

Les algorithmes sous-jacents pourraient peut-être se prêter à diverses autres tâches informatiques difficiles. Des approches similaires peuvent être appliquées à l'analyse vidéo et éventuellement à d'autres problèmes, ajoute Li.

Louis von Ahn , professeur adjoint d'informatique à l'Université Carnegie Mellon, à Pittsburgh, PA, affirme que la recherche est un pas dans la bonne direction mais que le taux de précision du logiciel doit être amélioré. Il note que les images sur des sites comme Flickr contiennent souvent du matériel très similaire. La vérité est que ces images parlent en grande partie de la même chose – les gens prennent principalement des photos d'autres personnes, dit-il. Ainsi, le simple fait d'utiliser le mot « personnes » marque déjà correctement un grand pourcentage des images.

Von Ahn pense également que les humains pourraient jouer un rôle plus important dans la formation des algorithmes de reconnaissance visuelle. Il dirige un site appelé coucou qui transforme le marquage des images en un jeu pour deux joueurs en ligne. Au fur et à mesure qu'une image est révélée, chaque joueur doit faire la course pour trouver le bon tag. Cela aide à former le logiciel de von Ahn à identifier les images en se concentrant sur les parties clés. Jusqu'à présent, environ 100 000 images individuelles ont été classées à l'aide de Peekaboom, dit von Ahn.

Alexandre Berg , un expert en vision par ordinateur basé à l'Université de Californie, à Berkley, convient que les humains pourraient aider les ordinateurs à mieux comprendre les données complexes. Il suggère que les balises qui apparaissent sur des sites comme Flickr et YouTube, ainsi que sur de nombreux blogs et sites Web d'actualités, pourraient s'avérer cruciales pour cette entreprise à l'avenir. En général, la recherche d'images et de vidéos est un domaine qui doit faire des progrès majeurs, dit Berg. De plus en plus de données sont en ligne avec une certaine quantité d'étiquetage humain.

C'est une idée qui est bien accueillie par Li : plus nous pouvons accéder et utiliser des données fiables, mieux c'est.

cacher