Le logiciel inspiré par le cerveau de Google décrit ce qu'il voit dans des images complexes

Des chercheurs de Google ont créé Logiciel qui peut utiliser des phrases complètes pour décrire avec précision les scènes montrées sur les photos - une avancée significative dans le domaine de la vision par ordinateur. Lorsqu'on lui a montré une photo d'un jeu de frisbee ultime, par exemple, le logiciel a répondu avec la description Un groupe de jeunes jouant à un jeu de frisbee. Le logiciel peut même compter, en donnant des réponses telles que Deux pizzas posées sur le dessus d'un four sur la cuisinière.

Un logiciel expérimental de Google peut décrire avec précision des scènes sur des photos, comme les deux sur la gauche. Mais il fait encore des erreurs, comme on le voit avec les deux photos à droite.

Auparavant, la plupart des efforts pour créer un logiciel qui comprend les images se concentraient sur la tâche plus facile d'identifier des objets uniques.

C'est très excitant, dit Oriol Vinyles , chercheur chez Google. Je suis sûr qu'il y aura des applications potentielles qui en sortiront.

Le nouveau logiciel est le dernier produit de la recherche de Google sur l'utilisation de vastes collections de neurones simulés pour traiter les données (voir 10 Breakthrough Technologies 2013 : Deep Learning). Personne chez Google n'a programmé le nouveau logiciel avec des règles d'interprétation des scènes. Au lieu de cela, ses réseaux ont appris en consommant des données. Bien qu'il ne s'agisse pour l'instant que d'un projet de recherche, dit Vinyals, lui et d'autres personnes chez Google ont déjà commencé à réfléchir à la manière dont il pourrait être utilisé pour améliorer la recherche d'images ou aider les malvoyants à naviguer en ligne ou dans le monde réel.

Les chercheurs de Google ont créé le logiciel grâce à une sorte de chirurgie numérique du cerveau, en connectant deux réseaux de neurones développés séparément pour différentes tâches. Un réseau avait été formé pour traiter les images en une représentation mathématique de leur contenu, en vue de l'identification des objets. L'autre avait été formé pour générer des phrases complètes en anglais dans le cadre d'un logiciel de traduction automatique.

Lorsque les réseaux sont combinés, le premier peut regarder une image, puis alimenter la description mathématique de ce qu'il voit dans le second, qui utilise ces informations pour générer une phrase lisible par l'homme. Le réseau combiné a été formé pour générer des descriptions plus précises en lui montrant des dizaines de milliers d'images avec des descriptions écrites par des humains. Nous voyons à travers le langage ce qu'il pensait que l'image était, dit Vinyals.

Après ce processus de formation, le logiciel a été lancé sur plusieurs grands ensembles de données d'images provenant de Flickr et d'autres sources et a été invité à les décrire. L'exactitude de ses descriptions a ensuite été jugée à l'aide d'un test automatisé utilisé pour comparer les logiciels de vision par ordinateur. Le logiciel de Google a affiché des scores dans les années 60 sur une échelle de 100 points. Les humains qui font le test obtiennent généralement un score de 70 ans, dit Vinyals.

Ce résultat suggère que Google a une longueur d'avance sur les autres chercheurs travaillant à la création d'un logiciel de description de scène. Des chercheurs de Stanford ont récemment détails publiés de leur propre système et a indiqué qu'il avait obtenu entre 40 et 50 sur le même test standard.

Cependant, Vinyals note que les chercheurs de Google et d'ailleurs en sont encore aux premiers stades de la compréhension de la création et du test de ce type de logiciel. Lorsque Google a demandé aux humains d'évaluer les descriptions d'images de son logiciel sur une échelle de 1 à 4, la moyenne n'était que de 2,5, ce qui suggère qu'il a encore un long chemin à parcourir.

Vinyals prédit que les recherches sur la compréhension et la description des scènes vont maintenant s'intensifier. Un problème qui pourrait ralentir les choses : bien que de grandes bases de données d'images étiquetées à la main aient été créées pour entraîner les logiciels à reconnaître des objets individuels, il y a moins de photos étiquetées de scènes plus naturelles.

Microsoft a lancé cette année une base de données appelée NOIX DE COCO pour essayer d'y remédier. Google a utilisé COCO dans sa nouvelle recherche, mais il est encore relativement petit. J'espère que d'autres parties participeront et l'amélioreront, dit Vinyals.

cacher