211service.com
Google dévoile un réseau de neurones doté d'une capacité surhumaine pour déterminer l'emplacement de presque toutes les images
Voici une tâche délicate. Choisissez une photo du Web au hasard. Essayez maintenant de déterminer où elle a été prise en utilisant uniquement l'image elle-même. Si l'image montre un bâtiment ou un point de repère célèbre, comme la tour Eiffel ou les chutes du Niagara, la tâche est simple. Mais le travail devient beaucoup plus difficile lorsque l'image manque d'indices de localisation spécifiques ou est prise à l'intérieur ou montre un animal de compagnie ou de la nourriture ou tout autre détail.
Néanmoins, les humains sont étonnamment bons dans cette tâche. Pour aider, ils apportent toutes sortes de connaissances sur le monde telles que le type et la langue des signes affichés, les types de végétation, les styles architecturaux, le sens de la circulation, etc. Les humains passent leur vie à capter ce genre d'indices de géolocalisation.
Il est donc facile de penser que les machines auraient du mal à accomplir cette tâche. Et en effet, ils l'ont fait.
Aujourd'hui, cela change grâce au travail de Tobias Weyand, spécialiste de la vision par ordinateur chez Google, et de quelques amis. Ces gars-là ont formé une machine d'apprentissage en profondeur pour déterminer l'emplacement de presque toutes les photos en utilisant uniquement les pixels qu'elles contiennent.
Leur nouvelle machine surpasse considérablement les humains et peut même utiliser une astuce astucieuse pour déterminer l'emplacement des images d'intérieur et des images de choses spécifiques telles que des animaux domestiques, de la nourriture, etc., qui n'ont aucun repère de localisation.
Leur approche est simple, du moins dans le monde de l'apprentissage automatique. Weyand et co commencent par diviser le monde en une grille composée de plus de 26 000 carrés de taille variable qui dépendent du nombre d'images prises à cet endroit.
Ainsi, les grandes villes, qui font l'objet de nombreuses images, ont une structure de grille plus fine que les régions plus éloignées où les photographies sont moins courantes. En effet, l'équipe de Google a ignoré des zones comme les océans et les régions polaires, où peu de photographies ont été prises.
Ensuite, l'équipe a créé une base de données d'images géolocalisées à partir du Web et a utilisé les données de localisation pour déterminer le carré de la grille dans lequel chaque image a été prise. Cet ensemble de données est énorme, composé de 126 millions d'images ainsi que des données de localisation Exif qui les accompagnent.
Weyand et co ont utilisé 91 millions de ces images pour apprendre à un puissant réseau de neurones à déterminer l'emplacement de la grille en utilisant uniquement l'image elle-même. Leur idée est d'entrer une image dans ce réseau de neurones et d'obtenir en sortie un emplacement de grille particulier ou un ensemble de candidats probables.
Ils ont ensuite validé le réseau neuronal en utilisant les 34 millions d'images restantes dans l'ensemble de données. Enfin, ils ont testé le réseau - qu'ils appellent PlaNet - de différentes manières pour voir s'il fonctionnait bien.
Les résultats rendent la lecture intéressante. Pour mesurer la précision de leur machine, ils lui ont fourni 2,3 millions d'images géolocalisées de Flickr pour voir si elle pouvait déterminer correctement leur emplacement. PlaNet est capable de localiser 3,6 % des images avec une précision au niveau de la rue et 10,1 % avec une précision au niveau de la ville, selon Weyand and co. De plus, la machine détermine le pays d'origine dans 28,4 % des photos supplémentaires et le continent dans 48,0 % d'entre elles.
C'est plutôt bien. Mais pour montrer à quel point, Weyand et co ont mis PlaNet à l'épreuve dans un test contre 10 humains qui ont beaucoup voyagé. Pour le test, ils ont utilisé un jeu en ligne qui présente à un joueur une vue aléatoire tirée de Google Street View et lui demande de localiser sa position sur une carte du monde.
Tout le monde peut jouer à www.geoguessr.com . Essayez-le, c'est très amusant et plus délicat qu'il n'y paraît.
Inutile de dire que PlaNet a battu les humains. Au total, PlaNet a remporté 28 des 50 manches avec une erreur de localisation médiane de 1131,7 km, tandis que l'erreur de localisation humaine médiane était de 2320,75 km, disent Weyand et co. [Cette] expérience à petite échelle montre que PlaNet atteint des performances surhumaines dans la tâche de géolocalisation des scènes Street View.
Une question intéressante est de savoir comment PlaNet fonctionne si bien sans pouvoir utiliser les indices sur lesquels les humains s'appuient, tels que la végétation, le style architectural, etc. Mais Weyand et co disent qu'ils savent pourquoi : « Nous pensons que PlaNet a un avantage sur les humains parce qu'il a vu beaucoup plus d'endroits que n'importe quel humain ne peut jamais visiter et a appris des indices subtils de différentes scènes qui sont même difficiles à comprendre pour un humain qui a beaucoup voyagé. distinguer.
Ils vont plus loin et utilisent la machine pour localiser des images qui n'ont pas d'indices de localisation, telles que celles prises à l'intérieur ou d'éléments spécifiques. Cela est possible lorsque les images font partie d'albums qui ont toutes été prises au même endroit. La machine regarde simplement à travers d'autres images de l'album pour déterminer où elles ont été prises et suppose que l'image plus spécifique a été prise au même endroit.
C'est un travail impressionnant qui montre que les réseaux neuronaux profonds fléchissent à nouveau leurs muscles. Ce qui est peut-être encore plus impressionnant, c'est que le modèle utilise une quantité de mémoire relativement faible, contrairement à d'autres approches qui utilisent des gigaoctets. Notre modèle n'utilise que 377 Mo, ce qui tient même dans la mémoire d'un smartphone, disent Weyand and co.
C'est une idée alléchante - la puissance d'un réseau neuronal surhumain sur un smartphone. Ce ne sera sûrement plus long maintenant !
Réf : arxiv.org/abs/1602.05314 : PlaNet—Géolocalisation de photos avec des réseaux de neurones convolutifs