Comment Google a craqué l'identification du numéro de maison dans Street View

Google Street View est devenu un élément essentiel de l'expérience de cartographie en ligne. Il permet aux utilisateurs de descendre au niveau de la rue pour voir la zone locale en détail photographique.

Mais c'est aussi une ressource utile pour Google. L'entreprise utilise les images pour lire les numéros de maison et les faire correspondre à leur géolocalisation. Celui-ci localise physiquement la position de chaque bâtiment dans sa base de données.

C'est particulièrement utile dans les endroits où les numéros de rue ne sont pas disponibles autrement ou dans des endroits comme le Japon et la Corée du Sud où les rues sont rarement numérotées dans l'ordre chronologique mais d'autres manières telles que l'ordre dans lequel elles ont été construites, un système qui rend de nombreux bâtiments incroyablement difficiles à trouver, même pour les locaux.

Mais la tâche de repérer et d'identifier ces nombres prend énormément de temps. Les caméras Street View de Google ont enregistré des centaines de millions d'images panoramiques qui contiennent ensemble des dizaines de millions de numéros de maison. La tâche de rechercher ces images manuellement pour repérer et identifier les nombres n'est pas une tâche que quiconque pourrait aborder avec délectation.

Alors, naturellement, Google a résolu le problème en l'automatisant. Et aujourd'hui, Ian Goodfellow et ses amis de l'entreprise révèlent comment ils l'ont fait. Leur méthode repose sur un réseau de neurones qui contient 11 niveaux de neurones qu'ils ont entraînés à repérer les nombres dans les images.

Pour commencer, Goodfellow et ses collègues imposent des limites à la tâche à accomplir pour la garder aussi simple que possible. Par exemple, ils supposent que le numéro du bâtiment a déjà été repéré et l'image recadrée de sorte que le numéro corresponde au moins au tiers de la largeur du cadre résultant. Ils supposent également que le numéro ne compte pas plus de cinq chiffres, une hypothèse raisonnable dans la plupart des régions du monde.

Mais l'équipe ne divise pas le nombre en un seul chiffre, comme l'ont fait de nombreux autres groupes. Leur approche consiste à localiser le nombre entier dans l'image recadrée et à l'identifier en une seule fois, le tout avec un seul réseau de neurones.

Ils entraînent ce réseau à l'aide d'images tirées d'un ensemble de données d'images numériques accessibles au public, connu sous le nom d'ensemble de données Street View House Numbers. Celui-ci contient quelque 200 000 numéros pris par les caméras Street View de Google et rendus publics. La formation prend environ six jours, disent-ils.

Goodfellow et co disent qu'il ne sert à rien d'utiliser un système automatisé qui ne peut pas égaler ou battre les performances des opérateurs humains qui peuvent généralement repérer les nombres avec précision 98 pour cent du temps. C'est donc l'objectif de l'équipe.

Cependant, cela ne signifie pas repérer 98% des nombres dans 100% des images. Au lieu de cela, Goodfellow et ses collègues disent qu'il est acceptable de repérer 98% des nombres dans un certain sous-ensemble d'images, qui dans ce cas s'avèrent couvrir environ 95% du total.

Mais même cela est nettement mieux que n'importe quelle autre équipe a pu réaliser. Dans le monde entier, nous avons détecté et transcrit automatiquement près de 100 millions de numéros de rue physiques avec une précision [humaine] au niveau de l'opérateur, disent-ils, décrivant cela comme un succès sans précédent.

Et ils peuvent le faire à une vitesse considérable. Nous pouvons retranscrire toutes les vues que nous avons des numéros de rue en France en moins d'une heure grâce à notre infrastructure Google, disent-ils. Oui, c'est juste une heure.

Une question intéressante est de savoir si la même technique pourrait aider à extraire d'autres numéros tels que des numéros de téléphone sur des enseignes commerciales ou même des plaques d'immatriculation.

Cependant, Goodfellow et co ne sont pas optimistes. Ils disent que le succès de leur technique repose en grande partie sur l'hypothèse que les numéros de rue ne dépassent jamais cinq chiffres. Pour un grand [nombre de chiffres], notre méthode est peu susceptible de bien évoluer, disent-ils.

Et bien sûr, le système n'est pas encore parfait. Ces 2% de chiffres mal identifiés sont toujours une épine dans le pied de l'équipe.

Mais en attendant, Google peut être assuré qu'il a fait un pas en avant significatif dans l'extraction et la reconnaissance de caractères : la localisation et l'identification des nombres par un seul réseau de neurones.

La grande question est bien sûr de savoir quelle est la suite. Et Goodfellow et co obligent en ouvrant le kimono juste une fraction : cette approche consistant à utiliser un seul réseau de neurones comme un système complet de bout en bout pourrait être applicable à d'autres problèmes tels que la transcription générale de texte ou la reconnaissance vocale.

Alors voilà !

Réf : arxiv.org/abs/1312.6082 : Reconnaissance de nombres à plusieurs chiffres à partir d'images Street View à l'aide de réseaux de neurones à convolution profonde

cacher