Comment Google 'traduit' les images en mots à l'aide des mathématiques de l'espace vectoriel

Traduire une langue dans une autre a toujours été une tâche difficile. Mais ces dernières années, Google a transformé ce processus en développant des algorithmes de traduction automatique qui changent la nature des communications interculturelles via Google Translate.

Maintenant, cette entreprise utilise la même technique d'apprentissage automatique pour traduire des images en mots. Le résultat est un système qui génère automatiquement des légendes d'images décrivant avec précision le contenu des images. C'est quelque chose qui sera utile pour les moteurs de recherche, pour la publication automatisée et pour aider les malvoyants à naviguer sur le Web et, en fait, dans le monde entier.

L'approche conventionnelle de la traduction linguistique est un processus itératif qui commence par traduire les mots individuellement, puis réorganise les mots et les phrases pour améliorer la traduction. Mais ces dernières années, Google a trouvé comment utiliser sa base de données de recherche massive pour traduire du texte d'une manière totalement différente.

L'approche consiste essentiellement à compter la fréquence à laquelle des mots apparaissent à côté ou à proximité d'autres mots, puis à les définir dans un espace vectoriel abstrait les uns par rapport aux autres. Cela permet à chaque mot d'être représenté par un vecteur dans cet espace et aux phrases d'être représentées par des combinaisons de vecteurs.

Google poursuit en faisant une hypothèse importante. C'est que des mots spécifiques ont la même relation les uns avec les autres, quelle que soit la langue. Par exemple, le vecteur roi - homme + femme = reine devrait être vrai dans toutes les langues.

Cela fait de la traduction de la langue un problème de mathématiques de l'espace vectoriel. Google Translate l'aborde en transformant une phrase en vecteur, puis en utilisant ce vecteur pour générer la phrase équivalente dans une autre langue.

Maintenant, Oriol Vinyals et ses amis de Google utilisent une approche similaire pour traduire les images en mots. Leur technique consiste à utiliser un réseau de neurones pour étudier un jeu de données de 100 000 images et leurs légendes et ainsi apprendre à classer le contenu des images.

Mais au lieu de produire un ensemble de mots qui décrivent l'image, leur algorithme produit un vecteur qui représente la relation entre les mots. Ce vecteur peut ensuite être connecté à l'algorithme de traduction existant de Google pour produire une légende en anglais, voire dans toute autre langue. En effet, l'approche d'apprentissage automatique de Google a appris à traduire des images en mots.

Pour tester l'efficacité de cette approche, ils ont utilisé des évaluateurs humains recrutés par Mechanical Turk d'Amazon pour évaluer les sous-titres générés automatiquement de cette manière avec ceux générés par d'autres approches automatisées et par des humains.

Les résultats montrent que le nouveau système, que Google appelle Neural Image Caption, fonctionne bien. En utilisant un ensemble de données d'images bien connu appelé PASCAL, Neural image Capture a clairement surpassé les autres approches automatisées. NIC a donné un score BLEU de 59, à comparer à l'état de l'art actuel de 25, tandis que la performance humaine atteint 69, dit Vinyals and co.

Ce n'est pas mal et l'approche semble devoir s'améliorer à mesure que la taille des ensembles de données d'entraînement augmente. Il ressort clairement de ces expériences que, à mesure que la taille des ensembles de données disponibles pour la description d'images augmente, les performances d'approches telles que NIC augmentent également, selon l'équipe Google.

Il s'agit clairement d'une autre tâche pour laquelle les jours de la suprématie humaine sur les machines sont comptés.

Réf : arxiv.org/abs/1411.4555 : Montrer et raconter : un générateur de légendes d'images neurales

cacher