211service.com
L'intelligence artificielle remportera-t-elle le concours de sous-titres ?
Lorsque les utilisateurs des médias sociaux téléchargent des photos et les sous-titrent, ils ne se contentent pas d'étiqueter leur contenu. Ils racontent une histoire, ce qui donne aux photos un contexte et une signification émotionnelle supplémentaire.
À article publié par Microsoft Research décrit un système de sous-titrage d'image qui imite le style unique de narration visuelle des humains. Des entreprises comme Microsoft, Google et Facebook ont passé des années à apprendre aux ordinateurs à étiqueter le contenu des images, mais cette nouvelle recherche va encore plus loin en apprenant à un système basé sur un réseau de neurones à déduire une histoire à partir de plusieurs images. Un jour, il pourrait être utilisé pour générer automatiquement des descriptions pour des ensembles d'images, ou pour apporter un langage humain à d'autres applications d'intelligence artificielle.
Plutôt que de donner des descriptions fades ou vanillées de ce qui se passe dans les images, nous les plaçons dans un contexte narratif plus large, explique Frank Ferraro, doctorant à l'Université Johns Hopkins et coauteur de l'article. Vous pouvez commencer à faire des déductions probables sur ce qui pourrait se passer.
Considérez un album de photos représentant un groupe d'amis célébrant un anniversaire dans un bar. Certaines des premières images montrent des gens qui commandent de la bière et la boivent, tandis qu'une photo ultérieure montre quelqu'un endormi sur un canapé.
Un système de sous-titrage pourrait simplement dire : « Une personne allongée sur un canapé », dit Ferraro. Mais un système de narration pourrait être en mesure de dire : 'Eh bien, étant donné que je pense que ces personnes faisaient la fête ou mangeaient et buvaient, alors cette personne peut être ivre.'
Un exemple répertorié dans le document comprend une série de cinq images. Ils montrent une famille réunie autour d'une table, une assiette de coquillages, un chien et des images de la plage. Le réseau de neurones les a décrits avec une lecture d'histoire, La famille s'est réunie pour un barbecue. Ils avaient beaucoup de plats délicieux. Le chien était content d'être là. Ils ont passé un bon moment sur la plage. Ils se sont même baignés dans l'eau.
L'équipe, qui était dirigée par la chercheuse de Microsoft Margaret Mitchell et comprenait des stagiaires de Microsoft comme Ferraro et un chercheur de Facebook AI, a transformé ce qu'on appelle un réseau neuronal récurrent séquence à séquence en un conteur en le formant avec des images provenant de Flickr. Ils ont demandé à des assistants d'écrire des légendes pour des images individuelles et pour des séries d'images dans des séquences spécifiques.
Une approche similaire à celles utilisées pour étiqueter le contenu de photos individuelles a produit des histoires trop génériques. Pour contrer cela, l'équipe a développé un moyen pour le réseau de choisir des mots susceptibles d'être visuellement saillants. Ils ont également exigé que le système ne répète pas les mots.
La narration est une partie importante de l'être humain, explique Fei-Fei Li, directeur du Stanford Vision Lab, qui n'a pas contribué à la recherche. La technologie qui peut imiter les techniques humaines de documentation des histoires doit être capable de croiser les objets et les personnages vus dans plusieurs images et de déduire les relations entre les personnes, les objets et les lieux.
L'article publié n'est que le début de ce type de technologie, dit Li. Mais c'est un bon pas en avant que de se lancer dans un projet aussi ambitieux. J'attends avec impatience d'autres travaux de suivi de la part de ces auteurs et d'autres.