AI Machine tente de comprendre les bandes dessinées… et échoue

La liste des activités dans lesquelles les machines d'intelligence artificielle ont battu les humains s'allonge à un rythme alarmant. La reconnaissance faciale, la reconnaissance d'objets, les échecs, le Go, divers jeux vidéo et de nombreuses autres tâches sont tous tombés dans cette bataille.

Il est donc naturel de poser des questions sur les types de tâches avec lesquelles les machines ont encore des difficultés. Où les humains font-ils encore la loi ?

Aujourd'hui, nous obtenons une sorte de réponse grâce au travail de Mohit Iyyer de l'Université du Maryland à College Park et de quelques copains. Ces gars-là se demandent à quel point l'intelligence artificielle peut comprendre les bandes dessinées et peut difficilement résister à l'idée de révéler que les machines viennent une triste seconde par rapport aux humains.

Les bandes dessinées racontent des histoires en utilisant une séquence de panneaux composés d'images dessinées à la main et souvent très stylisées qui ont un caractère très différent des photographies. Ces panneaux sont également annotés avec du texte sous forme de bulles de pensée, de bulles et de boîtes narratives.

Le texte et les images travaillent en étroite collaboration; souvent si étroitement que l'histoire ne peut être suivie en utilisant uniquement les images ou le texte. Même dans ce cas, le lecteur doit faire des déductions et des extrapolations importantes lorsqu'il passe d'un panneau à l'autre. Beaucoup de détails doivent être remplis par le lecteur.

C'est ce que le créateur cache de ses pages qui rend les bandes dessinées vraiment intéressantes, les conversations tacites et les actions invisibles qui se cachent dans les espaces (ou gouttières) entre les panneaux adjacents, disent Iyyer et co. C'est en déchiffrant ces détails que l'histoire se forge dans l'imaginaire des lecteurs.

Ce processus complexe consistant à visualiser un panneau individuel et à comprendre comment il se connecte aux précédents est appelé fermeture. Et pour le moment, c'est une capacité uniquement humaine.

C'est pourquoi Iyyer et co ont conçu une expérience pour tester à quel point les machines peuvent également le faire.

Ces gars commencent par créer une grande base de données d'histoires comiques qu'ils peuvent utiliser pour former des machines d'apprentissage en profondeur. Ils créent cela à partir de bandes dessinées publiées entre les années 1930 et 1950. C'était le soi-disant âge d'or de la bande dessinée, qui s'est terminé à la fin des années 1950, lorsque des réglementations strictes en matière de censure ont été introduites aux États-Unis. Le droit d'auteur a depuis expiré sur ces publications, et elles sont accessibles au public sur un site Web appelé Digital Comics Museum en la forme de jpegs téléchargés par l'utilisateur.

Iyyer and co a utilisé 4 000 des bandes dessinées les mieux notées sur le site, créant une base de données de plus de 1,2 million de panneaux. Ils utilisent la reconnaissance optique de caractères pour numériser le texte de chaque panneau.

Pour tester la fermeture, Iyyer et co conçoivent un ensemble d'expériences dans lesquelles une machine voit une séquence de panneaux et doit ensuite prédire ce qui vient ensuite à partir d'un ensemble de réponses possibles. La tâche peut être de prédire la prochaine image ou le prochain morceau de texte ou de faire correspondre le texte à un caractère spécifique.

Premièrement, la machine doit apprendre comment fonctionnent les bandes dessinées. L'équipe a donc alimenté une partie des panneaux et des textes avec divers algorithmes d'apprentissage automatique afin qu'ils puissent apprendre comment les panneaux s'enchaînent. Ces machines sont pré-entraînées à reconnaître des objets mais dans des images naturelles plutôt que des dessins animés.

Après avoir formé les machines, l'équipe les teste ensuite sur un ensemble de panneaux qu'ils n'ont pas vus et leur demande de prédire la prochaine image ou le prochain morceau de texte de la série.

Les résultats font froncer les sourcils. Alors que les humains peuvent prédire correctement le prochain morceau de texte ou l'image suivante plus de 80 % du temps, les machines ne s'approchent jamais de ce niveau de précision. Aucune des architectures ne surpasse les lignes de base humaines, ce qui témoigne de la difficulté de comprendre les bandes dessinées, disent Iyyer et co. Les caractéristiques d'image obtenues à partir de modèles formés sur des images naturelles ne peuvent pas capturer la grande variation des styles artistiques, et les modèles textuels luttent avec la richesse et l'ambiguïté du dialogue familier fortement dépendant des contextes visuels.

Ce n'est pas surprenant étant donné le bon sens nécessaire pour suivre ces histoires et les connaissances culturelles nécessaires pour comprendre la logique de la narration dans les bandes dessinées.

Les humains sont donc encore maîtres de cette tâche, pour le moment du moins.

Mais les machines s'amélioreront sûrement à mesure qu'elles apprendront les compétences sociales et d'inférence qui, selon nous, font de nous des humains.

Et cela soulève une possibilité intéressante. Les machines IA ont battu les humains aux échecs, Péril! , Go et de nombreuses autres tâches. Peut-être que leur prochain défi devrait être de mieux comprendre les bandes dessinées que les humains, et peut-être même de créer des récits de cette manière. Cela opposerait Google DeepMind ou l'un de ses concurrents aux personnages de Marvel ou de DC Comics. La bataille parfaite et certainement celle qui serait amusante.

Réf : arxiv.org/abs/1611.05118 : Les incroyables mystères de la gouttière : faire des inférences entre les panneaux dans les récits de bandes dessinées

cacher