L'algorithme d'IA identifie les images humoristiques

L'humour est une qualité humaine unique. La plupart des gens peuvent reconnaître des phrases amusantes, des incidents, des images, des vidéos, etc. Mais il n'est pas toujours facile de dire pourquoi ces choses sont humoristiques.

Il est donc facile d'imaginer que l'humour sera l'un des derniers bastions qui séparent les humains des machines. Les ordinateurs, pense-t-on, ne peuvent pas développer un sens de l'humour tant qu'ils ne peuvent pas saisir les subtilités de nos riches environnements sociaux et culturels. Et même les machines d'IA les plus puissantes sont sûrement loin de cela.

Cette façon de penser devra peut-être bientôt changer. Aujourd'hui, Arjun Chandrasekaran de Virginia Tech et ses amis disent avoir formé un algorithme d'apprentissage automatique pour reconnaître les scènes humoristiques et même les créer. Ils disent que leur machine peut prédire avec précision quand une scène est drôle et quand elle ne l'est pas, même si elle ne sait rien du contexte social de ce qu'elle voit.

Les psychologues ont une compréhension relativement faible des mécanismes derrière l'humour. La plupart des théories de l'humour suggèrent que ses composants clés sont des qualités telles que l'inattendu, l'incongruité, la douleur, etc. Lorsqu'un ou tous ces éléments sont présents dans des phrases, des images et des vidéos, les chances de faire sourire sont augmentées.

Chandrasekaran et co limitent leur étude aux images. Et pour garder les choses simples, ils se limitent aux images créées avec un programme de clip art. Il contient 20 modèles humains de poupées en papier de différents âges, sexes et races avec des bras et des jambes mobiles et huit expressions différentes. Il contient également 31 animaux dans diverses poses et environ 100 objets intérieurs et extérieurs tels que des portes, des fenêtres, des tables, du soleil, des nuages, des arbres, etc.

Un élément clé de tout processus d'apprentissage automatique consiste à créer une base de données contenant de bons exemples de ce que l'algorithme doit apprendre. Ce n'est pas une tâche facile, surtout quand il s'agit de quelque chose d'aussi subjectif que l'humour.

L'équipe s'attaque à ce problème en demandant aux employés du service Mechanical Turk d'Amazon de créer des scènes amusantes à l'aide du programme d'images clipart, ainsi qu'une courte phrase décrivant pourquoi ils pensent que les scènes sont drôles. Ils ont également demandé à ces gens - des turcs, comme on les appelle - de créer des scènes pas drôles.

De cette façon, l'équipe a amassé une base de données de 6 400 images, dont la moitié étaient drôles et l'autre moitié pas drôles. Ils ont calibré la base de données en demandant à d'autres turkers d'évaluer le caractère amusant de chaque scène et ont constaté que la plupart appartenaient à leurs catégories prévues, bien que quelques scènes peu drôles se soient révélées involontairement drôles et vice versa.

Après une analyse plus approfondie, il s'est avéré que les scènes jugées les plus drôles étaient généralement associées à des animaux ou à des personnes faisant quelque chose d'inhabituel.

Cela a incité l'équipe à réfléchir à des moyens de modifier le caractère amusant d'une image. Une façon de faire est de remplacer l'objet ou la personne qui fait quelque chose d'inhabituel par un objet ou une personne différente. Ils ont donc demandé aux turkers de remplacer les objets par d'autres objets qui ressemblaient le plus possible au premier objet, mais qui rendaient la scène pas drôle. Cela nous aide à comprendre la sémantique fine qui amène une catégorie d'objets spécifique à contribuer à l'humour, disent-ils.

De cette façon, ils ont modifié chacune des 3 000 images amusantes de cinq manières différentes pour créer une base de données de 15 000 contreparties peu amusantes d'images amusantes.

Avec cette base de données à leur actif, Chandrasekaran et co ont commencé la tâche de former un algorithme d'apprentissage automatique pour repérer la différence entre les images drôles et pas drôles (retenant 20% de la base de données pour la tester plus tard).

Ils ont confié à la machine deux tâches. Le premier était de prédire le caractère amusant d'une scène et le second était de modifier le caractère amusant d'une scène en remplaçant un objet à l'intérieur.

Les résultats rendent la lecture intéressante. En général, l'algorithme fonctionne assez bien pour prédire le caractère amusant de la scène, certainement mieux qu'une supposition aléatoire.

La tâche de modifier la drôlerie d'une scène se compose de deux parties. La première consiste à reconnaître les éléments de la scène qui contribuent à l'humour et la seconde consiste à choisir un objet de remplacement qui réduit la drôlerie.

Dans la première tâche, l'algorithme fait des progrès intéressants. Nous observons que le modèle apprend qu'en général, les objets animés comme les humains et les animaux sont des sources d'humour plus probables que les objets inanimés et tend donc à remplacer ces objets, disent Chandrasekaran et co.

L'algorithme progresse également dans la deuxième tâche. Il élimine l'humour dans la plupart des scènes en choisissant de remplacer les objets contribuant à l'humour par d'autres objets qui se fondent bien dans l'arrière-plan, explique l'équipe. Par exemple, l'algorithme peut remplacer l'objet inhabituel dans une scène d'intérieur par une plante en pot qui s'intègre bien ou un papillon dans des scènes d'extérieur.

Et les techniques fonctionnent bien. Dans les évaluations humaines, les scènes rendues non drôles par notre [algorithme] se sont avérées moins drôles que la scène drôle originale 95% du temps, disent Chandrasekaran et co.

La machine a moins bien réussi à rendre les scènes plus amusantes, mais c'est clairement quelque chose sur lequel travailler à l'avenir.

Bien sûr, une question importante est de savoir ce que la machine apprend exactement à faire. Dans ce travail, la drôlerie peut être un proxy pour quelque chose d'entièrement différent. En effet, si l'article de Chandrasekaran et co était réécrit avec chaque occurrence du mot drôlerie remplacée par le mot bizarrerie ou incongruité ou imprévu, les résultats ne seraient pas moins valables.

Néanmoins, l'équipe a une approche intéressante qui pourrait déboucher sur des applications fascinantes. La capacité de juger de l'humour dans une scène pourrait aider les chercheurs à développer de meilleurs outils de retouche photo, des outils qui choisissent des images amusantes à publier sur les réseaux sociaux, ou même des appareils photo intelligents qui peuvent choisir de meilleurs moments pour prendre des photos humoristiques.

Cela fait également partie d'un nouveau domaine de l'humour informatique - utiliser l'intelligence artificielle pour nous faire rire. Peut-être qu'un jour, les machines partageront peut-être la blague.

Réf : arxiv.org/abs/1512.04407 : Nous sommes des êtres humoristiques : comprendre et prédire l'humour visuel

cacher