Deep Neural Network apprend à juger les livres par leurs couvertures

L'idiome ne juge jamais un livre par sa couverture met en garde contre l'évaluation de quelque chose uniquement par son apparence. Et pourtant, les couvertures de livres sont conçues pour donner aux lecteurs une idée du contenu, pour leur donner envie de prendre un livre et de le lire. Les bonnes couvertures de livres sont conçues pour être jugées.

Et les humains y sont plutôt doués. Il est relativement simple de choisir un livre de cuisine, une biographie ou un guide de voyage simplement en regardant la couverture.

Et cela soulève une question intéressante : les machines peuvent-elles aussi juger les livres par leurs couvertures ? Nous savons déjà qu'ils jugent les gens par leur visage.

Aujourd'hui, nous obtenons une réponse grâce au travail de Brian Kenji Iwana et Seiichi Uchida de l'Université de Kyushu au Japon. Ces gars-là ont formé un réseau neuronal profond pour étudier les couvertures de livres et déterminer la catégorie de livres dont ils proviennent.

En savoir plus sur l'apprentissage automatique

• Avec son nouveau filtre photo, Facebook annonce son intention de faire envahir votre téléphone par l'IA

  L'outil est amusant, mais c'est aussi un énoncé de mission pour le géant des réseaux sociaux.

• StarCraft deviendra le prochain grand terrain de jeu pour l'IA

  L'intelligence artificielle nécessitera des avancées clés pour jouer à un jeu vidéo rempli de planification, de conjectures et de bluff.

• Les machines peuvent désormais reconnaître quelque chose après l'avoir vu une fois

  Les algorithmes ont généralement besoin de milliers d'exemples pour apprendre quelque chose. Les chercheurs de Google DeepMind ont trouvé un moyen de contourner cela.

  
  
  

• L'intelligence artificielle d'aujourd'hui ne justifie pas le revenu de base

  Même les emplois les plus simples nécessitent des compétences, comme la résolution créative de problèmes, que les systèmes d'IA ne peuvent pas encore accomplir avec compétence.

• Le problème de la langue de l'IA

  Des machines qui comprennent vraiment le langage seraient incroyablement utiles. Mais nous ne savons pas comment les construire.

Leur méthode est simple. Iwana et Uchida ont téléchargé 137 788 couvertures de livres uniques sur Amazon.com avec le genre de livre. Il existe 20 genres possibles, mais lorsqu'un livre était répertorié dans plusieurs catégories, les chercheurs n'ont utilisé que le premier.

Ensuite, la paire a utilisé 80 % de l'ensemble de données pour entraîner un réseau de neurones à reconnaître le genre en regardant l'image de couverture. Leur réseau neuronal a quatre couches, chacune avec jusqu'à 512 neurones, qui apprennent ensemble à reconnaître la corrélation entre la conception de la couverture et le genre. La paire a utilisé 10 % supplémentaires de l'ensemble de données pour valider le modèle, puis a testé le réseau neuronal sur les 10 % finaux pour voir dans quelle mesure il catégorise les couvertures qu'il n'a jamais vues.

Les résultats rendent la lecture intéressante. L'algorithme a répertorié le genre correct dans ses 3 premiers choix plus de 40 % du temps et a trouvé le genre exact plus de 20 % du temps. C'est nettement mieux que le hasard. Cela montre que la classification des conceptions de couverture de livre est possible, bien qu'une tâche très difficile, disent Iwana et Uchida.

Certaines catégories s'avèrent plus faciles à reconnaître que d'autres. Par exemple, les livres de voyage et les livres sur l'informatique et la technologie sont relativement faciles à repérer pour le réseau de neurones, car les concepteurs de livres utilisent systématiquement des images et un design similaires pour ces genres.

Le réseau neuronal a également révélé que les livres de cuisine étaient faciles à reconnaître s'ils utilisaient des images de nourriture, mais étaient totalement ambigus s'ils utilisaient un design différent, comme une photo du chef.

Les biographies et les mémoires posaient également problème, l'algorithme sélectionnant souvent l'histoire comme catégorie. Fait intéressant, pour bon nombre de ces livres, l'histoire est le genre secondaire répertorié sur Amazon, ce qui suggère que l'algorithme n'a pas été entièrement trompé.

L'algorithme a également confondu les livres pour enfants avec des bandes dessinées et des romans graphiques ainsi que des livres médicaux et des livres scientifiques. C'est peut-être aussi compréhensible compte tenu des similitudes entre ces catégories.

Il y a un défaut dans ce travail. Iwana et Uchida n'ont pas comparé les performances de leur réseau de neurones à la capacité des humains à reconnaître les genres de livres par leurs couvertures. Ce serait une expérience intéressante et relativement simple à réaliser avec un service de crowdsourcing en ligne tel que Mechanical Turk d'Amazon.

Tant que ce travail n'est pas terminé, il n'y a aucun moyen de savoir si les machines sont meilleures que les humains dans cette tâche. Bien que, peu importe à quel point les humains sont bons dans cette tâche, ce n'est sûrement qu'une question de temps avant que les machines ne les surpassent.

Néanmoins, il s'agit d'un travail intéressant qui pourrait aider les concepteurs à améliorer leurs compétences en matière de couvertures de livres. Un résultat plus probable, cependant, est qu'il pourrait être utilisé pour former des machines à concevoir des couvertures de livres sans avoir besoin d'intervention humaine. Et cela signifie que la conception de couvertures de livres n'est qu'un autre travail qui devrait être consigné dans les livres d'histoire.

Réf : arxiv.org/abs/1610.09204 : Juger un livre par sa couverture

cacher