Prochain grand test pour l'IA : Donner un sens au monde

Il y a quelques années, une percée dans l'apprentissage automatique a soudainement permis aux ordinateurs de reconnaître les objets montrés sur les photographies avec une précision sans précédent, presque effrayante. La question est maintenant de savoir si les machines peuvent faire un autre bond, en apprenant à donner un sens à ce qui se passe réellement dans de telles images.

Une nouvelle base de données d'images, appelée Génome visuel , pourraient pousser les ordinateurs vers cet objectif et aider à évaluer les progrès des ordinateurs qui tentent de mieux comprendre le monde réel. Apprendre aux ordinateurs à analyser des scènes visuelles est d'une importance fondamentale pour l'intelligence artificielle. Cela pourrait non seulement générer des algorithmes de vision plus utiles, mais aussi aider à apprendre aux ordinateurs à communiquer plus efficacement, car le langage est si intimement lié à la représentation du monde physique.

Visual Genome a été développé par Fei-Fei Li , professeur spécialisé en vision par ordinateur et qui dirige le Laboratoire d'intelligence artificielle de Stanford , avec plusieurs collègues. Nous nous concentrons beaucoup sur certaines des questions les plus difficiles de la vision par ordinateur, qui relient vraiment la perception à la cognition, dit Li. Pas seulement en prenant des données de pixels et en essayant de donner un sens à sa couleur, son ombrage, ce genre de choses, mais transformez-le vraiment en une compréhension plus complète de la 3D ainsi que du monde visuel sémantique.

Li et ses collègues ont précédemment créé ImageNet, une base de données contenant plus d'un million d'images étiquetées en fonction de leur contenu. Chaque année, la Défi de reconnaissance visuelle à grande échelle ImageNet teste la capacité des ordinateurs à reconnaître automatiquement le contenu des images.

En 2012, une équipe dirigée par Geoffrey Hinton de l'Université de Toronto a construit un vaste et puissant réseau de neurones capable de catégoriser les images avec beaucoup plus de précision que tout ce qui a été créé auparavant. La technique utilisée pour permettre cette avancée, connue sous le nom d'apprentissage en profondeur, consiste à alimenter des milliers ou des millions d'exemples dans un réseau de neurones à plusieurs couches, entraînant progressivement chaque couche de neurones virtuels à répondre à des caractéristiques de plus en plus abstraites, de la texture de la fourrure d'un chien, dire, à sa forme générale.

La réussite de l'équipe de Toronto a marqué à la fois un boom d'intérêt pour l'apprentissage en profondeur et une sorte de renaissance de l'intelligence artificielle plus généralement. Et l'apprentissage en profondeur a depuis été appliqué dans de nombreux autres domaines, améliorant les ordinateurs dans d'autres tâches importantes, telles que le traitement de l'audio et du texte.

Les images dans Visual Genome sont étiquetées plus richement que dans ImageNet, y compris les noms et les détails des divers objets affichés dans une image ; les relations entre ces objets ; et des informations sur les actions en cours. Ceci a été réalisé en utilisant une approche de crowdsourcing développée par l'un des collègues de Li à Stanford, Michel Bernstein . Le plan est de lancer un défi de style ImageNet en utilisant l'ensemble de données en 2017.

Les algorithmes formés à l'aide d'exemples dans Visual Genome pourraient faire plus que simplement reconnaître des objets et devraient avoir une certaine capacité à analyser des scènes visuelles plus complexes.

Vous êtes assis dans un bureau, mais quelle est la disposition, qui est la personne, que fait-elle, quels sont les objets autour, quel événement se produit ? Li dit. Nous relions également [cette compréhension] au langage, car la façon de communiquer n'est pas d'attribuer des nombres aux pixels - vous devez connecter la perception et la cognition au langage.

Li pense que l'apprentissage en profondeur jouera probablement un rôle clé en permettant aux ordinateurs d'analyser des scènes plus complexes, mais que d'autres techniques aideront à faire progresser l'état de l'art.

Les algorithmes d'IA qui en résultent pourraient peut-être aider à organiser des images en ligne ou dans des collections personnelles, mais ils pourraient avoir des utilisations plus importantes, permettant aux robots ou aux voitures autonomes de comprendre correctement une scène. Ils pourraient également être utilisés pour enseigner aux ordinateurs plus de bon sens, en appréciant quels concepts sont physiquement probables ou plus invraisemblables.

Richard Socher , un expert en apprentissage automatique et le fondateur d'une startup d'intelligence artificielle appelée MetaMind , dit que cela pourrait être l'aspect le plus important du projet. Une grande partie du langage consiste à décrire le monde visuel, dit-il. Cet ensemble de données offre une nouvelle façon évolutive de combiner les deux modalités et de tester de nouveaux modèles.

Visual Genome n'est pas la seule base de données d'images complexes que les chercheurs peuvent expérimenter. Microsoft, par exemple, possède une base de données appelée Objets communs en contexte , qui affiche les noms et la position de plusieurs objets dans les images. Google, Facebook et d'autres poussent également la capacité des algorithmes d'IA à analyser les scènes visuelles. Une recherche publiée par Google en 2014 a montré un algorithme qui peut fournir des légendes de base pour les images, avec différents niveaux de précision (voir le logiciel Brain-Inspired de Google décrit ce qu'il voit dans les images complexes). Et, plus récemment, Facebook a montré un système de questions-réponses qui peut répondre à des requêtes très simples sur les images (voir Facebook App Can Answer Basic Questions About What’s in Photos ).

Aude Oliva , professeur au MIT qui étudie la vision artificielle et humaine, a développé une base de données appelée Lieux2 , qui contient plus de 10 millions d'images de différentes scènes spécifiques. Ce projet vise à inspirer le développement d'algorithmes capables de décrire la même scène de multiples façons, comme les humains ont tendance à le faire. Oliva dit que Visual Genome et des bases de données similaires aideront à faire progresser la vision artificielle, mais elle pense que les chercheurs en IA devront s'inspirer de la biologie s'ils veulent construire des machines avec des capacités véritablement humaines.

Les humains tirent leur décision et leur intuition de beaucoup de connaissances, de bon sens, d'expériences sensorielles, de souvenirs et de «pensées» qui ne sont pas nécessairement traduites en langage, en discours ou en texte, dit Oliva. Sans savoir comment le cerveau humain crée des pensées, il sera difficile d'enseigner le bon sens et la compréhension visuelle à un système artificiel. Les neurosciences et l'informatique sont les deux faces de la médaille de l'IA.

cacher