La prochaine grande étape pour l'IA ? Comprendre la vidéo

Une capture d'écran de l'une des vidéos de l'ensemble de données Moments in Time, qui pourrait aider l'IA à mieux comprendre le contenu vidéo. Ensemble de données Moments in Time

Pour un ordinateur, reconnaître un chat ou un canard dans une image fixe est assez astucieux. Mais un test plus rigoureux pour l'intelligence artificielle sera de comprendre quand le chat chevauche un Roomba et chasser le canard autour d'une cuisine .

Le MIT et IBM ont publié cette semaine un vaste ensemble de données de clips vidéo minutieusement annotés avec des détails sur l'action en cours. le Ensemble de données Moments in Time comprend des extraits de trois secondes de tout, de la pêche au break-dance.

Beaucoup de choses dans le monde changent d'une seconde à l'autre, dit Aude Oliva , chercheur principal au MIT et l'une des personnes à l'origine du projet. Si vous voulez comprendre pourquoi quelque chose se passe, le mouvement vous donne beaucoup d'informations que vous ne pouvez pas capturer dans une seule image.

Le boom actuel de l'intelligence artificielle a été déclenché, en partie, par le succès de l'apprentissage des ordinateurs à reconnaître le contenu des images statiques en formant des réseaux de neurones profonds sur de grands ensembles de données étiquetées (voir La technique révolutionnaire qui a tranquillement changé la vision artificielle pour toujours).

Les systèmes d'intelligence artificielle qui interprètent la vidéo aujourd'hui, y compris les systèmes que l'on trouve dans certaines voitures autonomes, reposent souvent sur l'identification d'objets dans des images statiques plutôt que sur l'interprétation d'actions. Lundi, Google a lancé un outil capable de reconnaître les objets en vidéo dans le cadre de sa Cloud Platform, un service qui comprend déjà des outils d'IA pour le traitement de l'image, de l'audio et du texte.

Le prochain défi peut être d'enseigner aux machines à comprendre non seulement ce que contient une vidéo, mais aussi ce qui se passe dans le métrage. Cela pourrait avoir des avantages pratiques, conduisant peut-être à de nouvelles méthodes puissantes de recherche, d'annotation et d'extraction de séquences vidéo. Il vise également à donner aux robots ou aux voitures autonomes une meilleure compréhension de la façon dont le monde qui les entoure se déroule.

Le projet MIT-IBM n'est en fait qu'un des nombreux ensembles de données vidéo conçus pour stimuler les progrès dans la formation des machines à comprendre les actions dans le monde physique. L'année dernière, par exemple, Google a publié une série de huit millions de vidéos YouTube taguées appelé YouTube-8M. Facebook développe un ensemble de données annotées d'actions vidéo appelé l'ensemble Scènes, Actions et Objets.

Olga Russakovsky, professeure adjointe à l'Université de Princeton et spécialisée dans la vision par ordinateur, affirme qu'il s'est avéré difficile de développer des ensembles de données vidéo utiles car ils nécessitent plus de stockage et de puissance de calcul que les images fixes. Je suis ravie de jouer avec ces nouvelles données, dit-elle. Je pense que la durée de trois secondes est excellente - elle fournit un contexte temporel tout en limitant les exigences de stockage et de calcul.

D'autres adoptent une approche plus créative. Vingt milliards de neurones , une startup basée à Toronto et à Berlin, a créé un ensemble de données personnalisé en payant des travailleurs externalisés pour effectuer des tâches simples. L'un des cofondateurs de l'entreprise, Roland Mémisevic , indique qu'il utilise également un réseau de neurones conçu spécifiquement pour traiter les informations de vision temporelle.

Les réseaux formés sur les autres ensembles de données peuvent vous dire si la vidéo montre un match de football ou une fête, dit-il. Nos réseaux peuvent vous dire si quelqu'un vient d'entrer dans la pièce.

Danny Gutfreund, chercheur chez IBM qui a collaboré au projet, affirme que la reconnaissance efficace des actions nécessitera que les machines apprennent, par exemple, une personne qui agit et transfèrent ces connaissances à un cas où, par exemple, un animal effectue la même action. Les progrès dans ce domaine, connu sous le nom d'apprentissage par transfert, seront importants pour l'avenir de l'IA. Voyons comment les machines peuvent faire cet apprentissage par transfert, cette analogie, que nous faisons très bien, dit-il.

Gutfreund ajoute que la technologie pourrait avoir des applications pratiques. Vous pourriez l'utiliser pour les soins aux personnes âgées, en indiquant si quelqu'un est tombé ou s'il a pris ses médicaments, dit-il. Vous pouvez penser à des appareils qui aident les personnes aveugles.

cacher