L'intelligence artificielle de Twitter sait ce qui se passe dans les clips vidéo en direct

En ce moment, quelqu'un quelque part diffuse en direct quelque chose d'intéressant. Grâce à la technologie développée par une équipe de chercheurs en intelligence artificielle de Twitter, vous pourrez bientôt la trouver.

La diffusion en direct devient de plus en plus populaire grâce aux applications pour smartphones telles que Périscope depuis Twitter, Suricate , et, plus récemment, Facebook en direct . Mais le contenu vidéo en direct n'est généralement pas bien étiqueté ou catégorisé, souvent parce que les gens ne savent pas ce qu'ils vont enregistrer jusqu'à ce que la caméra commence à tourner.

L'équipe d'intelligence artificielle de Twitter, connue sous le nom de Cortex , a développé un algorithme capable de reconnaître instantanément ce qui se passe dans un flux en direct. L'algorithme peut dire, par exemple, si la star d'un clip joue de la guitare, fait la démonstration d'un outil électrique ou est en fait un chat qui le fait écouter aux téléspectateurs.

Le contenu change constamment sur Periscope, et plus généralement sur les vidéos en direct, explique Clément Farabet, qui est le responsable technologique de Cortex. Farabet a démontré la technologie de reconnaissance vidéo pour Examen de la technologie MIT, montrant un écran d'environ deux douzaines de flux Periscope, tous marqués en temps réel.

Identifier le contenu d'une vidéo en direct est une astuce assez impressionnante. Les chercheurs ont fait des progrès impressionnants ces dernières années avec des algorithmes capables d'identifier des objets sur des photographies, mais c'est beaucoup plus difficile à faire avec une vidéo en direct de qualité variable. Pour le faire instantanément, il faut aussi une puissance de calcul considérable. Twitter a effectivement construit un superordinateur personnalisé composé entièrement d'unités de traitement graphique (GPU) pour effectuer la classification vidéo et servir les résultats. Ces puces sont particulièrement efficaces pour les calculs mathématiques nécessaires à l'apprentissage en profondeur, mais elles ne constituent normalement qu'une partie d'un système informatique plus vaste.

C'est tout un défi même pour les vidéos statiques, et pour les vidéos d'exécution, elles doivent avoir beaucoup de puissance de traitement, dit Pierre Brusilovsky , professeur à l'Université de Pittsburgh qui étudie la personnalisation des contenus.

Brusilovsky dit que de meilleurs moyens de filtrer la vidéo sont absolument nécessaires. Les vidéos ne sont généralement pas écrémables, dit-il. Par conséquent, la recommandation est très importante. C'est un peu la pièce manquante de la vidéo.

Recommander des vidéos implique généralement de montrer à une personne des clips qui ont été visionnés par quelqu'un d'autre qui semble avoir des goûts similaires (une approche connue sous le nom de filtrage collaboratif). Il s'agit cependant d'une jauge brute d'intérêt réel, et cela ne fonctionne pas pour le contenu diffusé en direct.

L'équipe Cortex a l'ambition de développer un système de recommandation sophistiqué pour aider à filtrer et à organiser toutes sortes de contenus partagés via le service, en fonction de l'activité précédente d'un utilisateur.

La technologie de reconnaissance vidéo développée par l'équipe Cortex n'a encore été intégrée à aucun des produits Twitter, mais elle est actuellement testée sur Periscope, une application appartenant à Twitter qui permet aux utilisateurs de transmettre des vidéos en direct depuis leurs smartphones. L'équipe utilise une approche connue sous le nom d'apprentissage en profondeur pour reconnaître l'activité dans les clips. L'apprentissage en profondeur implique la formation d'un grand réseau de neurones simulés pour reconnaître les entrées d'un grand nombre d'exemples. Les exemples sont fournis par du personnel payé pour regarder des vidéos et ajouter des mots-clés. Ce processus de marquage fournit une compréhension sémantique assez complexe des clips vidéo. Par exemple, une vidéo montrant un chat peut être classée non seulement avec un chat, mais également avec un animal, un félin, un mammifère, etc. Cela offre une manière plus sophistiquée d'explorer les clips.

La vidéo en direct devient rapidement une partie importante du paysage des médias sociaux.

Twitter a acquis Periscope en janvier 2015, avant même le lancement de l'application, pour une somme qui aurait dépassé 50 millions de dollars. Cela faisait suite au succès retentissant de Meerkat, une autre application liée à Twitter. Facebook a lancé son propre service de vidéo en direct plus tôt en 2015, et la société a accru la notoriété de la fonctionnalité plus tôt ce mois-ci en l'ajoutant à la page d'accueil que chaque utilisateur voit.

Il n'est pas encore prévu de monétiser la technologie et Periscope ne propose actuellement aucune publicité. Mais il n'est pas difficile d'imaginer comment un tel outil pourrait être utile pour la publicité, en faisant correspondre de manière algorithmique les publicités au contenu des vidéos au fur et à mesure qu'elles sont filmées et diffusées. Alors que de plus en plus de vidéos se déplacent en ligne, en fait, l'algorithme pourrait aider Twitter à adapter beaucoup plus efficacement les publicités à ce contenu. Notamment, ce mois-ci, la société a obtenu le droit de diffuser en direct certaines images de la NFL.

Ben Edelmann , professeur associé au Berkman Center de Harvard et expert des médias et de la publicité en ligne, affirme que la technique développée par Twitter pourrait s'avérer importante pour filtrer les contenus protégés par le droit d'auteur ainsi que les contenus indésirables tels que la pornographie ou la violence.

Mais Farabet est tout aussi intéressé à trouver des choses que les gens veulent voir. Avoir la capacité de vraiment comprendre ce qui vous intéresse – complètement indépendamment de qui l'a produit ou quand il a été produit – est une capacité fondamentale que nous voulons vraiment avoir, dit-il.

cacher