Recherche vidéo par vue et script

L'acquisition par Google cette semaine de YouTube.com a fait naître l'espoir que la recherche de vidéos va s'améliorer. Plus de 65 000 vidéos sont téléchargées sur YouTube chaque jour, selon le site Web. Avec tout ce contenu, trouver le bon clip peut être difficile.

Les chercheurs ont maintenant développé un système qui utilise une combinaison de reconnaissance faciale, d'informations de sous-titrage et de scripts de télévision originaux pour nommer automatiquement les visages qui apparaissent à l'écran, créant ainsi des épisodes de l'émission télévisée. Buffy contre les vampires consultable.

Nous considérons essentiellement ce travail comme l'une des premières étapes pour obtenir des descriptions automatisées de ce qui se passe dans une vidéo, dit Marc Everingham , un informaticien maintenant à l'Université de Leeds (anciennement de l'Université d'Oxford), qui a présenté ses recherches à la British Machine Vision Conference en septembre.

Actuellement, les recherches de vidéos proposées par Vidéo AOL , Google , et Youtube ne recherchez pas le contenu d'une vidéo elle-même, mais reposez-vous principalement sur des métadonnées ou des descriptions textuelles, écrites par les utilisateurs pour développer un index consultable de contenu multimédia basé sur le Web.

Les utilisateurs téléchargent fréquemment (et illégalement) des morceaux de leurs sitcoms préférées sur des sites de partage de vidéos tels que YouTube. Par exemple, une recherche récente de Buffy contre les vampires a trouvé près de 2 000 clips sur YouTube, dont beaucoup ont été visionnés des milliers de fois. La plupart de ces clips durent moins de cinq minutes et les descriptions sont vagues. L'un intitulé A new day is come, par exemple, est décrit par un utilisateur ainsi : il contient principalement Buffy et Spike. Cela montre comment Spike était là pour Buffy jusqu'à sa mort et qu'elle se sentait seule par la suite.

Everingham dit que des travaux antérieurs sur la recherche de vidéos ont utilisé les données des sous-titres pour trouver des vidéos, mais il ne connaît personne qui utilise sa méthode, qui combine, dans le tour de force technique, des sous-titres et des annotations de script. Le script vous dit ce qui est dit et qui l'a dit et les sous-titres vous disent à quelle heure quelque chose est dit, explique-t-il. Le logiciel d'Everingham combine ces deux sources d'informations avec des outils puissants précédemment développés pour suivre les visages et identifier les locuteurs sans avoir besoin d'une intervention de l'utilisateur.

Qu'est-ce qui a fait le Buffy projeter un tel défi, dit Everingham, est qu'au cinéma et à la télévision, la personne qui parle n'est pas toujours dans le plan. La star, Buffy, peut parler hors écran ou faire face à la caméra, par exemple, et la caméra vous montrera les réactions de l'auditeur. D'autres fois, il peut y avoir plusieurs acteurs à l'écran ou le visage de l'acteur ne fait pas directement face à la caméra. Toutes ces ambiguïtés sont faciles à interpréter pour les humains, mais difficiles pour les ordinateurs, du moins jusqu'à présent. Everingham affirme que son système multimodal est précis jusqu'à 80 % du temps.

Un seul épisode de Buffy peut avoir jusqu'à 20 000 instances de visages détectés, mais la plupart de ces instances proviennent de plusieurs images d'un même personnage dans une prise de vue donnée. Le logiciel suit les points de repère clés sur les visages de l'acteur - les narines, les pupilles et les yeux, par exemple - et si l'un d'eux chevauche l'image suivante, les deux visages sont considérés comme faisant partie d'une seule piste. Si ces points de repère ne sont pas clairs, le logiciel utilise une description des vêtements pour unir deux traces de visage brisées. Enfin, le logiciel surveille également les lèvres des acteurs pour identifier qui parle ou si l'orateur est hors écran. En fin de compte, le système produit une annotation détaillée, lecture par lecture, de la vidéo.

L'idée générale est que vous voulez obtenir plus d'informations sans que les gens les capturent, explique Alex Berg au Groupe de vision par ordinateur à l'Université de Californie, Berkeley. Si vous voulez trouver une scène particulière avec un personnage, vous devez d'abord trouver les scènes qui contiennent ce personnage. Il dit que les recherches d'Everingham ouvriront la voie à des recherches plus complexes de programmes télévisés.

L'informaticien Josef Sivic à Oxford Groupe de géométrie visuelle , qui a contribué à la Buffy projet, dit qu'à l'avenir, il sera possible de rechercher des concepts de haut niveau comme Buffy et Spike marchant vers la caméra main dans la main ou toutes les scènes extérieures qui contiennent Buffy.

Timothy Tuttle, vice-président d'AOL Video, a déclaré : « Il semble qu'au cours des cinq à dix prochaines années, de plus en plus de personnes choisiront ce qu'elles souhaitent regarder à leur propre rythme et visionneront du contenu à la demande. Il note également que l'obstacle à l'adaptation de technologies comme celle d'Everingham n'est peut-être plus technique, mais juridique.

Ces barrières juridiques ont été levées avec les médias imprimés parce que les entreprises ont récolté les avantages financiers du contenu interrogeable - il a été démontré que les programmes de recherche de livres de Google et d'Amazon augmenter les ventes de livres au cours des deux dernières années .

Mais on ne sait pas si une vidéo interrogeable peut augmenter les ventes de DVD de la même manière. Actuellement, Google propose des teasers de contenu vidéo premium, déclare Michele Covell, scientifique. Pour certains genres, comme les vidéos de sport, il devient plus facile de sélectionner un clip teaser qui incitera les gens à acheter la vidéo, dit-elle.

Shumeet Baluja, chercheur scientifique chez Google, convient que l'annotation de vidéos sur le Web sera un défi, mais avec le temps, ils pourront ajouter de plus en plus de métadonnées aux clips vidéo populaires hors ligne, ce qui améliorera la vitesse et la précision de recherches.

cacher