Maintenant, les machines IA apprennent à comprendre les histoires

Les techniques d'intelligence artificielle prennent d'assaut le monde. L'année dernière, l'équipe de recherche DeepMind de Google a dévoilé une machine qui avait appris à jouer à des jeux vidéo d'arcade . Plus tôt cette année, une équipe de chercheurs chinois a démontré un système de reconnaissance faciale qui surpasse les humains , et la semaine dernière, le géant chinois de l'internet Baidu a révélé un seul système de reconnaissance vocale capable de transcrire à la fois l'anglais et le chinois mandarin .

Deux facteurs ont rendu cela possible. Le premier est une meilleure compréhension des réseaux de neurones à plusieurs couches et de la manière de les affiner pour des tâches spécifiques. La seconde est la création des vastes bases de données nécessaires à l'entraînement de ces réseaux.

Ces bases de données sont extrêmement importantes. Pour la reconnaissance faciale, par exemple, un réseau de neurones doit voir plusieurs milliers d'images du monde réel dans lesquelles les visages sous tous les angles, parfois occultés, sont clairement étiquetés. Cela nécessite de nombreuses heures d'annotation humaine, mais c'est désormais possible grâce aux techniques de crowdsourcing et aux services Web tels que Mechanical Turk d'Amazon.

Les progrès rapides dans ce domaine signifient qu'une grande partie des fruits à portée de main sont rapidement nettoyés - reconnaissance faciale, reconnaissance d'objets, reconnaissance vocale, etc. Cependant, il est beaucoup plus difficile de créer des bases de données pour des tâches de raisonnement plus complexes, telles que la compréhension d'histoires.

Aujourd'hui, cela commence à changer grâce au travail de Makarand Tapaswi de l'Institut de technologie de Karlsruhe en Allemagne et de quelques amis, qui ont constitué une base de données sur les films qui devrait servir d'arène de test pour les machines d'apprentissage en profondeur et leurs capacités à raisonner. sur les histoires.

L'idée clé derrière leur projet est que la capacité à répondre à des questions sur une histoire ou un film est un indicateur important de sa compréhension ou non. L'objectif de la recherche est donc de créer des questionnaires à choix multiples sur les films qui consistent en un ensemble de questions ainsi que plusieurs réponses possibles, dont une seule est correcte.

Leur approche est simple. Tapaswi et co commencent par rassembler des synopsis de l'intrigue de Wikipedia pour environ 300 films. Ceux-ci varient en détail d'un seul paragraphe à plus de 20 paragraphes.

Ils lient cela au film lui-même, qui est un ensemble substantiel de données. Un film moyen dure environ deux heures et compte plus de 198 000 images et près de 2 000 plans, disent-ils.

Les films montrent clairement des informations qui peuvent répondre à des questions du type Qui a fait quoi à qui ? Mais ils ne contiennent pas toujours les informations nécessaires pour répondre aux questions sur le pourquoi des choses, pour lesquelles une connaissance supplémentaire du monde est parfois nécessaire.

Ainsi, Tapaswi et co recueillent également des informations à partir de bases de données supplémentaires. Par exemple, ils exploitent un texte vidéo décrit pour les personnes aveugles qui est conçu pour contenir suffisamment d'informations pour comprendre ce qui se passe sans le voir ; et ils exploitent également les scénarios originaux des films qui sont souvent utiles, bien que les réalisateurs ne les suivent pas toujours à la lettre.

L'équipe a ensuite demandé à des annotateurs humains de choisir de lire les synopsis de chaque film. Ils devaient ensuite formuler un certain nombre de questions sur chaque paragraphe qu'ils lisaient, ainsi que la réponse. En moyenne, les annotateurs ont écrit cinq questions par paragraphe. Ils devaient également surligner une section du texte qui fournissait la réponse à chaque question.

Enfin, Tapaswi et co ont demandé aux annotateurs de lire chaque question et réponse et de trouver quatre mauvaises réponses pour créer un quiz à choix multiples. La base de données qui en résulte contient plus de 7 000 questions sur 300 films.

Les questions se répartissent en plusieurs catégories. Voici quelques exemples (devinez les films, si vous le pouvez):

Nom de la personne (qui)
Par qui Epps est-il attiré ?
Quel est le surnom de Jeff Lebowski ?

Raisonnement (pourquoi)
Pourquoi Arwen souhaite-t-elle rester en Terre du Milieu ?
Pourquoi Bruce a-t-il peur des chauves-souris ?

Résumé (quoi)
Quel pouvoir contient l'essence verte ?
Comme expliqué à l'audience, quelle était la cause principale de l'accident ?

Raison :action (comment)
Comment Kale passe-t-il le temps lorsqu'il commence sa peine d'assignation à résidence?
Comment Hal bat-il Parallax ?

Emplacement (où)
Quel est le nom de la salle de gym où le CD est laissé ?
Où Aragorn dirige-t-il la Communauté ?

Action (quoi)
Que fait WALL-E une fois qu'il pense qu'EVE s'est éteinte ?
Que font Jane et Kevin un an après leur rencontre ?

Objet/Chose (quoi)
Que trouve le groupe dans la grotte des trolls ?
Qu'est-ce que les hommes qui agressent le Dude détruisent chez lui ?

Type de personne (quoi)
Qui est Daniel Cleaver ?
Quel est le métier de Rachel Dawes ?

Oui/Non (est, fait)
Madeleine accepte-t-elle de l'argent pour son travail pour Arthur Case ?
Le fils aîné de Faramir Denethor est-il ?

Causalité (ce qui se passe)
Que fait Mark après que Bridget lui ait rendu visite et lui ait demandé pardon ?
Que se passe-t-il pendant le rendez-vous de Miley avec Travis ?

Celles-ci sont relativement simples pour les humains qui ont regardé un film. Mais ces gars-là testent la base de données sur quelques stratégies simples de questions-réponses basées sur la machine pour voir dans quelle mesure ils s'en sortent. Aucun ne s'en sort particulièrement bien, mais le but, bien sûr, est d'aider à former les générations futures de ces machines qui seront probablement meilleures.

C'est une grande demande. Un point intéressant est que les réseaux de neurones profonds ont besoin de grandes bases de données pour les aider à apprendre. Et plus la tâche est complexe, plus la base de données doit être volumineuse.

Une question importante est donc de savoir quelle taille une base de données doit avoir pour former un algorithme d'apprentissage en profondeur afin de répondre aux questions sur les films. Difficile de répondre, même à un ordre de grandeur près.

Un objectif important sera donc de savoir si cette base de données est suffisamment grande pour aider à contraindre les machines d'IA modernes à mesure qu'elles apprennent à effectuer cette tâche. C'est quelque chose que Tapaswi et co découvriront bientôt.

En attendant, ils rendent la base de données disponible en ligne au cours de la nouvelle année sur : http://movieqa.cs.toronto.edu/home/ . Si la recherche sur l'IA ne fonctionne pas, elle devrait au moins être utile pour les quiz de pub.

Réf : http://arxiv.org/abs/1512.02902 : MovieQA : Comprendre les histoires dans les films grâce aux questions-réponses

cacher