Google DeepMind enseigne aux machines d'intelligence artificielle à lire

Une révolution de l'intelligence artificielle est en train de déferler sur l'informatique. La technique s'appelle l'apprentissage en profondeur et elle affecte tout, du visage et de la voix à la mode et à l'économie.

Mais un domaine qui n'en a pas encore profité est le traitement du langage naturel, c'est-à-dire la possibilité de lire un document puis de répondre à des questions à son sujet. C'est en partie parce que les machines d'apprentissage en profondeur doivent d'abord apprendre leur métier à partir de vastes bases de données soigneusement annotées à cet effet. Cependant, ceux-ci n'existent tout simplement pas en taille suffisante pour être utiles.

Aujourd'hui, cela change grâce au travail de Karl Moritz Hermann de Google DeepMind à Londres et de quelques copains. Ces gars-là disent que la manière particulière dont le Daily Mail et CNN écrivent des articles de presse en ligne leur permet d'être utilisés de cette manière. Et le volume considérable d'articles disponibles en ligne crée pour la première fois une base de données que les ordinateurs peuvent utiliser pour apprendre et ensuite répondre. En d'autres termes, DeepMind utilise les articles du Daily Mail et de CNN pour apprendre à lire aux ordinateurs.

La révolution de l'apprentissage en profondeur est due en grande partie à deux percées. Le premier est lié aux réseaux de neurones, où les informaticiens ont développé de nouvelles techniques pour former des réseaux à plusieurs couches, une tâche délicate en raison du nombre de paramètres à affiner. Les nouvelles techniques produisent essentiellement des filets prêts à l'emploi qui sont prêts à apprendre.

Mais un réseau de neurones est peu utile sans une base de données à partir de laquelle apprendre. Une telle base de données doit être soigneusement annotée afin que la machine dispose d'un étalon-or sur lequel apprendre. Par exemple, pour la reconnaissance faciale, la base de données d'entraînement doit contenir des images dans lesquelles les visages et leurs positions dans le cadre sont clairement identifiés. Et pour que les images couvrent autant d'arrangements faciaux que possible, les bases de données doivent être énormes.

C'est récemment devenu possible grâce à des services de crowdsourcing comme Mechanical Turk d'Amazon. Diverses équipes ont créé ce type de base de données de référence en montrant des images aux personnes et en leur demandant de dessiner des cadres de délimitation autour des visages qu'elles contiennent.

Mais créer une base de données annotée de la même manière pour le mot écrit est beaucoup plus difficile. Bien sûr, il est possible d'extraire des phrases qui contiennent des points importants. Mais ceux-ci ne sont pas d'une grande aide car tout algorithme machine apprend rapidement à rechercher la même phrase dans le texte, une tâche triviale pour un ordinateur.

Au lieu de cela, l'annotation doit décrire le contenu du texte mais sans y apparaître. Pour comprendre le lien, un algorithme d'apprentissage doit alors regarder au-delà de la simple occurrence des mots et des phrases, mais aussi à leurs liens grammaticaux et leurs relations causales.

Créer une telle base de données est plus facile à dire qu'à faire. Les informaticiens ont généré de petites versions à la main, mais celles-ci sont trop petites pour être d'une grande utilité pour un réseau de neurones. Et il semble peu possible d'en créer de plus grands à la main car les humains sont généralement médiocres pour annoter le texte avec précision, à moins qu'ils ne soient des éditeurs spécialisés.

Entrez sur le site Web du Daily Mail, MailOnline et CNN en ligne. Ces sites affichent des reportages avec les principaux points de l'histoire affichés sous forme de puces écrites indépendamment du texte. D'une importance capitale est que ces points de synthèse sont abstraits et ne copient pas simplement des phrases à partir des documents, disent Hermann et co.

Cela suggère immédiatement une manière de créer une base de données annotée : prendre les articles de presse comme textes et les résumés à puces comme annotation.

L'équipe DeepMind va cependant plus loin. Ils soulignent qu'il est encore possible de trouver la réponse à de nombreuses requêtes en utilisant des approches simples de recherche de mots.

Ils donnent l'exemple suivant d'un type de problème connu sous le nom de requête Cloze, que les algorithmes d'apprentissage automatique sont souvent utilisés pour résoudre. Ici, le but est d'identifier X dans ces titres modifiés du Daily Mail : a) Le soutien-gorge hi-tech qui vous aide à battre la poitrine X ; b) La saccharine pourrait-elle aider à battre X ? ; c) Les huiles de poisson peuvent-elles aider à combattre la prostate X ?

Hermann et co soulignent qu'un type simple d'algorithme d'exploration de données appelé recherche ngram pourrait facilement trouver la réponse en recherchant les mots qui apparaissent le plus souvent à côté de toutes ces phrases. La réponse, bien sûr, est le mot cancer.

Pour déjouer ce type de solution, Hermann et co anonymisent l'ensemble de données en remplaçant les acteurs dans les phrases par une description générique. Voici un exemple de texte original du Daily Mail : Le producteur de la BBC qui aurait été frappé par Jeremy Clarkson ne portera pas plainte contre l'animateur de Top Gear, a déclaré vendredi son avocat. Clarkson, qui a animé l'une des émissions de télévision les plus regardées au monde, a été abandonné par la BBC mercredi après qu'une enquête interne du diffuseur britannique a révélé qu'il avait soumis le producteur Oisin Tymon à une attaque physique et verbale non provoquée.

Une version anonymisée de ce texte serait la suivante :
le ent381 producteur aurait été frappé par ent212 ne portera pas plainte contre le ent153 hôte, a déclaré vendredi son avocat. ent212 , qui animait l'une des émissions de télévision les plus regardées au monde, a été lâché par le ent381 mercredi après une enquête interne de la ent180 le radiodiffuseur a découvert qu'il avait soumis le producteur ent193 à une attaque physique et verbale non provoquée.

De cette manière, il est possible de convertir la requête de type Cloze suivante pour identifier X à partir de Le producteur X ne portera pas plainte contre Jeremy Clarkson, selon son avocat à Le producteur X ne portera pas plainte contre ent212 , dit son avocat .

Et la réponse requise passe de Oisin Tymon à ent212 .

De cette manière, l'acteur anonymisé ne peut s'identifier qu'avec une certaine compréhension des liens grammaticaux et des relations causales entre les entités de l'histoire.

La base de données qui en résulte est vaste, composée de 110 000 articles de CNN et de 218 000 articles du site Web Daily Mail.

Ayant créé ce type de base de données pour la première fois, Hermann et co ne peuvent s'empêcher de l'utiliser pour mettre à l'épreuve plusieurs techniques d'apprentissage automatique. Ils comparent les techniques conventionnelles de traitement du langage naturel, telles que la mesure de la distance entre les combinaisons de mots, et des approches de réseau neuronal plus modernes.

Les résultats montrent clairement à quel point les réseaux de neurones sont devenus puissants. Hermann et co disent que les meilleurs réseaux de neurones peuvent répondre à 60 % des requêtes qui leur sont posées. Ils suggèrent que ces machines peuvent répondre à toutes les requêtes qui sont structurées de manière simple et ne luttent qu'avec des requêtes qui ont des structures grammaticales plus complexes.

Il y a bien sûr quelques mises en garde. La plus évidente est que les articles du Daily Mail et de CNN ont une structure sous-jacente très spécifique qui diffère des autres formes d'écriture non journalistiques. La manière dont cette structure sous-jacente influence les résultats n'est pas claire.

On ne sait pas non plus comment ces machines se comparent aux capacités humaines, ce qui serait simple à découvrir en utilisant des services comme Mechanical Turk. Cela mettrait en contexte l'affirmation de DeepMind, sous-entendue dans le titre de son article, selon laquelle ces machines apprennent à comprendre ce qu'elles lisent.

Néanmoins, il s'agit d'un travail intéressant qui ouvre la voie à des développements fascinants dans un avenir proche. La lecture automatique arrive ; la seule question est de savoir à quelle vitesse.

Réf : arxiv.org/abs/1506.03340 : Enseigner aux machines à lire et à comprendre

cacher