Un algorithme résume étonnamment bien un long texte

M. technologie

Qui a le temps de lire chaque article partagé sur Twitter ou Facebook, ou chaque document pertinent pour son travail ? Alors que la surcharge d'informations s'aggrave, les ordinateurs peuvent devenir notre seul espoir pour gérer un déluge croissant de documents. Et il peut devenir routinier de compter sur une machine pour analyser et paraphraser des articles, des documents de recherche et d'autres textes pour vous.

Un algorithme développé par des chercheurs de Salesforce montre comment les ordinateurs peuvent éventuellement se charger de résumer des documents. Il utilise plusieurs astuces d'apprentissage automatique pour produire des extraits de texte étonnamment cohérents et précis à partir de morceaux plus longs. Et même s'il n'est pas encore aussi bon qu'une personne, cela laisse entendre que la condensation du texte pourrait éventuellement devenir automatisée.

L'algorithme a produit, par exemple, le résumé suivant d'une récente New York Times article à propos de Facebook essayant de lutter contre les fausses nouvelles avant les prochaines élections au Royaume-Uni :

• Le réseau social a publié lundi une série d'annonces dans des journaux britanniques.
• Il a supprimé des dizaines de milliers de faux comptes en Grande-Bretagne.
• Il a également déclaré qu'il embaucherait 3 000 modérateurs supplémentaires, doublant presque le nombre de personnes dans le monde qui recherchent un contenu inapproprié ou offensant.

L'algorithme Salesforce est considérablement meilleur que tout ce qui a été développé auparavant, selon un outil logiciel commun pour mesurer l'exactitude des résumés de texte.

Je ne pense pas avoir jamais vu une telle amélioration dans une tâche [de traitement du langage naturel], dit Richard Socher , scientifique en chef chez Salesforce. Socher est un nom de premier plan dans l'apprentissage automatique et le traitement du langage naturel, et sa startup, MetaMind , a été acquis par Salesforce en 2016.

Le logiciel est encore loin d'égaler la capacité d'un humain à capturer l'essence du texte d'un document, et les autres résumés qu'il produit sont plus bâclés et moins cohérents. En effet, résumer parfaitement un texte nécessiterait une véritable intelligence, y compris des connaissances de bon sens et une maîtrise de la langue.

L'analyse syntaxique du langage reste l'un des grands défis de l'intelligence artificielle (voir AI’s Language Problem ). Mais c'est un défi avec un énorme potentiel commercial. Même une intelligence linguistique limitée - la capacité d'analyser les requêtes orales ou écrites et de répondre de manière plus sophistiquée et cohérente - pourrait transformer l'informatique personnelle. Dans de nombreux domaines spécialisés, tels que la médecine, la recherche scientifique et le droit, la condensation des informations et l'extraction des informations pourraient avoir d'énormes avantages commerciaux.

Caiming Xiong, chercheur chez Salesforce qui a contribué aux travaux, affirme que l'algorithme de son équipe, bien qu'imparfait, pourrait résumer les articles de presse quotidiens ou fournir un synopsis des e-mails des clients. Ce dernier pourrait être particulièrement utile pour la propre plate-forme de Salesforce.

L'algorithme de l'équipe utilise une combinaison d'approches pour parvenir à son amélioration. Le système apprend à partir d'exemples de bons résumés, une approche appelée apprentissage supervisé, mais emploie également une sorte d'attention artificielle au texte qu'il ingère et produit. Cela permet de s'assurer qu'il ne produit pas trop de séquences de texte répétitives, un problème courant avec les algorithmes de résumé.

Le système expérimente afin de générer ses propres résumés en utilisant un processus appelé apprentissage par renforcement. Inspiré par la façon dont les animaux semblent apprendre, cela implique de fournir une rétroaction positive pour les actions qui mènent à un objectif particulier. L'apprentissage par renforcement a été utilisé pour former des ordinateurs à faire de nouvelles choses impressionnantes, comme jouer à des jeux complexes ou contrôler des robots (voir 10 Breakthrough Technologies 2017: Reinforcement Learning ). Ceux qui travaillent sur des interfaces conversationnelles considèrent de plus en plus l'apprentissage par renforcement comme un moyen d'améliorer leurs systèmes.

Kristian Hammond , professeur à la Northwestern University et fondateur de Sciences narratives , une entreprise qui génère des rapports narratifs à partir de données brutes, affirme que la recherche Salesforce est une bonne avancée, mais elle montre également les limites de se fier uniquement à l'apprentissage automatique statistique. À un moment donné, nous devons admettre que nous avons besoin d'un peu de sémantique et d'un peu de connaissances syntaxiques dans ces systèmes pour qu'ils soient fluides et fluides, dit Hammond.

Hammond dit que l'utilisation d'un mécanisme d'attention imite, à un niveau très simple, la façon dont une personne prête attention à ce qu'elle vient de dire. Lorsque vous dites quelque chose, les détails de la façon dont vous le dites sont déterminés par le contexte de ce que vous avez dit auparavant, dit-il. Ce travail est un pas dans cette direction.

L'amélioration des compétences linguistiques des ordinateurs peut également s'avérer importante dans la quête pour faire progresser l'intelligence artificielle. Une startup appelée Maluuba , qui a été acquis plus tôt cette année par Microsoft, a récemment produit un système capable de générer des questions pertinentes à partir d'un texte. L'équipe de Maluuba a également utilisé une combinaison d'apprentissage supervisé et d'apprentissage par renforcement.

Adam Trischler, chercheur principal à Maluuba, affirme que poser des questions pertinentes est une partie importante de l'apprentissage, il est donc important de créer également des machines curieuses. Le but ultime est d'utiliser les questions et réponses dans un dialogue, dit Trischler. Et si une machine pouvait sortir et recueillir des informations, puis poser ses propres questions ?

cacher