Un logiciel qui lit Harry Potter pourrait effectuer de la sorcellerie

Apprendre à un ordinateur à jouer au go à un niveau surhumain est cool, mais pas particulièrement utile pour vous ou moi. Mais que se passerait-il si un ordinateur pouvait lire quelques dizaines de pages de texte, comme le manuel d'un nouveau four à micro-ondes, puis répondre à des questions sur son fonctionnement ? Enregistre-moi.

Lire et comprendre un texte est incroyablement difficile pour les ordinateurs, mais une entreprise canadienne appelée Maluuba a fait des progrès avec un algorithme capable de lire un texte et de répondre à des questions à ce sujet avec une précision impressionnante. Plus important encore, contrairement à d'autres approches, cela fonctionne avec seulement de petites quantités de texte. Cela pourrait éventuellement aider les ordinateurs à comprendre les documents.

Des chercheurs de Maluuba ont publié un papier décrivant leurs derniers progrès la semaine dernière. Il décrit un algorithme capable de lire plusieurs centaines d'histoires pour enfants combinées à des questions et réponses sur chaque texte. Après la formation, l'algorithme pouvait répondre correctement aux questions à choix multiples sur un texte inconnu avec une précision de plus de 70 %. Les chercheurs ont également testé l'algorithme sur le texte de Harry Potter et la pierre philosophale et a constaté qu'il pouvait répondre aux questions sur ce texte avec une précision similaire.

Au-delà des avancées académiques, Maluuba espère éventuellement créer un système capable de prendre en charge la lecture banale en votre nom. Nous nous intéressons aux cas d'utilisation tels que les manuels d'utilisation, les dossiers des patients ou les documents de service client, déclare Mohamed Musbah, vice-président des produits de l'entreprise, basée à Waterloo, au Canada. Dans ces domaines, vous n'avez vraiment pas une surabondance de données.

L'équipe de Maluuba a utilisé une approche d'apprentissage par réseau de neurones populaire connue sous le nom d'apprentissage en profondeur pour former son système. Mais les chercheurs ont conçu leur réseau pour considérer le texte à différents niveaux d'abstraction - des mots aux phrases en passant par les phrases - et ils ont également préparé le réseau pour qu'il soit bon pour apprendre de cette manière avant la formation. Habituellement, les réseaux d'apprentissage en profondeur sont configurés de manière aléatoire avant la formation. Cela a permis au réseau d'apprendre très rapidement et a permis d'obtenir des réponses aux questions 15 % meilleures qu'avant l'utilisation d'une approche d'apprentissage en profondeur. C'était aussi 2 % mieux que la meilleure solution codée à la main.

Au vu des chiffres, c'est un grand saut, dit Yoshua Bengio , professeur à l'Université de Montréal et conseiller scientifique de Maluuba. Mais Bengio, qui fait partie d'une poignée de gourous de l'apprentissage en profondeur travaillant actuellement avec des entreprises sur des efforts commerciaux d'IA, prévient qu'il faudra un certain temps aux experts pour analyser l'importance de l'approche.

L'idée d'enseigner aux machines à lire et à communiquer efficacement en utilisant le langage est certainement alléchante. Cela pourrait ouvrir de nouvelles façons puissantes d'interagir avec les ordinateurs et d'extraire des informations. Mais comprendre un texte est l'un des plus grands défis de l'intelligence artificielle. les ordinateurs sont généralement bloqués par le fait que le langage nécessite une compréhension approfondie du fonctionnement du monde réel.

Malgré les défis, certaines des plus grandes entreprises technologiques tentent de développer des IA capables de comprendre du texte. Facebook collecte des données conversationnelles via un service d'assistant appelé M dans le but d'entraîner ses algorithmes à converser naturellement (voir Enseigner aux machines à nous comprendre). Google DeepMind, une filiale d'Alphabet qui se concentre sur la recherche en IA, fait un travail similaire, formant des systèmes d'apprentissage en profondeur pour lire des résumés d'articles de presse (voir Google DeepMind Teaches Artificial Intelligence Machines to Read ).

Cependant, jusqu'à présent, il n'y a pas eu de grandes percées, et on ne sait pas à quel point il peut être difficile d'équiper les machines de compétences sophistiquées en compréhension de la lecture. Les chercheurs font des progrès en grande partie en peaufinant et en améliorant les principales techniques d'apprentissage automatique et en fournissant aux ordinateurs de grandes quantités de texte annoté.

Le type d'approche d'apprentissage automatique employé par les chercheurs de Maluuba nécessite normalement d'énormes bandes de texte pour apprendre. En effet, la quantité de texte nécessaire pour faire fonctionner l'apprentissage en profondeur a souvent été considérée comme l'un de ses principaux facteurs limitants (voir Cet homme peut-il rendre l'IA plus humaine ? ). Un défi fondamental avec le langage est que les mots utilisés pour représenter différents concepts sont arbitraires, il est donc plus difficile d'établir des liens entre eux que pour les images.

Maluuba, lancé par plusieurs diplômés de l'Université de Waterloo en 2010, a précédemment développé un assistant personnel intelligent pour smartphones, et a concentré ses recherches sur le traitement du langage naturel ou la compréhension de la machine.

Je pense que c'est certainement un pas en avant, dit Richard Socher , cofondateur d'une société d'intelligence artificielle appelée MetaMind, qui travaille également sur le traitement du langage. C'est un système très bien conçu qui combine des fonctionnalités traditionnelles de traitement du langage naturel bien comprises et établies avec des idées de réseaux de neurones.

Chris Dyer , chercheur à l'Université Carnegie Mellon spécialisé dans le traitement du langage naturel, convient que les résultats de Maluuba sont impressionnants, mais pense que les machines devront acquérir une véritable compréhension du monde pour pouvoir converser correctement, par opposition à une capacité à tirer des statistiques. conclusions du texte. Cela signifiera probablement aller au-delà de l'apprentissage purement à partir d'un texte annoté.

Les ordinateurs sont trop limités en termes de perception et de compréhension du monde, dit Dyer.

cacher