La science en bref

Une illustration conceptuelle montrant un ordinateur, des papiers et une IA Minji Lune

Une équipe de scientifiques du MIT et d'ailleurs a développé un réseau de neurones capable de lire des articles scientifiques et de fournir un bref résumé en anglais simple. Un tel système pourrait aider les éditeurs, les écrivains et les scientifiques à numériser un grand nombre d'articles pour avoir une première idée de ce dont ils parlent. Et l'approche pourrait également être utilisée dans la traduction automatique et la reconnaissance vocale.

Le professeur de physique Marin Soljačić, les étudiants diplômés Rumen Dangovski et Li Jing, et leurs collègues développaient des réseaux de neurones pour résoudre des problèmes épineux en physique lorsqu'ils ont réalisé qu'ils pouvaient appliquer certaines de leurs connaissances en physique pour améliorer certains algorithmes d'IA.

Les réseaux de neurones imitent une façon d'apprendre des humains : l'ordinateur examine de nombreux exemples différents et identifie les principaux modèles sous-jacents. Bien qu'ils soient largement utilisés pour la reconnaissance de formes, ces systèmes ont souvent des difficultés à corréler les informations d'une longue chaîne de données, comme un document de recherche. D'autres techniques utilisées pour améliorer cette capacité, y compris celle appelée mémoire longue à court terme (LSTM), ne peuvent pas gérer les tâches de traitement du langage naturel qui nécessitent une mémoire à très long terme.

Alors que les réseaux de neurones sont généralement basés sur la multiplication de matrices, l'équipe de Soljačić en a développé un basé sur des vecteurs tournant dans un espace multidimensionnel. Il utilise ce qu'ils appellent une unité de mémoire de rotation (RUM), qu'ils ont inventée pour résoudre certains problèmes physiques difficiles tels que le comportement de la lumière dans des matériaux d'ingénierie complexes. Ils l'ont ensuite adapté au traitement du langage naturel pour faciliter la mémorisation et le rappel.

Essentiellement, chaque mot du texte est représenté par un vecteur. Chaque mot suivant fait basculer ce vecteur dans une certaine direction, représenté dans un espace théorique qui peut finalement avoir des milliers de dimensions. À la fin du processus, le vecteur final ou l'ensemble de vecteurs est retraduit dans sa chaîne de mots correspondante.

Lorsque l'équipe a alimenté le même communiqué de presse concernant un document de recherche via un réseau de neurones conventionnel basé sur LSTM et via le système basé sur RUM, le système LSTM a produit ce résumé répétitif et assez technique : Baylisascaridiase, tue les souris, a mis en danger le rat des bois allegheny et a causé des maladies comme la cécité ou des conséquences graves. Cette infection, appelée baylisascaridiase, tue les souris, a mis en danger le rat des bois allegheny et a causé des maladies comme la cécité ou des conséquences graves. Cette infection, appelée baylisascaridiase, tue les souris, a mis en danger le rat des bois allegheny.

Le système RUM a produit un résumé beaucoup plus lisible : Les ratons laveurs urbains peuvent infecter les gens plus qu'on ne le pensait auparavant. 7% des personnes interrogées ont été testées positives pour les anticorps des vers ronds du raton laveur. Plus de 90 % des ratons laveurs de Santa Barbara hébergent ce parasite.

Les chercheurs ont depuis élargi le système afin qu'il puisse résumer des articles entiers, pas seulement des communiqués de presse.

cacher