Directeur de l'IA d'Apple : voici comment optimiser l'apprentissage en profondeur

Le directeur de l'intelligence artificielle d'Apple, Ruslan Salakhutdinov, estime que les réseaux de neurones profonds qui ont produit des résultats spectaculaires ces dernières années pourraient être suralimentés dans les années à venir par l'ajout de mémoire, d'attention et de connaissances générales.

Parlant à Examen de la technologie MIT Lors de la conférence EmTech Digital de San Francisco mardi, Salakhutdinov a déclaré que ces attributs pourraient aider à résoudre certains des problèmes en suspens de l'intelligence artificielle.

Salakhutdinov, qui conserve un poste de professeur agrégé à l'Université Carnegie Mellon à Pittsburgh, a souligné dans son discours les limites de la vision artificielle axée sur l'apprentissage en profondeur et de la compréhension du langage naturel.

L'apprentissage en profondeur - une technique qui implique l'utilisation d'un grand nombre de neurones grossièrement simulés disposés en plusieurs couches interconnectées - a produit des progrès spectaculaires dans la perception des machines au cours des dernières années, mais il existe de nombreuses façons dont ces réseaux sont limités.

Salakhutdinov a montré, par exemple, comment les systèmes de sous-titrage d'images basés sur la technologie peuvent étiqueter les images de manière incorrecte car ils ont tendance à se concentrer sur tout ce qui se trouve dans l'image. Il a ensuite pointé une solution sous la forme de mécanismes dits d'attention, une modification de l'apprentissage en profondeur qui a été développée ces dernières années. L'approche peut remédier à ces erreurs en faisant en sorte qu'un système se concentre sur des parties spécifiques d'une image lors de l'application de différents mots dans une légende. La même approche peut également aider à améliorer la compréhension du langage naturel en permettant à une machine de se concentrer sur la partie pertinente d'une phrase afin d'en déduire le sens.

Une technique appelée réseaux de mémoire , développé par des chercheurs de Facebook, peut améliorer la façon dont les machines communiquent avec les gens. Comme son nom l'indique, l'approche ajoute une composante de mémoire à long terme aux réseaux de neurones afin qu'ils se souviennent de l'historique d'un chat.

Il a été démontré que les réseaux de mémoire améliorent également un autre type d'IA, connu sous le nom d'apprentissage par renforcement. Par exemple, deux chercheurs de la CMU ont récemment montré comment cela pourrait créer une solution plus intelligente algorithme de jeu . Les chercheurs de DeepMind, une filiale d'Alphabet axée sur l'IA, ont également démontré moyens pour les systèmes d'apprentissage en profondeur de construire et d'accéder une forme de mémoire.

L'apprentissage par renforcement apparaît rapidement comme un moyen précieux de résoudre des problèmes difficiles à programmer en robotique et en conduite automatisée. C'était l'un des Examen de la technologie MIT Les 10 technologies révolutionnaires de 2017 .

Un autre domaine passionnant de recherche future, a déclaré Salakhutdinov, serait de trouver des moyens de combiner des sources de connaissances construites à la main avec un apprentissage en profondeur. Il a mentionné des bases de données de connaissances générales comme Base libre et des référentiels de sens comme WordNet .

Tout comme les humains dépendent fortement des connaissances générales lors de l'analyse du langage ou de l'interprétation d'une scène visuelle, cela pourrait aider à rendre les systèmes d'IA plus intelligents, a déclaré Salakhutdinov. Comment pouvons-nous intégrer toutes ces connaissances antérieures dans l'apprentissage en profondeur ? a-t-il déclaré lors de son allocution. C'est un grand défi.

Salakhutdinov a pris la parole lors d'une session qui a réuni des chercheurs de plusieurs écoles d'IA différentes. Un thème commun parmi les conférenciers était la nécessité d'approches différentes afin de faire passer l'IA au niveau supérieur.

Pendant la séance Les dimanches de Pierre , professeur à l'Université de Washington qui étudie différentes approches d'apprentissage automatique, a déclaré qu'il était également nécessaire de continuer à rechercher des approches complètement nouvelles de l'IA. Il y a une école de pensée dans l'apprentissage automatique selon laquelle nous n'avons pas besoin de nouveaux algorithmes sophistiqués, nous avons juste besoin de plus de données, a-t-il déclaré. Je pense qu'il y a des idées vraiment profondes et fondamentales qui doivent être découvertes avant que nous puissions vraiment résoudre l'IA.

cacher