Pionnier de l'IA Geoff Hinton : l'apprentissage en profondeur va pouvoir tout faire

Noah Berger / AP

• Sur les lacunes du domaine de l'IA : 'Il va falloir faire pas mal de percées conceptuelles... nous avons également besoin d'une augmentation massive de l'échelle.'
• Sur les faiblesses des réseaux de neurones : 'Les réseaux de neurones sont étonnamment bons pour traiter une quantité de données plutôt faible, avec un grand nombre de paramètres, mais les gens sont encore meilleurs.'
• Sur le fonctionnement de notre cerveau : 'Ce qu'il y a à l'intérieur du cerveau, ce sont ces grands vecteurs d'activité neuronale.'

La révolution moderne de l'IA a commencé lors d'un obscur concours de recherche. C'était en 2012, la troisième année du concours annuel ImageNet, qui mettait les équipes au défi de construire des systèmes de vision par ordinateur capables de reconnaître 1 000 objets, des animaux aux paysages en passant par les personnes.

Au cours des deux premières années, les meilleures équipes n'avaient même pas réussi à atteindre une précision de 75 %. Mais dans le troisième, une bande de trois chercheurs - un professeur et ses étudiants - a soudainement dépassé ce plafond. Ils ont remporté la compétition par un pourcentage stupéfiant de 10,8 points de pourcentage. Ce professeur était Geoffrey Hinton, et la technique qu'ils utilisaient s'appelait l'apprentissage en profondeur.

Hinton travaillait en fait avec l'apprentissage en profondeur depuis les années 1980, mais son efficacité avait été limitée par un manque de données et de puissance de calcul. Sa croyance inébranlable dans la technique a finalement rapporté des dividendes massifs. La quatrième année du concours ImageNet, presque toutes les équipes utilisaient l'apprentissage en profondeur et réalisaient des gains de précision miraculeux. Bientôt, l'apprentissage en profondeur a été appliqué à des tâches allant au-delà de la reconnaissance d'images, et dans un large éventail d'industries également.

L'année dernière, pour ses contributions fondamentales dans le domaine, Hinton a reçu le prix Turing, aux côtés d'autres pionniers de l'IA, Yann LeCun et Yoshua Bengio. Le 20 octobre, j'ai parlé avec lui lors de la conférence annuelle EmTech MIT de MIT Technology Review sur l'état du domaine et sur la direction qu'il devrait prendre ensuite.

Ce qui suit a été édité et condensé pour plus de clarté.

Vous pensez que l'apprentissage en profondeur sera suffisant pour reproduire toute l'intelligence humaine. Qu'est-ce qui vous rend si sûr?

Je crois que l'apprentissage en profondeur sera capable de tout faire, mais je pense qu'il va falloir faire pas mal de percées conceptuelles. Par exemple, en 2017 Ashish Vaswani et al . introduit transformateurs , qui dérivent de très bons vecteurs représentant la signification des mots. C'était une percée conceptuelle. Il est maintenant utilisé dans presque tous les meilleurs traitements de langage naturel. Nous allons avoir besoin de beaucoup plus de percées comme celle-là.

Et si nous avons ces percées, serons-nous capables d'approcher toute l'intelligence humaine grâce à l'apprentissage en profondeur ?

Oui. En particulier, les percées liées à la façon dont vous obtenez de grands vecteurs d'activité neuronale pour mettre en œuvre des choses comme la raison. Mais nous avons également besoin d'une augmentation massive de l'échelle. Le cerveau humain compte environ 100 000 milliards de paramètres, ou synapses. Ce que nous appelons maintenant un très grand modèle, comme GPT-3 , a 175 milliards. Il est mille fois plus petit que le cerveau. GPT-3 peut désormais générer un texte assez plausible, et il est encore minuscule par rapport au cerveau.

Quand vous dites échelle, voulez-vous dire des réseaux de neurones plus grands, plus de données, ou les deux ?

Les deux. Il y a une sorte de décalage entre ce qui se passe en informatique et ce qui se passe avec les gens. Les gens ont une énorme quantité de paramètres par rapport à la quantité de données qu'ils obtiennent. Les réseaux de neurones sont étonnamment bons pour traiter une quantité de données plutôt petite, avec un grand nombre de paramètres, mais les gens sont encore meilleurs.

Beaucoup de gens sur le terrain croient que le bon sens est la prochaine grande capacité à aborder. Êtes-vous d'accord?

Je suis d'accord que c'est l'une des choses les plus importantes. Je pense aussi que le contrôle moteur est très important, et les réseaux de neurones profonds deviennent maintenant bons dans ce domaine. En particulier, certains travaux récents de Google ont montré que vous pouvez effectuer un contrôle moteur fin et le combiner avec le langage, de sorte que vous puissiez ouvrir un tiroir et sortir un bloc, et le système peut vous dire en langage naturel ce qu'il fait.

Pour des choses comme GPT-3, qui génère ce texte merveilleux, il est clair qu'il doit comprendre beaucoup de choses pour générer ce texte, mais ce qu'il comprend n'est pas tout à fait clair. Mais si quelque chose ouvre le tiroir et sort un bloc et dit, je viens d'ouvrir un tiroir et j'ai sorti un bloc, il est difficile de dire qu'il ne comprend pas ce qu'il fait.

Le domaine de l'IA a toujours considéré le cerveau humain comme sa plus grande source d'inspiration, et différentes approches de l'IA ont découlé de différentes théories en sciences cognitives. Croyez-vous que le cerveau construit réellement des représentations du monde extérieur pour le comprendre, ou est-ce simplement une façon utile d'y penser ?

Il y a longtemps dans les sciences cognitives, il y avait un débat entre deux écoles de pensée. L'un était dirigé par Stephen Kosslyn, et il croyait que lorsque vous manipulez des images visuelles dans votre esprit, vous avez un tableau de pixels et vous les déplacez. L'autre école de pensée était plus conforme à l'IA conventionnelle. Il a dit, non, non, c'est un non-sens. Ce sont des descriptions hiérarchiques et structurelles. Vous avez une structure symbolique dans votre esprit, et c'est ce que vous manipulez.

Je pense qu'ils faisaient tous les deux la même erreur. Kosslyn pensait que nous manipulions les pixels parce que les images externes sont faites de pixels, et c'est une représentation que nous comprenons. Le symbole, les gens pensaient que nous manipulions les symboles parce que nous représentons aussi les choses par des symboles, et c'est une représentation que nous comprenons. Je pense que c'est tout aussi faux. Ce qu'il y a à l'intérieur du cerveau, ce sont ces grands vecteurs d'activité neuronale.

Certaines personnes croient encore que la représentation symbolique est l'une des approches de l'IA.

Absolument. J'ai de bons amis comme Hector Levesque, qui croit vraiment à l'approche symbolique et qui a fait un excellent travail là-dedans. Je ne suis pas d'accord avec lui, mais l'approche symbolique est une chose parfaitement raisonnable à essayer. Mais je suppose qu'à la fin, nous réaliserons que les symboles existent simplement dans le monde extérieur, et nous effectuons des opérations internes sur de grands vecteurs.

Selon vous, quelle est votre vision la plus contrariante de l'avenir de l'IA ?

Eh bien, mon problème est que j'ai ces opinions contraires, puis cinq ans plus tard, elles sont courantes. La plupart de mes opinions contraires des années 1980 sont désormais largement acceptées. Il est assez difficile maintenant de trouver des gens qui ne sont pas d'accord avec eux. Alors oui, j'ai été en quelque sorte sapé dans mes opinions contraires.

cacher