L'IA chevauche-t-elle un poney à un tour ?

Presque toutes les avancées de l'IA dont vous avez entendu parler dépendent d'une percée vieille de trois décennies. Pour maintenir le rythme des progrès, il faudra se confronter aux sérieuses limites de l'IA. Par

• James Somer page d'archives

29 septembre 2017

Détour d'Adam

Je me tiens dans ce qui sera bientôt le centre du monde, ou peut-être juste une très grande pièce au septième étage d'une tour étincelante du centre-ville de Toronto. Je suis accompagné de Jordan Jacobs, cofondateur de ce lieu : le naissant Vector Institute, qui ouvre ses portes cet automne et qui ambitionne de devenir l'épicentre mondial de l'intelligence artificielle.

Nous sommes à Toronto parce que Geoffrey Hinton est à Toronto, et Geoffrey Hinton est le père de l'apprentissage en profondeur, la technique à l'origine de l'engouement actuel pour l'IA. Dans 30 ans, nous allons regarder en arrière et dire que Geoff est Einstein - de l'IA, de l'apprentissage en profondeur, ce que nous appelons l'IA, dit Jacobs. Parmi les chercheurs au sommet du domaine de l'apprentissage en profondeur, Hinton a plus de citations que les trois suivants combinés. Ses étudiants et post-doctorants ont ensuite dirigé les laboratoires d'IA chez Apple, Facebook et OpenAI ; Hinton lui-même est un scientifique principal de l'équipe Google Brain AI. En fait, presque toutes les réalisations de la dernière décennie de l'IA - dans la traduction, la reconnaissance vocale, la reconnaissance d'images et le jeu - remontent d'une manière ou d'une autre au travail de Hinton.

Cette histoire faisait partie de notre numéro de novembre 2017

• Voir la suite du problème
• S'abonner

Le Vector Institute, ce monument de l'ascension des idées de Hinton, est un centre de recherche où des entreprises des États-Unis et du Canada, comme Google, Uber et Nvidia, parraineront les efforts de commercialisation des technologies d'IA. L'argent a afflué plus vite que Jacobs ne pouvait le demander ; deux de ses cofondateurs ont sondé des entreprises de la région de Toronto, et la demande d'experts en IA a fini par être 10 fois supérieure à ce que le Canada produit chaque année. Vector est en quelque sorte le point de départ de la tentative désormais mondiale de mobilisation autour de l'apprentissage en profondeur : tirer profit de la technique, l'enseigner, l'affiner et l'appliquer. Des centres de données se construisent, des tours se remplissent de startups, toute une génération d'étudiants se lance sur le terrain.

L'impression que vous avez debout sur le sol de Vector, nu et résonnant et sur le point d'être rempli, c'est que vous êtes au début de quelque chose. Mais la particularité de l'apprentissage en profondeur est l'ancienneté de ses idées clés. L'article révolutionnaire de Hinton, avec ses collègues David Rumelhart et Ronald Williams, a été publié en 1986. L'article a élaboré une technique appelée rétropropagation, ou backprop en abrégé. Backprop, selon les mots de Jon Cohen, psychologue informatique à Princeton, est ce sur quoi repose tout l'apprentissage en profondeur - littéralement tout.

En résumé, l'IA d'aujourd'hui est un apprentissage en profondeur, et l'apprentissage en profondeur est un backprop, ce qui est incroyable, étant donné que le backprop a plus de 30 ans. Cela vaut la peine de comprendre comment cela s'est produit - comment une technique a pu attendre si longtemps et ensuite provoquer une telle explosion - car une fois que vous aurez compris l'histoire du backprop, vous commencerez à comprendre le moment actuel de l'IA, et en particulier le fait que nous ne sommes peut-être pas réellement au début d'une révolution. Peut-être que nous sommes à la fin d'un.

Justification

La promenade du Vector Institute au bureau de Hinton chez Google, où il passe la plupart de son temps (il est maintenant professeur émérite à l'Université de Toronto), est une sorte de publicité vivante pour la ville, du moins en été. Vous pouvez comprendre pourquoi Hinton, qui est originaire du Royaume-Uni, a déménagé ici dans les années 1980 après avoir travaillé à l'Université Carnegie Mellon de Pittsburgh.

Lorsque vous sortez, même au centre-ville près du quartier financier, vous avez l'impression d'être réellement entré dans la nature. C'est l'odeur, je pense : limon humide dans l'air. Toronto a été construite au sommet de ravins boisés, et on dit que c'est une ville dans un parc; comme il a été urbanisé, le gouvernement local a établi des restrictions strictes pour maintenir la canopée des arbres. Pendant que vous volez, les parties extérieures de la ville semblent presque luxuriantes.

Peut-être ne sommes-nous pas réellement au début d'une révolution.

Toronto est la quatrième plus grande ville d'Amérique du Nord (après Mexico, New York et L.A.) et la plus diversifiée : plus de la moitié de la population est née à l'extérieur du Canada. Vous pouvez le voir en vous promenant. La foule dans le couloir technologique ressemble moins à San Francisco - de jeunes hommes blancs en sweat à capuche - et plus internationale. Il y a des soins de santé gratuits et de bonnes écoles publiques, les gens sont sympathiques et l'ordre politique est relativement stable et de gauche ; et ce truc attire des gens comme Hinton, qui dit avoir quitté les États-Unis à cause de l'affaire Iran-Contra. C'est une des premières choses dont on parle quand je vais le rencontrer, juste avant le déjeuner.

La plupart des gens de la CMU pensaient qu'il était parfaitement raisonnable que les États-Unis envahissent le Nicaragua, dit-il. Ils pensaient en quelque sorte qu'ils en étaient propriétaires. Il me dit qu'il a eu une grande percée récemment sur un projet : trouver une très bonne ingénieure junior qui travaille avec moi, une femme qui s'appelle Sara Sabour. Sabour est iranienne et on lui a refusé un visa pour travailler aux États-Unis. Le bureau de Google à Toronto l'a récupérée.

Hinton, qui a 69 ans, a le visage gentil et maigre d'apparence anglaise du Big Friendly Giant, avec une bouche fine, de grandes oreilles et un nez fier. Il est né à Wimbledon, en Angleterre, et sonne, quand il parle, comme le narrateur d'un livre pour enfants sur la science : curieux, engageant, désireux d'expliquer les choses. Il est drôle et un peu showman. Il reste debout tout le temps que nous parlons, car il s'avère que s'asseoir est trop douloureux. Je me suis assis en juin 2005 et c'était une erreur, me dit-il, laissant la ligne bizarre atterrir avant d'expliquer qu'un disque dans son dos lui cause des problèmes. Cela signifie qu'il ne peut pas voler, et plus tôt dans la journée, il avait dû apporter un engin qui ressemblait à une planche de surf au cabinet du dentiste afin qu'il puisse s'allonger dessus tout en faisant examiner une racine de dent fissurée.

Dans les années 1980, Hinton était, comme il l'est maintenant, un expert des réseaux de neurones, un modèle très simplifié du réseau de neurones et de synapses dans notre cerveau. Cependant, à cette époque, il avait été fermement décidé que les réseaux de neurones étaient une impasse dans la recherche sur l'IA. Bien que le premier réseau neuronal, le Perceptron, qui a commencé à être développé dans les années 1950, ait été salué comme un premier pas vers l'intelligence artificielle au niveau humain, un livre de 1969 de Marvin Minsky et Seymour Papert du MIT, intitulé Perceptrons , ont prouvé mathématiquement que de tels réseaux ne pouvaient remplir que les fonctions les plus élémentaires. Ces réseaux n'avaient que deux couches de neurones, une couche d'entrée et une couche de sortie. Les réseaux avec plus de couches entre les neurones d'entrée et de sortie pouvaient en théorie résoudre une grande variété de problèmes, mais personne ne savait comment les former, et donc en pratique ils étaient inutiles. À l'exception de quelques récalcitrants comme Hinton, Perceptrons a poussé la plupart des gens à abandonner complètement les réseaux de neurones.

La percée de Hinton, en 1986, consistait à montrer que la rétropropagation pouvait former un réseau neuronal profond, c'est-à-dire un réseau à plus de deux ou trois couches. Mais il a fallu encore 26 ans avant que l'augmentation de la puissance de calcul ne concrétise la découverte. Un article de 2012 par Hinton et deux de ses étudiants de Toronto ont montré que les réseaux de neurones profonds, entraînés à l'aide de la rétropropagation, surpassaient les systèmes de pointe en matière de reconnaissance d'images. L'apprentissage en profondeur a pris son envol. Pour le monde extérieur, l'IA a semblé se réveiller du jour au lendemain. Pour Hinton, c'était une récompense attendue depuis longtemps.

Champ de distorsion de la réalité

Un réseau neuronal est généralement dessiné comme un club sandwich, avec des couches empilées les unes sur les autres. Les couches contiennent des neurones artificiels, qui sont de petites unités de calcul stupides qui s'excitent - comme un vrai neurone s'excite - et transmettent cette excitation aux autres neurones auxquels elles sont connectées. L'excitation d'un neurone est représentée par un nombre, comme 0,13 ou 32,39, qui indique à quel point il est excité. Et il y a un autre nombre crucial, sur chacune des connexions entre deux neurones, qui détermine la quantité d'excitation qui doit être transmise de l'un à l'autre. Ce nombre est destiné à modéliser la force des synapses entre les neurones du cerveau. Lorsque le nombre est plus élevé, cela signifie que la connexion est plus forte, donc plus d'excitation de l'un se dirige vers l'autre.

Un diagramme issu des travaux fondateurs sur la propagation des erreurs par Hinton, David Rumelhart et Ronald Williams.

L'une des applications les plus réussies des réseaux de neurones profonds est la reconnaissance d'images, comme dans la scène mémorable de HBO Silicon Valley où l'équipe construit un programme qui peut dire s'il y a un hot-dog dans une image. Des programmes comme celui-là existent réellement, et ils n'auraient pas été possibles il y a dix ans. Pour les faire fonctionner, la première étape consiste à prendre une photo. Disons, pour plus de simplicité, qu'il s'agit d'une petite image en noir et blanc de 100 pixels de large et 100 pixels de haut. Vous alimentez cette image dans votre réseau neuronal en définissant l'excitation de chaque neurone simulé dans la couche d'entrée afin qu'elle soit égale à la luminosité de chaque pixel. C'est la couche inférieure du club sandwich : 10 000 neurones (100 x 100) représentant la luminosité de chaque pixel de l'image.

Vous connectez ensuite cette grande couche de neurones à une autre grande couche de neurones au-dessus, disons quelques milliers, et ceux-ci à leur tour à une autre couche de quelques milliers de neurones supplémentaires, et ainsi de suite sur quelques couches. Enfin, dans la couche supérieure du sandwich, la couche de sortie, vous n'avez que deux neurones, l'un représentant le hot-dog et l'autre ne représentant pas le hot-dog. L'idée est d'apprendre au réseau de neurones à n'exciter que le premier de ces neurones s'il y a un hot-dog dans l'image, et seulement le second s'il n'y en a pas. La rétropropagation – la technique sur laquelle Hinton a bâti sa carrière – est la méthode pour y parvenir.

Backprop est remarquablement simple, bien qu'il fonctionne mieux avec d'énormes quantités de données. C'est pourquoi les mégadonnées sont si importantes dans l'IA, pourquoi Facebook et Google en ont tant besoin, et pourquoi l'Institut Vecteur a décidé de s'installer à deux pas de quatre des plus grands hôpitaux du Canada et de développer des partenariats de données avec eux.

Dans ce cas, les données prennent la forme de millions d'images, certaines avec des hot-dogs et d'autres sans ; l'astuce est que ces images sont étiquetées selon lesquelles ont des hot-dogs. Lorsque vous créez votre réseau de neurones pour la première fois, les connexions entre les neurones peuvent avoir des poids aléatoires - des nombres aléatoires qui indiquent le degré d'excitation à transmettre à chaque connexion. C'est comme si les synapses du cerveau n'avaient pas encore été réglées. L'objectif de backprop est de modifier ces poids afin qu'ils fassent fonctionner le réseau : de sorte que lorsque vous transmettez une image d'un hot-dog à la couche la plus basse, le neurone de hot-dog de la couche la plus haute finisse par s'exciter.

Supposons que vous preniez votre première image d'entraînement et qu'il s'agisse d'une image de piano. Vous convertissez les intensités de pixel de l'image 100x100 en 10 000 nombres, un pour chaque neurone dans la couche inférieure du réseau. Au fur et à mesure que l'excitation se propage dans le réseau en fonction des forces de connexion entre les neurones des couches adjacentes, elle finira par se retrouver dans cette dernière couche, celle avec les deux neurones qui disent s'il y a un hot-dog dans l'image. Puisque l'image représente un piano, idéalement, le neurone hot-dog devrait avoir un zéro, tandis que le neurone non-hot-dog devrait avoir un nombre élevé. Mais disons que ça ne marche pas comme ça. Disons que le réseau se trompe sur cette image. Backprop est une procédure permettant de réajuster la force de chaque connexion du réseau afin de corriger l'erreur pour un exemple de formation donné.

La façon dont cela fonctionne est que vous commencez avec les deux derniers neurones et que vous déterminez à quel point ils se sont trompés : quelle différence y a-t-il entre ce que les chiffres d'excitation auraient dû être et ce qu'ils étaient réellement ? Lorsque cela est fait, vous examinez chacune des connexions menant à ces neurones - ceux de la couche inférieure suivante - et déterminez leur contribution à l'erreur. Vous continuez ainsi jusqu'à ce que vous ayez atteint le premier ensemble de connexions, tout en bas du réseau. À ce stade, vous savez dans quelle mesure chaque connexion individuelle a contribué à l'erreur globale et, dans une dernière étape, vous modifiez chacun des poids dans la direction qui réduit le mieux l'erreur globale. La technique s'appelle la rétropropagation car vous propagez les erreurs vers l'arrière (ou vers le bas) à travers le réseau, à partir de la sortie.

Ce qui est incroyable, c'est que lorsque vous faites cela avec des millions ou des milliards d'images, le réseau commence à devenir assez bon pour dire si une image contient un hot-dog. Et ce qui est encore plus remarquable, c'est que les couches individuelles de ces réseaux de reconnaissance d'images commencent à être capables de voir des images de la même manière que notre propre système visuel. C'est-à-dire que la première couche pourrait finir par détecter les bords, dans le sens où ses neurones s'excitent quand il y a des bords et ne s'excitent pas quand il n'y en a pas ; la couche au-dessus de laquelle on pourrait être en mesure de détecter des ensembles de bords, comme des coins ; la couche au-dessus de laquelle on pourrait commencer à voir des formes ; et la couche au-dessus de laquelle on pourrait commencer à trouver des choses comme un chignon ouvert ou un chignon fermé, dans le sens d'avoir des neurones qui répondent à l'un ou l'autre cas. Le réseau s'organise, en d'autres termes, en couches hiérarchiques sans jamais avoir été explicitement programmé de cette façon.

Une véritable intelligence ne se brise pas lorsque vous modifiez légèrement le problème.

C'est la chose qui a tout le monde captivé. Ce n'est pas seulement que les réseaux de neurones sont bons pour classer les images de hot-dogs ou autre : ils semblent capables de construire des représentations d'idées. Avec le texte, vous pouvez le voir encore plus clairement. Vous pouvez alimenter le texte de Wikipédia, long de plusieurs milliards de mots, dans un simple réseau neuronal, en l'entraînant à cracher, pour chaque mot, une grande liste de nombres qui correspondent à l'excitation de chaque neurone d'une couche. Si vous considérez chacun de ces nombres comme une coordonnée dans un espace complexe, alors essentiellement ce que vous faites est de trouver un point, connu dans ce contexte comme un vecteur, pour chaque mot quelque part dans cet espace. Maintenant, entraînez votre réseau de manière à ce que les mots apparaissant les uns à côté des autres sur les pages Wikipédia se retrouvent avec des coordonnées similaires, et voilà, quelque chose de fou se produit : des mots qui ont des significations similaires commencent à apparaître les uns à côté des autres dans l'espace. C'est-à-dire que fou et déséquilibré auront des coordonnées proches l'une de l'autre, tout comme trois et sept, et ainsi de suite. De plus, ce qu'on appelle l'arithmétique vectorielle permet, par exemple, de soustraire le vecteur de la France du vecteur de Paris, d'ajouter le vecteur de l'Italie et de se retrouver dans le voisinage de Rome. Cela fonctionne sans que personne ne dise explicitement au réseau que Rome est à l'Italie ce que Paris est à la France.

C'est incroyable, dit Hinton. C'est choquant. Les réseaux de neurones peuvent être considérés comme essayant de prendre des choses - des images, des mots, des enregistrements de quelqu'un qui parle, des données médicales - et de les placer dans ce que les mathématiciens appellent un espace vectoriel de grande dimension, où la proximité ou la distance des choses reflète une caractéristique importante. du monde réel. Hinton croit que c'est ce que fait le cerveau lui-même. Si vous voulez savoir ce qu'est une pensée, dit-il, je peux vous l'exprimer en une suite de mots. Je peux dire 'John a pensé, Oups.' Mais si vous demandez, 'Quelle est la pensée?' Qu'est-ce que cela signifie pour John d'avoir cette pensée ? » Ce n'est pas que dans sa tête il y a une citation d'ouverture, et un « Oups », et une citation de clôture, ou même une version nettoyée de cela. Dans sa tête, il y a un gros schéma d'activité neuronale. De grands modèles d'activité neuronale, si vous êtes un mathématicien, peuvent être capturés dans un espace vectoriel, l'activité de chaque neurone correspondant à un nombre, et chaque nombre à une coordonnée d'un très grand vecteur. Selon Hinton, c'est ce qu'est la pensée : une danse de vecteurs.

Geoffrey Hinton Avec l'aimable autorisation de Google

Ce n'est pas un hasard si l'institution phare de l'IA de Toronto a été nommée pour ce fait. Hinton est celui qui a inventé le nom de Vector Institute.

Hinton crée une sorte de champ de distorsion de la réalité, un air de certitude et d'enthousiasme, qui vous donne le sentiment qu'il n'y a rien que les vecteurs ne puissent faire. Après tout, regardez ce qu'ils ont déjà pu produire : des voitures qui se conduisent toutes seules, des ordinateurs qui détectent le cancer, des machines qui traduisent instantanément le langage parlé. Et regardez ce charmant scientifique britannique parler de descente de gradient dans des espaces de grande dimension !

C'est seulement lorsque vous quittez la pièce que vous vous souvenez : ces systèmes d'apprentissage en profondeur sont encore assez stupides, malgré leur apparence parfois intelligente. Un ordinateur qui voit l'image d'un tas de beignets empilés sur une table et la légende, automatiquement, comme un tas de beignets empilés sur une table semble comprendre le monde ; mais quand ce même programme voit une photo d'une fille se brosser les dents et dit Le garçon tient une batte de baseball, vous réalisez à quel point cette compréhension est mince, si jamais elle était là.

Les réseaux de neurones ne sont que des reconnaissances de formes floues irréfléchies, et aussi utiles que puissent être les reconnaissances de formes floues - d'où la précipitation à les intégrer dans à peu près tous les types de logiciels - ils représentent, au mieux, une marque d'intelligence limitée, qui est facilement dupe . Un réseau neuronal profond qui reconnaît les images peut être totalement bloqué lorsque vous modifiez un seul pixel ou ajoutez un bruit visuel imperceptible pour un humain. En effet, presque aussi souvent que nous trouvons de nouvelles façons d'appliquer l'apprentissage en profondeur, nous découvrons davantage ses limites. Les voitures autonomes peuvent ne pas réussir à naviguer dans des conditions qu'elles n'ont jamais vues auparavant. Les machines ont du mal à analyser les phrases qui exigent une compréhension de bon sens du fonctionnement du monde.

L'apprentissage en profondeur imite à certains égards ce qui se passe dans le cerveau humain, mais seulement de manière superficielle, ce qui explique peut-être pourquoi son intelligence peut parfois sembler si superficielle. En effet, le backprop n'a pas été découvert en sondant profondément dans le cerveau, décodant la pensée elle-même; il est né de modèles sur la façon dont les animaux apprennent par essais et erreurs dans de vieilles expériences de conditionnement classique. Et la plupart des grands pas qui se sont produits au fur et à mesure de son développement n'impliquaient pas de nouvelles connaissances sur les neurosciences ; c'étaient des améliorations techniques, atteintes par des années de mathématiques et d'ingénierie. Ce que nous savons de l'intelligence n'est rien face à l'immensité de ce que nous ne savons pas encore.

David Duvenaud, professeur adjoint dans le même département que Hinton à l'Université de Toronto, affirme que l'apprentissage en profondeur a été un peu comme l'ingénierie avant la physique. Quelqu'un écrit un papier et dit : ' J'ai fait ce pont et il s'est levé ! ' Un autre gars a un papier : ' J'ai fait ce pont et il est tombé, mais ensuite j'ai ajouté des piliers, et puis il est resté debout. ' Alors les piliers sont une nouvelle chose chaude. Quelqu'un propose des arches, et c'est comme, 'Les arches sont super!' Avec la physique, dit-il, vous pouvez réellement comprendre ce qui va fonctionner et pourquoi. Ce n'est que récemment, dit-il, que nous avons commencé à entrer dans cette phase de compréhension réelle avec l'intelligence artificielle.

Hinton lui-même dit : La plupart des conférences consistent à faire des variations mineures… au lieu de réfléchir sérieusement et de dire : « Qu'est-ce qui est vraiment déficient dans ce que nous faisons maintenant ? En quoi a-t-il du mal ? Concentrons-nous là-dessus.

Il peut être difficile d'apprécier cela de l'extérieur, quand tout ce que vous voyez est une grande avancée vantée après l'autre. Mais la dernière vague de progrès en matière d'IA a été moins la science que l'ingénierie, voire le bricolage. Et bien que nous ayons commencé à mieux comprendre les types de changements qui amélioreront les systèmes d'apprentissage en profondeur, nous ne savons toujours pas comment ces systèmes fonctionnent, ou s'ils pourraient jamais s'ajouter à quelque chose d'aussi puissant que le esprit humain.

Cela vaut la peine de se demander si nous avons extrait presque tout ce que nous pouvions du backprop. Si tel est le cas, cela pourrait signifier un plateau pour les progrès de l'intelligence artificielle.

Patience

Si vous voulez voir la prochaine grande chose, quelque chose qui pourrait former la base de machines avec une intelligence beaucoup plus flexible, vous devriez probablement consulter une recherche qui ressemble à ce que vous auriez trouvé si vous aviez rencontré un backprop dans les années 80 : les gens intelligents brancher sur des idées qui ne fonctionnent pas encore vraiment.

Il y a quelques mois, je suis allé au Center for Minds, Brains, and Machines, un effort multi-institutionnel dont le siège est au MIT, pour regarder un de mes amis, Eyal Dechter, défendre sa thèse en sciences cognitives. Juste avant le début de la conversation, sa femme Amy, leur chien Ruby et leur fille Susannah s'affairaient, lui souhaitant bonne chance. Sur l'écran se trouvait une photo de Ruby, et à côté celle de Susannah bébé. Lorsque papa a demandé à Susannah de se montrer, elle a joyeusement giflé un long pointeur rétractable contre sa propre photo de bébé. En sortant de la pièce, elle a fait rouler une poussette derrière sa mère et a crié Bonne chance, papa ! par-dessus son épaule. Vamanos ! dit-elle finalement. Elle a deux ans.

Le fait que cela ne fonctionne pas n'est qu'un désagrément temporaire.

Eyal a commencé son discours par une question séduisante : Comment se fait-il que Susannah, après deux ans d'expérience, puisse apprendre à parler, à jouer, à suivre des histoires ? Qu'est-ce qui fait que le cerveau humain apprend si bien ? Un ordinateur pourra-t-il jamais apprendre aussi rapidement et avec autant de fluidité ?

Nous donnons un sens à de nouveaux phénomènes en termes de choses que nous comprenons déjà. Nous décomposons un domaine en morceaux et apprenons les morceaux. Eyal est mathématicien et programmeur informatique, et il considère les tâches, comme faire un soufflé, comme des programmes informatiques vraiment complexes. Mais ce n'est pas comme si vous appreniez à faire un soufflé en apprenant chacune des zillions de micro-instructions du programme, comme Faites pivoter votre coude de 30 degrés, puis regardez le comptoir, puis étendez votre index, puis... Si vous deviez faire que pour chaque nouvelle tâche, l'apprentissage serait trop difficile et que vous seriez coincé avec ce que vous savez déjà. Au lieu de cela, nous présentons le programme en termes d'étapes de haut niveau, comme Fouetter les blancs d'œufs, qui sont eux-mêmes composés de sous-programmes, comme Casser les œufs et Séparer les jaunes.

Histoire connexe

Histoire connexe Personne ne sait vraiment comment les algorithmes les plus avancés font ce qu'ils font. Cela pourrait être un problème.

Les ordinateurs ne font pas cela, et c'est en grande partie la raison pour laquelle ils sont stupides. Pour qu'un système d'apprentissage en profondeur reconnaisse un hot-dog, vous devrez peut-être lui fournir 40 millions d'images de hot-dogs. Pour que Susannah reconnaisse un hot-dog, vous lui montrez un hot-dog. Et d'ici peu, elle aura une compréhension du langage qui va plus loin que de reconnaître que certains mots apparaissent souvent ensemble. Contrairement à un ordinateur, elle aura en tête un modèle du fonctionnement du monde entier. C'est en quelque sorte incroyable pour moi que les gens aient peur que les ordinateurs prennent des emplois, dit Eyal. Ce n'est pas que les ordinateurs ne peuvent pas remplacer les avocats parce que les avocats font des choses vraiment compliquées. C'est parce que les avocats lisent et parlent aux gens. Ce n'est pas comme si nous étions proches. Nous sommes si loin.

Une véritable intelligence ne se brise pas lorsque vous modifiez légèrement les exigences du problème qu'elle essaie de résoudre. Et l'élément clé de la thèse d'Eyal était sa démonstration, en principe, de la façon dont vous pourriez faire fonctionner un ordinateur de cette façon : appliquer de manière fluide ce qu'il sait déjà à de nouvelles tâches, amorcer rapidement son chemin en ne sachant presque rien sur un nouveau domaine. être un expert.

Hinton a fait ce croquis pour sa prochaine grande idée, organiser des réseaux de neurones avec des 'capsules'.

Il s'agit essentiellement d'une procédure qu'il appelle l'algorithme d'exploration-compression. Il permet à un ordinateur de fonctionner un peu comme un programmeur qui constitue une bibliothèque de composants modulaires réutilisables en vue de créer des programmes de plus en plus complexes. Sans qu'on lui dise quoi que ce soit sur un nouveau domaine, l'ordinateur essaie de structurer les connaissances à ce sujet simplement en jouant, en consolidant ce qu'il a trouvé et en jouant encore un peu, comme le fait un enfant humain.

Son conseiller, Joshua Tenenbaum, est l'un des chercheurs les plus cités en IA. Le nom de Tenenbaum est revenu dans la moitié des conversations que j'ai eues avec d'autres scientifiques. Certaines des personnes clés de DeepMind – l'équipe derrière AlphaGo, qui a choqué les informaticiens en battant un joueur champion du monde dans le jeu complexe de Go en 2016 – avaient travaillé comme post-doctorants. Il est impliqué dans une startup qui essaie de donner aux voitures autonomes une certaine intuition sur la physique de base et les intentions des autres conducteurs, afin qu'ils puissent mieux anticiper ce qui se passerait dans une situation qu'ils n'ont jamais vue auparavant, comme lorsqu'un camion se met en portefeuille devant eux ou quand quelqu'un essaie de fusionner de manière très agressive.

La thèse d'Eyal ne se traduit pas encore par ce genre d'applications pratiques, sans parler des programmes qui feraient la une des journaux pour vaincre un humain. Les problèmes sur lesquels travaille Eyal sont vraiment très difficiles, a déclaré Tenenbaum. Cela va prendre beaucoup, beaucoup de générations.

Tenenbaum a les cheveux longs, bouclés et blanchissants, et quand nous nous sommes assis pour le café, il portait une chemise boutonnée avec un pantalon noir. Il m'a dit qu'il se tournait vers l'histoire du backprop pour s'inspirer. Pendant des décennies, le backprop était une mathématique cool qui n'accomplissait vraiment rien. Au fur et à mesure que les ordinateurs devenaient plus rapides et que l'ingénierie devenait plus sophistiquée, tout à coup, c'est devenu le cas. Il espère que la même chose se produira avec son propre travail et celui de ses étudiants, mais cela pourrait prendre encore quelques décennies.

Quant à Hinton, il est convaincu que surmonter les limites de l'IA implique de construire un pont entre l'informatique et la biologie. Backprop était, de ce point de vue, un triomphe du calcul d'inspiration biologique ; l'idée n'est pas venue initialement de l'ingénierie mais de la psychologie. Alors maintenant, Hinton essaie de réussir un tour similaire.

Les réseaux de neurones sont aujourd'hui constitués de grandes couches plates, mais dans le néocortex humain, les vrais neurones sont disposés non seulement horizontalement en couches, mais verticalement en colonnes. Hinton pense qu'il sait à quoi servent les colonnes - en vision, par exemple, elles sont cruciales pour notre capacité à reconnaître les objets même lorsque notre point de vue change. Il construit donc une version artificielle - il les appelle des capsules - pour tester la théorie. Jusqu'à présent, cela n'a pas fonctionné; les capsules n'ont pas considérablement amélioré les performances de ses filets. Mais c'était la même situation dans laquelle il se trouvait avec le backprop depuis près de 30 ans.

Cette chose doit juste être juste, dit-il à propos de la théorie de la capsule, riant de sa propre audace. Et le fait que cela ne fonctionne pas n'est qu'un désagrément temporaire.

James Somers est un écrivain et programmeur basé à New York. Son article précédent pour Examen de la technologie MIT était Toolkits for the Mind en mai/juin 2015, qui montrait comment les startups Internet sont façonnées par les langages de programmation qu'elles utilisent.

cacher