Cet homme peut-il rendre l'IA plus humaine ?

Comme tout père fier, Gary Marcus n'est que trop heureux de parler des dernières réalisations de son fils de deux ans. Plus inhabituel, il pense que la façon dont son tout-petit apprend et raisonne pourrait être la clé pour rendre les machines beaucoup plus intelligentes.

Assis dans la salle de conférence d'un incubateur de startups animé de Manhattan, Marcus, professeur de psychologie de 45 ans à l'Université de New York et fondateur d'une nouvelle société appelée Geometric Intelligence, décrit un exemple de l'ingéniosité de son garçon. De la banquette arrière de la voiture, son fils avait vu un panneau indiquant le numéro 11, et comme il savait que d'autres nombres à deux chiffres avaient des noms comme trente-trois et soixante-dix-sept, il a demandé à son père si le numéro sur le panneau était un et un.

Cette histoire faisait partie de notre numéro de janvier 2016

• Voir la suite du problème
• S'abonner

Il en a déduit qu'il existe une règle sur la façon dont vous assemblez vos chiffres, explique Marcus avec un sourire. Maintenant, il l'avait trop généralisé, et il a fait une erreur, mais c'était une erreur très sophistiquée.

Marcus a une perspective très différente de celle de nombreux informaticiens et mathématiciens actuellement à la pointe de l'intelligence artificielle. Il a passé des décennies à étudier le fonctionnement de l'esprit humain et la façon dont les enfants acquièrent de nouvelles compétences telles que le langage et la musicalité. Cela l'a amené à croire que si les chercheurs veulent créer une intelligence artificielle vraiment sophistiquée - quelque chose qui apprend facilement sur le monde - ils doivent s'inspirer de la façon dont les tout-petits assimilent de nouveaux concepts et généralisent. Et c'est l'une des grandes inspirations de sa nouvelle entreprise, qu'il dirige pendant un an de congé de NYU. Avec son approche radicale de l'apprentissage automatique, Geometric Intelligence vise à créer des algorithmes à utiliser dans une IA capable d'apprendre de manière nouvelle et meilleure.

Le deep learning repose-t-il sur un modèle trop simple ? Marcus pense que les informaticiens manquent une énorme opportunité en ignorant de nombreuses subtilités de l'esprit humain.

De nos jours, presque tous ceux qui essaient de commercialiser l'IA, de Google à Baidu, se concentrent sur des algorithmes qui modélisent approximativement la façon dont les neurones et les synapses du cerveau changent lorsqu'ils sont exposés à de nouvelles informations et expériences. Cette approche, connue sous le nom d'apprentissage en profondeur, a produit des résultats étonnants ces dernières années, d'autant plus que davantage de données et un matériel informatique plus puissant ont permis aux calculs sous-jacents de prendre de l'ampleur. Les méthodes d'apprentissage en profondeur ont égalé, voire dépassé, la précision humaine dans la reconnaissance des visages dans les images ou l'identification des mots prononcés dans les enregistrements audio. Google, Facebook et d'autres grandes entreprises appliquent cette approche à presque toutes les tâches dans lesquelles il est utile de repérer un modèle dans d'énormes quantités de données, comme affiner les résultats de recherche ou apprendre aux ordinateurs à tenir une conversation (voir Enseigner aux machines à Comprenez-nous).

Mais le deep learning repose-t-il sur un modèle du cerveau trop simple ? L'intelligence géométrique - en fait, Marcus lui-même - parie que les informaticiens ratent une énorme opportunité en ignorant de nombreuses subtilités dans le fonctionnement de l'esprit humain. Dans ses écrits, ses apparitions publiques et ses commentaires à la presse, Marcus peut être un critique sévère de l'enthousiasme pour l'apprentissage en profondeur. Mais malgré son approche parfois abrasive, il offre une contre-perspective précieuse. Entre autres choses, il souligne que ces systèmes ont besoin d'être alimentés par plusieurs milliers d'exemples afin d'apprendre quelque chose. Les chercheurs qui essaient de développer des machines capables de converser naturellement avec les gens le font en donnant à leurs systèmes d'innombrables transcriptions de conversations précédentes. Cela pourrait bien produire quelque chose capable d'une conversation simple, mais la science cognitive suggère que ce n'est pas ainsi que l'esprit humain acquiert le langage.

En revanche, la capacité d'un enfant de deux ans à apprendre par extrapolation et généralisation, bien qu'imparfaitement, est beaucoup plus sophistiquée. Il est clair que le cerveau est capable de faire plus que simplement reconnaître des modèles dans de grandes quantités de données : il a un moyen d'acquérir des abstractions plus profondes à partir de relativement peu de données. Donner aux machines même une capacité de base pour apprendre rapidement de telles abstractions serait une réalisation importante. Une voiture autonome n'a peut-être pas besoin de parcourir des millions de kilomètres pour apprendre à faire face aux nouvelles conditions routières. Ou un robot pourrait identifier et aller chercher une bouteille de pilules qui ne lui a été montrée qu'une ou deux fois. En d'autres termes, ces machines penseraient et agiraient un peu plus comme nous.

Avec des cheveux légèrement négligés et quelques jours de chaume, Marcus semble bien adapté à son nouveau rôle d'entrepreneur. Dans l'espace de son entreprise, une poignée de programmeurs travaillent sur des stations de travail informatiques coûteuses exécutant de puissants processeurs graphiques. À un moment donné, lorsque Marcus veut illustrer un point sur le fonctionnement du cerveau, il prend ce qu'il pense être un marqueur de tableau blanc. Il s'avère être une fléchette égarée d'un pistolet Nerf.

Marcus parle rapidement lorsqu'il est excité, et il a un sens de l'humour rapide et un sourire malicieux. Il refuse d'expliquer exactement sur quels produits et applications son entreprise travaille, de peur qu'une grande entreprise comme Google ne tire un avantage en apprenant les informations cruciales qui se cachent derrière. Mais il dit qu'il a développé des algorithmes qui peuvent apprendre à partir de quantités relativement petites de données et peuvent même extrapoler et généraliser, de manière grossière, à partir des informations dont ils sont alimentés. Marcus dit que son équipe a testé ces algorithmes en utilisant des tâches dans lesquelles les approches d'apprentissage en profondeur excellent, et ils se sont avérés nettement meilleurs dans plusieurs cas. Nous savons quelque chose sur ce que devraient être les propriétés du cerveau, explique-t-il. Et nous essayons, dans un certain sens, de faire de la rétro-ingénierie à partir de ces propriétés.

Merveille de garçon

Marcus, qui est né à Baltimore, est devenu fasciné par l'esprit au lycée après avoir lu L'esprit est moi , un recueil d'essais sur la conscience édité par le scientifique cognitif Douglas Hofstadter et le philosophe Daniel Dennett, ainsi que le livre métaphorique de Hofstadter sur les esprits et les machines, Godel, Escher, Bach . À peu près à la même époque, il écrivit un programme informatique conçu pour traduire le latin en anglais. La difficulté de la tâche lui fait réaliser que recréer l'intelligence dans les machines nécessiterait sûrement une bien meilleure compréhension des phénomènes à l'œuvre à l'intérieur de l'esprit humain.

Le programme latin-anglais de Marcus n'était pas particulièrement pratique, mais il a aidé à convaincre le Hampshire College de le laisser se lancer dans un diplôme de premier cycle quelques années plus tôt. Les étudiants de la petite école d'arts libéraux d'Amherst, dans le Massachusetts, sont encouragés à concevoir leurs propres programmes d'études. Marcus s'est consacré à l'étude du puzzle de la cognition humaine.

Le milieu des années 1980 a été une période intéressante pour le domaine de l'IA. Il se séparait entre ceux qui cherchaient à produire des machines intelligentes en copiant la biologie de base du cerveau et ceux qui visaient à imiter les fonctions cognitives supérieures à l'aide d'ordinateurs et de logiciels conventionnels. Les premiers travaux en IA étaient basés sur cette dernière approche, utilisant des langages de programmation conçus pour gérer la logique et la représentation symbolique. Les oiseaux en sont l'exemple classique. Le fait que les oiseaux puissent voler pourrait être encodé comme un élément de connaissance. Ensuite, si on disait à un ordinateur qu'un étourneau est un oiseau, il en déduirait que les étourneaux doivent être capables de voler. Plusieurs grands projets ont été lancés dans le but d'encoder les connaissances humaines dans de vastes bases de données, dans l'espoir qu'une sorte d'intelligence complexe puisse éventuellement émerger.

Mais alors que certains progrès ont été réalisés, l'approche s'est avérée de plus en plus complexe et lourde. Les règles ont souvent des exceptions ; tous les oiseaux ne peuvent pas voler. Et tandis que les pingouins sont entièrement terrestres, un oiseau en cage et un autre avec une aile cassée ne peuvent pas voler pour des raisons très différentes. Il s'est avéré incroyablement compliqué d'encoder toutes les exceptions à ces règles. Les gens semblent apprendre rapidement de telles exceptions, mais les ordinateurs ont hésité. (Bien sûr, les exceptions, y compris onze plutôt que onety-one, peuvent aussi être déroutantes pour les humains.)

Gary Marcus

À peu près au moment où Marcus se préparait à entrer au Hampshire College, un groupe de psychologues a proposé une approche qui menaçait de bouleverser l'intelligence artificielle. Dans les années 1940, Donald Hebb avait présenté une théorie sur la façon dont les nerfs du cerveau pourraient apprendre à reconnaître une entrée. Il a montré comment le déclenchement répété des neurones pouvait renforcer leurs connexions entre eux, augmentant ainsi la probabilité qu'ils se déclenchent tous à nouveau lorsqu'ils reçoivent la même entrée. Certains chercheurs ont construit des ordinateurs avec une conception similaire. Mais les capacités de ces soi-disant réseaux de neurones étaient limitées jusqu'en 1986, lorsqu'un groupe de chercheurs a découvert des moyens d'augmenter leur capacité d'apprentissage. Ces chercheurs ont également montré comment les réseaux de neurones pouvaient être utilisés pour faire diverses choses, de la reconnaissance de modèles dans des données visuelles à l'apprentissage du passé des verbes anglais. Formez ces réseaux sur suffisamment d'exemples, et ils forment les connexions nécessaires pour effectuer de telles tâches.

Appelant leur approche connexionnisme, les chercheurs ont fait valoir que des réseaux de neurones suffisamment grands pourraient recréer l'intelligence. Bien que leurs idées n'aient pas pris le dessus immédiatement, elles ont finalement conduit à l'ère actuelle de l'apprentissage en profondeur.

Au moment où le connexionnisme prenait son envol, Marcus décidait où faire ses études supérieures et il assistait à une conférence du célèbre scientifique cognitif Steven Pinker, alors professeur au MIT. Pinker parlait de la façon dont les enfants apprennent et utilisent les verbes, et il soutenait, contrairement à une perspective connexionniste pure, qu'ils ne semblent pas acquérir le passé des verbes uniquement en mémorisant des exemples et en généralisant à des exemples similaires. Pinker a montré que les enfants détectent rapidement les règles du langage et généralisent ensuite. Lui et d'autres croient, essentiellement, que l'évolution a façonné les réseaux neuronaux trouvés dans le cerveau humain pour fournir les outils nécessaires à une intelligence plus sophistiquée.

Un système d'apprentissage en profondeur peut être formé pour reconnaître des espèces particulières d'oiseaux, mais il nécessiterait des millions d'images d'échantillons et ne saurait rien de la raison pour laquelle un oiseau n'est pas capable de voler.

Marcus a rejoint le laboratoire de Pinker au MIT à 19 ans, et Pinker se souvient de lui comme d'un étudiant précoce. Je lui ai confié un projet analysant une simple hypothèse oui-non sur un petit ensemble de données du discours enregistré de trois enfants, a-t-il déclaré dans un e-mail. Quelques jours plus tard, il avait réalisé une analyse exhaustive du discours de 25 enfants qui testait une demi-douzaine d'hypothèses et devenait la base d'une importante monographie de recherche.

En tant qu'étudiant diplômé, Marcus a rassemblé d'autres preuves pour soutenir les idées de Pinker sur l'apprentissage et a ajouté ses propres idées. Il a été le pionnier de l'analyse informatisée de grandes quantités de données de recherche cognitive, étudiant des milliers d'enregistrements de discours d'enfants pour trouver des cas où ils ont fait des erreurs comme cassé et est parti au lieu de cassé et est parti. Cela semblait confirmer que les enfants saisissent les règles de la grammaire et les appliquent ensuite à de nouveaux mots, tout en apprenant par cœur les exceptions à ces règles.

Sur la base de cette recherche, Marcus a commencé à remettre en question la croyance connexionniste selon laquelle l'intelligence émergerait essentiellement de réseaux de neurones plus larges, et il a commencé à se concentrer sur les limites et les bizarreries de l'apprentissage en profondeur. Un système d'apprentissage en profondeur pourrait être formé pour reconnaître des espèces particulières d'oiseaux dans des images ou des clips vidéo, et pour faire la différence entre ceux qui peuvent voler et ceux qui ne le peuvent pas. Mais il aurait besoin de voir des millions d'images d'échantillons pour ce faire, et il ne saurait rien de la raison pour laquelle un oiseau n'est pas capable de voler.

Le travail de Marcus avec les enfants, en fait, l'a conduit à une conclusion importante. Dans un livre de 2001 intitulé L'esprit algébrique , il a soutenu que l'esprit humain en développement apprend à la fois à partir d'exemples et en générant des règles à partir de ce qu'il a appris. En d'autres termes, le cerveau utilise quelque chose comme un système d'apprentissage en profondeur pour certaines tâches, mais il stocke et manipule également des règles sur le fonctionnement du monde afin de pouvoir tirer des conclusions utiles à partir de quelques expériences seulement.

Cela ne signifie pas exactement que l'intelligence géométrique essaie d'imiter la façon dont les choses se passent dans le cerveau. Dans un monde idéal, nous saurions comment les enfants le font, dit Marcus. Nous saurions quels circuits cérébraux sont impliqués, les calculs qu'ils font. Mais les neurosciences restent un mystère. Il laisse plutôt entendre que l'entreprise utilise un ensemble de techniques, y compris celles compatibles avec l'apprentissage en profondeur, pour tenter de recréer l'apprentissage humain.

Bon sens

Le travail de Geometric Intelligence est certainement important, car le mélange de nouvelles idées issues des sciences cognitives et des neurosciences sera sans aucun doute important pour l'avenir de l'intelligence artificielle. Pourtant, après avoir rencontré Marcus, je me sentais un peu comme un tout-petit essayant de donner un sens à des chiffres inconnus. Comment tout cela va-t-il s'articuler ? J'avais besoin d'un des collaborateurs de Marcus pour me montrer une autre pièce du puzzle de ce que l'entreprise est en train de développer.

Zoubin Ghahramani, professeur d'ingénierie de l'information à l'Université de Cambridge au Royaume-Uni, est cofondateur de Geometric Intelligence. Ghahramani a grandi en Union soviétique et en Iran avant de déménager en Espagne et aux États-Unis, et bien qu'il ait précisément le même âge que Marcus, il est arrivé au MIT un an plus tard. Mais parce que le couple a partagé un anniversaire, ils ont fini par organiser des fêtes et socialiser ensemble.

Ghahramani se concentre sur l'utilisation des probabilités pour rendre les machines plus intelligentes. Les mathématiques derrière cela sont compliquées, mais la raison est simple : la probabilité fournit un moyen de faire face à l'incertitude ou à des informations incomplètes. Les oiseaux incapables de voler peuvent, une fois de plus, aider à illustrer cela. Un système basé sur la probabilité peut attribuer une probabilité élevée au concept selon lequel un oiseau est capable de voler. Puis, lorsqu'il apprendra qu'une autruche est un oiseau, il supposera qu'elle peut très probablement voler. Mais d'autres informations, telles que le fait qu'une autruche adulte pèse généralement plus de 200 livres, pourraient modifier cette hypothèse, réduisant la probabilité qu'une autruche puisse voler à près de zéro. Cette approche flexible peut imprégner les machines de quelque chose qui ressemble à une forme brute de bon sens, une qualité qui est fondamentalement importante pour l'intelligence humaine.

Parlant via Skype depuis son bureau à Cambridge, en Angleterre, Ghahramani suggère une application particulière sur laquelle lui et Marcus ont un œil : former des robots pour gérer des environnements complexes. Dans la recherche en robotique, avoir des expériences coûte cher, dit-il. Si vous voulez qu'un robot apprenne à marcher, ou qu'un véhicule autonome apprenne à conduire, vous ne pouvez pas le présenter avec un ensemble de données d'un million d'exemples de chutes, de bris ou d'accidents. travail.

Étant donné que les algorithmes probabilistes et d'autres technologies en cours d'élaboration chez Geometric Intelligence seraient compatibles avec l'apprentissage en profondeur, il est possible que Google ou Facebook finissent par acquérir l'entreprise et l'ajoutent à son portefeuille global d'IA. Et malgré les critiques de Marcus sur le connexionnisme et la fièvre de l'apprentissage en profondeur, j'ai l'impression qu'il serait assez satisfait d'un tel résultat.

Même si cela se produit, ce sera important si Marcus peut montrer que le système d'apprentissage le plus miraculeux que nous connaissions - l'esprit humain - est la clé de l'avenir de l'intelligence artificielle. Marcus me donne un autre exemple de l'intelligence de son fils. Ma femme lui a demandé : 'Lequel de tes amis les animaux viendra à l'école aujourd'hui ?' dit Marcus. Et il dit: 'Big Bunny, parce que Bear et Platypus mangent.' Ensuite, ma femme retourne dans sa chambre et, bien sûr, ces jouets sont sur une chaise 'en train de manger'.

Marcus s'émerveille que son enfant de deux ans puisse raisonner sur les règles concernant le comportement humain - se rendre compte que vous allez à l'école ou faire autre chose - et construire une phrase complètement nouvelle basée sur sa compréhension croissante du fonctionnement du langage. Après une pause et un sourire, il ajoute : Eh bien, montrez-moi le système d'IA qui peut faire ça.

cacher