Geoffrey Hinton a une intuition sur la suite de l'IA

Kiel Mutschelknaus

En novembre dernier, l'informaticien et psychologue cognitif Geoffrey Hinton avait une intuition. Après un demi-siècle de tentatives, dont certaines ont été couronnées de succès, il était arrivé à une autre idée prometteuse du fonctionnement du cerveau et de la manière de reproduire ses circuits dans un ordinateur.

C'est mon meilleur pari actuel sur la façon dont les choses s'emboîtent, dit Hinton depuis son bureau à domicile à Toronto, où il a été séquestré pendant la pandémie. Si son pari est payant, il pourrait déclencher la prochaine génération de réseaux de neurones artificiels – des systèmes informatiques mathématiques, vaguement inspirés des neurones et des synapses du cerveau, qui sont au cœur de l'intelligence artificielle d'aujourd'hui. Sa motivation honnête, comme il le dit, est la curiosité. Mais la motivation pratique - et, idéalement, la conséquence - est une IA plus fiable et plus digne de confiance.

Chercheur en ingénierie chez Google et cofondateur du Vector Institute for Artificial Intelligence, Hinton a écrit son intuition par à-coups, et fin février annoncé via Twitter qu'il avait posté un Document de 44 pages sur l'arXiv serveur de préimpression. Il a commencé par une clause de non-responsabilité : cet article ne décrit pas un système de travail, a-t-il écrit. Il présente plutôt un système imaginaire. Il l'a nommé, GLOM. Le terme dérive d'agglomérat et de l'expression glom ensemble.

Hinton considère GLOM comme un moyen de modéliser la perception humaine dans une machine - il offre une nouvelle façon de traiter et de représenter les informations visuelles dans un réseau neuronal. Sur le plan technique, les entrailles de celui-ci impliquent un glomming ensemble de vecteurs similaires. Les vecteurs sont fondamentaux pour les réseaux de neurones - un vecteur est un tableau de nombres qui encode des informations. L'exemple le plus simple est le xyz coordonnées d'un point—trois nombres qui indiquent où se trouve le point dans l'espace tridimensionnel. Un vecteur à six dimensions contient trois éléments d'information supplémentaires, peut-être les valeurs rouge-vert-bleu de la couleur du point. Dans un réseau de neurones, les vecteurs dans des centaines ou des milliers de dimensions représentent des images ou des mots entiers. Et traitant de dimensions encore plus élevées, Hinton pense que ce qui se passe dans notre cerveau implique de grands vecteurs d'activité neuronale.

Par analogie, Hinton compare son glommage de vecteurs similaires à la dynamique d'une chambre d'écho - l'amplification de croyances similaires. Une chambre d'écho est un désastre complet pour la politique et la société, mais pour les réseaux de neurones, c'est une bonne chose, dit Hinton. Il appelle la notion de chambres d'écho mappées sur des réseaux neuronaux des îlots de vecteurs identiques, ou plus familièrement, des îlots d'accord - lorsque les vecteurs s'accordent sur la nature de leurs informations, ils pointent dans la même direction.

Si les réseaux de neurones ressemblaient davantage à des personnes, au moins ils peuvent se tromper de la même manière que les gens, et nous aurons donc un aperçu de ce qui pourrait les confondre.

Geoffrey Hinton

Dans l'esprit, GLOM atteint également l'objectif insaisissable de modéliser l'intuition - Hinton pense que l'intuition est cruciale pour la perception. Il définit l'intuition comme notre capacité à faire des analogies sans effort. De l'enfance au cours de nos vies, nous donnons un sens au monde en utilisant le raisonnement analogique, en cartographiant les similitudes d'un objet, d'une idée ou d'un concept à un autre ou, comme le dit Hinton, d'un grand vecteur à un autre. Les similitudes des grands vecteurs expliquent comment les réseaux de neurones font un raisonnement analogique intuitif, dit-il. Plus largement, l'intuition capture cette manière ineffable dont un cerveau humain génère un aperçu. Hinton lui-même travaille de manière très intuitive - scientifiquement, il est guidé par l'intuition et l'outil de création d'analogies. Et sa théorie sur le fonctionnement du cerveau est une question d'intuition. Je suis très cohérent, dit-il.

Hinton espère que GLOM pourrait être l'une des nombreuses percées qui, selon lui, sont nécessaires avant que l'IA ne soit capable de résoudre des problèmes vraiment agiles - le genre de pensée humaine qui permettrait à un système de donner un sens à des choses jamais rencontrées auparavant ; tirer des similitudes des expériences passées, jouer avec les idées, généraliser, extrapoler, comprendre. Si les réseaux de neurones ressemblaient davantage à des personnes, dit-il, au moins ils peuvent se tromper de la même manière que les gens, et nous aurons ainsi un aperçu de ce qui pourrait les confondre.

Pour le moment, cependant, GLOM lui-même n'est qu'une intuition - c'est du vaporware, dit Hinton. Et il reconnaît qu'en tant qu'acronyme, cela correspond bien au dernier modèle original de Geoff. C'est, à tout le moins, son dernier.

Hors du cadre

La dévotion de Hinton aux réseaux de neurones artificiels (une invention du milieu du XXe siècle) remonte au début des années 1970. En 1986, il avait fait des progrès considérables : alors qu'au départ, les réseaux ne comprenaient que quelques couches de neurones, entrée et sortie, Hinton et ses collaborateurs ont proposé une technique pour un réseau multicouche plus profond. Mais il a fallu 26 ans avant que la puissance de calcul et la capacité de données rattrapent et capitalisent sur l'architecture profonde.

En 2012, Hinton a acquis renommée et richesse grâce à une percée en matière d'apprentissage en profondeur. Avec deux étudiants, il a mis en place un réseau neuronal multicouche qui a été formé pour reconnaître des objets dans des ensembles de données d'image massifs. Le réseau neuronal a appris à s'améliorer de manière itérative dans la classification et l'identification de divers objets, par exemple un acarien, un champignon, un scooter, un chat de Madagascar. Et il a fonctionné avec une précision étonnamment spectaculaire.

Histoire connexe

L'IA chevauche-t-elle un poney à un tour ? Presque toutes les avancées de l'IA dont vous avez entendu parler dépendent d'une percée vieille de trois décennies. Pour maintenir le rythme des progrès, il faudra se confronter aux sérieuses limites de l'IA.

L'apprentissage en profondeur a déclenché la dernière révolution de l'IA, transformant la vision par ordinateur et le domaine dans son ensemble. Hinton croit l'apprentissage en profondeur devrait être presque tout ce dont vous avez besoin pour reproduire pleinement l'intelligence humaine.

Mais malgré des progrès rapides, des défis majeurs subsistent. Exposez un réseau de neurones à un ensemble de données inconnu ou à un environnement étranger, et il se révèle fragile et inflexible. Les voitures autonomes et les générateurs de langage pour la rédaction d'essais impressionnent, mais les choses peuvent mal tourner. Les systèmes visuels d'IA peuvent être facilement confondus : une tasse de café reconnue de côté serait une inconnue d'en haut si le système n'avait pas été entraîné sur cette vue ; et avec la manipulation de quelques pixels, un panda peut être confondu avec une autruche, ou même un autobus scolaire.

GLOM aborde deux des problèmes les plus difficiles pour les systèmes de perception visuelle : comprendre une scène entière en termes d'objets et de leurs parties naturelles ; et reconnaître les objets lorsqu'ils sont vus d'un nouveau point de vue. (GLOM se concentre sur la vision, mais Hinton s'attend à ce que l'idée puisse également être appliquée au langage.)

Un objet tel que le visage de Hinton, par exemple, est composé de ses yeux vifs quoique fatigués (trop de gens qui posent des questions, trop peu de sommeil), de sa bouche et de ses oreilles, et d'un nez proéminent, le tout surmonté d'un pas-trop -ébouriffé désordonné principalement gris. Et vu son nez, il est facilement reconnaissable même au premier regard en vue de profil.

Ces deux facteurs - la relation partie-tout et le point de vue - sont, du point de vue de Hinton, cruciaux pour la façon dont les humains voient. Si GLOM fonctionne un jour, dit-il, il va faire la perception d'une manière beaucoup plus humaine que les réseaux de neurones actuels.

Cependant, le regroupement de parties en touts peut être un problème difficile pour les ordinateurs, car les parties sont parfois ambiguës. Un cercle peut être un œil, un beignet ou une roue. Comme l'explique Hinton, la première génération de systèmes de vision IA a tenté de reconnaître des objets en s'appuyant principalement sur la géométrie de la relation partie-tout - l'orientation spatiale entre les parties et entre les parties et le tout. La deuxième génération s'est plutôt appuyée principalement sur l'apprentissage en profondeur, laissant le réseau neuronal s'entraîner sur de grandes quantités de données. Avec GLOM, Hinton combine les meilleurs aspects des deux approches.

Il y a une certaine humilité intellectuelle que j'aime à ce sujet, déclare Gary Marcus, fondateur et PDG de Robust.AI et critique bien connu de la forte dépendance à l'apprentissage en profondeur. Marcus admire la volonté de Hinton de défier quelque chose qui l'a rendu célèbre, d'admettre que cela ne fonctionne pas tout à fait. C'est courageux, dit-il. Et c'est un excellent correctif de dire: 'J'essaie de sortir des sentiers battus'.

L'architecture GLOM

Dans fabrication de GLOM , Hinton a essayé de modéliser certains des raccourcis mentaux - stratégies intuitives ou heuristiques - que les gens utilisent pour donner un sens au monde. GLOM, et en fait une grande partie du travail de Geoff, consiste à examiner les heuristiques que les gens semblent avoir, à construire des réseaux de neurones qui pourraient eux-mêmes avoir ces heuristiques, puis à montrer que les réseaux améliorent la vision en conséquence, explique Nick Frosst, un ordinateur scientifique dans une start-up linguistique à Toronto qui a travaillé avec Hinton chez Google Brain.

Avec la perception visuelle, une stratégie consiste à analyser des parties d'un objet, telles que différents traits du visage, et ainsi à comprendre l'ensemble. Si vous voyez un certain nez, vous pourriez le reconnaître comme faisant partie du visage de Hinton ; c'est une hiérarchie partie-tout. Pour construire un meilleur système de vision, dit Hinton, j'ai une forte intuition que nous devons utiliser des hiérarchies partie-tout. Le cerveau humain comprend cette composition partie-tout en créant ce qu'on appelle un arbre d'analyse, un diagramme de branchement démontrant la relation hiérarchique entre le tout, ses parties et ses sous-parties. Le visage lui-même est au sommet de l'arbre et les composants yeux, nez, oreilles et bouche forment les branches en dessous.

L'un des principaux objectifs de Hinton avec GLOM est de reproduire l'arbre d'analyse dans un réseau de neurones, ce qui le distinguerait des réseaux de neurones qui l'ont précédé. Pour des raisons techniques, c'est difficile à faire. C'est difficile parce que chaque image individuelle serait analysée par une personne dans un arbre d'analyse unique, nous voudrions donc qu'un réseau neuronal fasse de même, explique Frosst. Il est difficile d'obtenir quelque chose avec une architecture statique - un réseau de neurones - pour adopter une nouvelle structure - un arbre d'analyse - pour chaque nouvelle image qu'il voit. Hinton a fait diverses tentatives. GLOM est une révision majeure de sa précédente tentative en 2017, combinée à d'autres avancées connexes dans le domaine.

Je fais partie d'un nez !

vecteur GLOM

MS TECH | EVIATAR BACH VIA WIKIMEDIA

Une façon généralisée de penser à l'architecture GLOM est la suivante : l'image d'intérêt (par exemple, une photographie du visage de Hinton) est divisée en une grille. Chaque région de la grille est un emplacement sur l'image - un emplacement peut contenir l'iris d'un œil, tandis qu'un autre peut contenir le bout de son nez. Pour chaque emplacement du réseau, il y a environ cinq couches ou niveaux. Et niveau par niveau, le système fait une prédiction, avec un vecteur représentant le contenu ou l'information. À un niveau proche du bas, le vecteur représentant l'emplacement du bout du nez pourrait prédire : je fais partie d'un nez ! Et au niveau supérieur, en construisant une représentation plus cohérente de ce qu'il voit, le vecteur pourrait prédire : je fais partie d'un visage en vue latérale !

Mais alors la question est, les vecteurs voisins au même niveau sont-ils d'accord ? Lorsqu'ils sont d'accord, les vecteurs pointent dans la même direction, vers la même conclusion : Oui, nous appartenons tous les deux au même nez. Ou plus haut dans l'arbre d'analyse. Oui, nous appartenons tous les deux au même visage.

Recherche d'un consensus sur la nature d'un objet - sur ce qu'est précisément l'objet, en fin de compte - les vecteurs de GLOM de manière itérative, emplacement par emplacement et couche par couche, moyenne avec les vecteurs voisins à côté, ainsi que les vecteurs prédits des niveaux supérieurs et inférieurs .

Cependant, le net ne fait pas la moyenne bon gré mal gré avec n'importe quoi à proximité, dit Hinton. Il fait la moyenne de manière sélective, avec des prédictions voisines qui affichent des similitudes. C'est assez connu en Amérique, c'est ce qu'on appelle une chambre d'écho, dit-il. Ce que vous faites, c'est que vous n'acceptez que les opinions des personnes qui sont déjà d'accord avec vous ; et puis ce qui se passe, c'est que vous obtenez une chambre d'écho où tout un tas de gens ont exactement la même opinion. GLOM utilise en fait cela de manière constructive. Le phénomène analogue dans le système de Hinton est ces îlots d'accord.

Geoff est un penseur très inhabituel...'

Sue Becker

Imaginez un groupe de personnes dans une pièce, criant de légères variations de la même idée, dit Frosst, ou imaginez ces personnes comme des vecteurs pointant dans de légères variations de la même direction. Au bout d'un moment, ils convergeraient vers une seule idée, et ils la sentiraient tous plus forts, parce qu'ils l'avaient confirmée par les autres personnes autour d'eux. C'est ainsi que les vecteurs de GLOM renforcent et amplifient leurs prédictions collectives sur une image.

GLOM utilise ces îlots de vecteurs concordants pour accomplir l'astuce consistant à représenter un arbre d'analyse dans un réseau de neurones. Alors que certains réseaux de neurones récents utilisent l'accord entre les vecteurs pour Activation , GLOM utilise l'accord pour représentation — construire des représentations des choses au sein du réseau. Par exemple, lorsque plusieurs vecteurs conviennent qu'ils représentent tous une partie du nez, leur petit groupe d'accord représente collectivement le nez dans l'arbre d'analyse du réseau pour le visage. Un autre petit groupe de vecteurs concordants pourrait représenter la bouche dans l'arbre d'analyse ; et le grand groupe au sommet de l'arbre représenterait la conclusion émergente que l'image dans son ensemble est le visage de Hinton. La façon dont l'arbre d'analyse est représenté ici, explique Hinton, est qu'au niveau de l'objet, vous avez une grande île ; les parties de l'objet sont des îles plus petites ; les sous-parties sont des îles encore plus petites, et ainsi de suite.

Figure 2 de l'article GLOM de Hinton. Les îlots de vecteurs identiques (flèches de même couleur) aux différents niveaux représentent un arbre d'analyse.

GEOFFREY HINTON

Selon l'ami et collaborateur de longue date de Hinton, Yoshua Bengio, informaticien à l'Université de Montréal, si GLOM parvient à résoudre le défi d'ingénierie de représenter un arbre d'analyse dans un réseau de neurones, ce serait un exploit - ce serait important pour faire fonctionner correctement les réseaux de neurones. Geoff a produit des intuitions incroyablement puissantes à plusieurs reprises au cours de sa carrière, dont beaucoup se sont avérées justes, dit Bengio. Par conséquent, je leur prête attention, surtout quand il est aussi attaché à eux qu'à GLOM.

La force de la conviction de Hinton est enracinée non seulement dans l'analogie de la chambre d'écho, mais aussi dans les analogies mathématiques et biologiques qui ont inspiré et justifié certaines des décisions de conception dans la nouvelle ingénierie de GLOM.

Geoff est un penseur très inhabituel dans la mesure où il est capable de s'appuyer sur des concepts mathématiques complexes et de les intégrer à des contraintes biologiques pour développer des théories, explique Sue Becker, une ancienne étudiante de Hinton, maintenant neuroscientifique cognitive computationnelle à l'Université McMaster. Les chercheurs qui se concentrent plus étroitement sur la théorie mathématique ou la neurobiologie sont beaucoup moins susceptibles de résoudre l'énigme infiniment convaincante de la façon dont les machines et les humains pourraient apprendre et penser.

Transformer la philosophie en ingénierie

Jusqu'à présent, la nouvelle idée de Hinton a été bien accueillie, en particulier dans certaines des plus grandes chambres d'écho du monde. Sur Twitter, j'ai eu beaucoup de likes, dit-il. Et un Youtube tutoriel a revendiqué le terme MeGLOMania.

Hinton est le premier à admettre qu'à l'heure actuelle, GLOM n'est guère plus qu'une réflexion philosophique (il a passé un an en licence de philosophie avant de passer à la psychologie expérimentale). Si une idée sonne bien en philosophie, elle est bonne, dit-il. Comment pourriez-vous avoir une idée philosophique qui ressemble à de la foutaise, mais qui s'avère en réalité vraie ? Cela ne passerait pas pour une idée philosophique. La science, en comparaison, regorge de choses qui ressemblent à de la foutaise, mais qui fonctionnent remarquablement bien, par exemple les réseaux de neurones, dit-il.

GLOM est conçu pour sembler philosophiquement plausible. Mais est-ce que ça marchera ?

Chris Williams, professeur d'apprentissage automatique à l'École d'informatique de l'Université d'Édimbourg, s'attend à ce que GLOM puisse bien engendrer de grandes innovations. Cependant, dit-il, ce qui distingue l'IA de la philosophie, c'est que nous pouvons utiliser des ordinateurs pour tester de telles théories. Il est possible qu'une faille dans l'idée soit révélée - peut-être aussi réparée - par de telles expériences, dit-il. Pour le moment, je ne pense pas que nous ayons suffisamment de preuves pour évaluer la véritable signification de l'idée, même si je pense qu'elle est très prometteuse.

Les entrées du modèle de test GLOM sont dix ellipses qui forment un mouton ou un visage.

LAURA CULP

Certains des collègues de Hinton chez Google Research à Toronto en sont aux tout premiers stades de l'étude expérimentale de GLOM. Laura Culp, une ingénieure en logiciel qui implémente de nouvelles architectures de réseaux neuronaux, utilise une simulation informatique pour tester si GLOM peut produire les îlots d'accord de Hinton dans la compréhension des parties et des touts d'un objet, même lorsque les parties d'entrée sont ambiguës. Dans les expériences, les pièces sont 10 ellipses, des ovales de différentes tailles, qui peuvent être disposées pour former soit un visage, soit un mouton.

Avec des entrées aléatoires d'une ellipse ou d'une autre, le modèle devrait être capable de faire des prédictions, dit Culp, et de gérer l'incertitude de savoir si l'ellipse fait ou non partie d'un visage ou d'un mouton, et si c'est la patte d'un mouton. , ou la tête d'un mouton. Confronté à d'éventuelles perturbations, le modèle doit également pouvoir se corriger. Une prochaine étape consiste à établir une ligne de base, indiquant si un réseau de neurones d'apprentissage en profondeur standard serait embrouillé par une telle tâche. Pour l'instant, GLOM est hautement supervisé - Culp crée et étiquette les données, incitant et pressant le modèle à trouver des prédictions correctes et à réussir dans le temps. (La version non supervisée s'appelle GLUM - C'est une blague, dit Hinton.)

À cet état préliminaire, il est trop tôt pour tirer de grandes conclusions. Culp attend plus de chiffres. Hinton est néanmoins déjà impressionné. Une version simple de GLOM peut regarder 10 ellipses et voir un visage et un mouton en fonction des relations spatiales entre les ellipses, dit-il. C'est délicat, car une ellipse individuelle ne transmet rien sur le type d'objet auquel elle appartient ou sur la partie de cet objet dont elle fait partie.

Et dans l'ensemble, Hinton est satisfait des commentaires. Je voulais juste le mettre à la disposition de la communauté, afin que tous ceux qui aiment puissent l'essayer, dit-il. Ou essayez une sous-combinaison de ces idées. Et cela transformera la philosophie en science.

cacher