Neurone artificiel unique appris à reconnaître des centaines de modèles

L'intelligence artificielle est un domaine en pleine mutation rapide et passionnante. C'est en grande partie grâce à une meilleure compréhension du fonctionnement des réseaux de neurones et à la création de vastes bases de données pour aider à les former. Le résultat est que les machines sont soudainement devenues meilleures dans des domaines comme la reconnaissance des visages et des objets, des tâches dans lesquelles les humains ont toujours eu le dessus (voir Apprendre aux machines à nous comprendre).

Mais il y a un casse-tête au cœur de ces percées. Bien que les réseaux de neurones soient apparemment calqués sur le fonctionnement du cerveau humain, les neurones artificiels qu'ils contiennent ne ressemblent en rien à ceux qui fonctionnent dans notre propre wetware. Les neurones artificiels, par exemple, n'ont généralement qu'une poignée de synapses et sont totalement dépourvus des extensions nerveuses courtes et ramifiées appelées dendrites et des milliers de synapses qui se forment le long de celles-ci. En effet, personne ne sait vraiment pourquoi les vrais neurones ont autant de synapses.

Aujourd'hui, cela change grâce au travail de Jeff Hawkins et Subutai Ahmad de Numenta, une startup de la Silicon Valley axée sur la compréhension et l'exploitation des principes du traitement de l'information biologique. La percée que ces gars ont faite est de proposer une nouvelle théorie qui explique enfin le rôle du grand nombre de synapses dans les vrais neurones et de créer un modèle basé sur cette théorie qui reproduit de nombreux comportements intelligents des vrais neurones.

Les vrais neurones consistent en un corps cellulaire, connu sous le nom de soma, qui contient le noyau cellulaire et à partir duquel s'étendent un certain nombre de dendrites proches ou proximales ainsi que l'axone, une fine projection en forme de câble qui peut s'étendre sur plusieurs centimètres pour se connecter. aux autres neurones. À l'extrémité de l'axone se trouvent un autre ensemble de branches, appelées dendrites distales en raison de leur distance par rapport au soma.

Les dendrites proximales et distales établissent toutes des milliers de connexions, appelées synapses, avec les axones d'autres cellules nerveuses. Ces connexions influencent la vitesse à laquelle la cellule nerveuse produit des signaux électriques connus sous le nom de pointes.

Le consensus est que les neurones apprennent en reconnaissant certains modèles de connexions entre ses synapses et se déclenchent lorsqu'ils voient ce modèle.

Mais s'il est facile de comprendre comment les synapses proximales peuvent influencer le corps cellulaire et le taux de déclenchement, il est difficile de comprendre comment les synapses distales peuvent faire la même chose, car elles sont si éloignées.

Hawkins et Ahmad disent maintenant qu'ils savent ce qui se passe. Leur nouvelle idée est que les synapses distales et proximales jouent des rôles entièrement différents dans le processus d'apprentissage. Les synapses proximales jouent le rôle conventionnel de déclencher l'activation de la cellule lorsque certains modèles de connexions apparaissent.

C'est le processus classique d'apprentissage. Nous montrons qu'un neurone peut reconnaître des centaines de modèles même en présence de grandes quantités de bruit et de variabilité tant que l'activité neuronale globale est clairsemée, disent Hawkins et Ahmad.

Mais les synapses distales font autre chose. Ils reconnaissent également la présence de certains motifs, mais ne déclenchent pas de déclenchement. Au lieu de cela, ils influencent l'état électrique de la cellule d'une manière qui rend le déclenchement plus probable si un autre schéma spécifique se produit. Ainsi, les synapses distales préparent la cellule à l'arrivée d'autres schémas. Ou, comme le disent Hawkins et Ahmad, ces synapses aident la cellule à prédire quel sera le prochain motif détecté par les synapses proximales.

C'est extrêmement important. Cela signifie qu'en plus d'apprendre quand un motif spécifique est présent, la cellule apprend également la séquence dans laquelle les motifs apparaissent. Nous montrons comment un réseau de neurones dotés de cette propriété apprendra et rappellera des séquences de motifs, disent-ils.

De plus, ils montrent que tout cela fonctionne bien, même en présence de grandes quantités de bruit, comme c'est toujours le cas dans les systèmes biologiques.

C'est une nouvelle façon importante de penser aux neurones et qui reproduit certaines des caractéristiques clés du traitement de l'information dans le cerveau humain. Par exemple, Hawkins et Ahmad montrent que ce système ne se souvient pas de chaque détail de chaque motif dans une séquence, mais stocke à la place la différence entre un motif et le suivant.

Ainsi, ce qui est important n'est pas la quantité totale d'informations dans un modèle, mais la différence entre ce modèle et le suivant.

C'est une propriété intéressante qui peut aider à expliquer une autre caractéristique déroutante de la mémoire humaine appelée segmentation. C'est l'observation qu'en moyenne, les humains peuvent stocker environ sept morceaux d'informations dans leur mémoire de travail. Ces morceaux peuvent être des choses comme des chiffres, des lettres ou même des mots, mais quels qu'ils soient, les humains ne peuvent se souvenir que d'environ sept d'entre eux (plus ou moins deux !).

Mais voici le problème : le contenu informatif d'un seul mot, tel que synapse, est nettement supérieur au contenu informatif d'un seul chiffre, tel qu'un 7. Le casse-tête est que personne ne sait comment le cerveau parvient à conserver l'information en sept mots aussi facilement qu'il contient l'information à sept chiffres.

Mais dans le nouveau modèle de Hawkins et Ahmad, ce problème disparaît. Le cerveau ne stocke pas les informations liées au mot ou au chiffre, seulement la différence entre eux, qui peut être nettement moindre. Cela devrait conduire à des hypothèses vérifiables sur la nature de la mémoire.

Le nouveau modèle conduit également à d'autres hypothèses vérifiables. Par exemple, le modèle ne fonctionne que lorsqu'il y a quelques synapses entre l'axone d'un neurone et une dendrite d'un autre. S'il y avait trop de synapses, il ne serait pas possible de distinguer un motif d'un autre et tous les motifs se ressembleraient.

Si le modèle de Hawkins et Ahmad est correct, cela ne peut pas se produire dans de vrais neurones. Pour éviter que cela ne se produise, nous prédisons l'existence d'un mécanisme qui décourage activement la formation de plusieurs synapses après qu'une a été établie, disent-ils.

C'est une chose inhabituelle en biologie - une hypothèse vérifiable. Mais c'est celui qui donne sûrement aux neuroscientifiques quelque chose à rechercher avec leurs loupes.

Un dernier point est que cette nouvelle réflexion ne vient pas d'un milieu universitaire mais d'une startup de la Silicon Valley. Cette entreprise est le fruit du cerveau de Jeff Hawkins, entrepreneur, inventeur et neuroscientifique. Hawkins a inventé le Palm Pilot dans les années 1990 et s'est depuis tourné à plein temps vers les neurosciences.

C'est une combinaison inhabituelle d'expertise, mais qui rend très probable que nous verrons ces nouveaux neurones artificiels à l'œuvre sur des problèmes du monde réel dans un avenir pas trop lointain. Incidemment, Hawkins et Ahmad appellent leurs nouveaux jouets les neurones de la mémoire temporelle hiérarchique ou les neurones HTM. Attendez-vous à en entendre beaucoup plus sur eux.

Réf : arxiv.org/abs/1511.00083 : Pourquoi les neurones ont des milliers de synapses, une théorie de la mémoire des séquences dans le néocortex

cacher