Un algorithme qui apprend grâce aux récompenses peut montrer comment notre cerveau fait aussi

Voies neuronales Wikimédia Commons

En 1951, Marvin Minsky, alors étudiant à Harvard, emprunte des observations au comportement animal pour tenter de concevoir une machine intelligente. S'appuyant sur les idées du travail du physiologiste Ivan Pavlov, qui a utilisé des chiens pour montrer comment les animaux apprennent grâce aux punitions et aux récompenses, Minsky créé un ordinateur qui pourraient apprendre en permanence grâce à un renforcement similaire pour résoudre un labyrinthe virtuel.

À l'époque, les neuroscientifiques n'avaient pas encore compris les mécanismes du cerveau qui permettent aux animaux d'apprendre de cette manière. Mais Minsky était toujours capable d'imiter vaguement le comportement, faisant ainsi progresser l'intelligence artificielle. Plusieurs décennies plus tard, alors que l'apprentissage par renforcement continuait à mûrir, il a à son tour aidé le domaine des neurosciences découvrir ces mécanismes, alimentant un cercle vertueux d'avancement entre les deux domaines.

Dans un article publié dans Nature aujourd'hui, DeepMind, la filiale IA d'Alphabet, a une fois de plus utilisé les leçons de l'apprentissage par renforcement pour proposer une nouvelle théorie sur les mécanismes de récompense dans notre cerveau. L'hypothèse, étayée par les premiers résultats expérimentaux, pourrait non seulement améliorer notre compréhension de la santé mentale et de la motivation. Cela pourrait également valider l'orientation actuelle de la recherche sur l'IA vers la construction d'une intelligence générale plus humaine.

À un niveau élevé, l'apprentissage par renforcement suit la perspicacité dérivée des chiens de Pavlov : il est possible d'apprendre à un agent à maîtriser des tâches complexes et nouvelles grâce uniquement à des commentaires positifs et négatifs. Un algorithme commence à apprendre une tâche assignée en prédisant au hasard quelle action pourrait lui valoir une récompense. Il prend ensuite l'action, observe la récompense réelle et ajuste sa prédiction en fonction de la marge d'erreur. Après des millions, voire des milliards d'essais, les erreurs de prédiction de l'algorithme convergent vers zéro, moment auquel il sait précisément quelles actions entreprendre pour maximiser sa récompense et ainsi accomplir sa tâche.

Il s'avère que le système de récompense du cerveau fonctionne à peu près de la même manière - une découverte faite dans les années 1990, inspirée par des algorithmes d'apprentissage par renforcement. Lorsqu'un humain ou un animal est sur le point d'effectuer une action, ses neurones dopaminergiques prédisent la récompense attendue. Une fois la récompense réelle reçue, ils déclenchent alors une quantité de dopamine qui correspond à l'erreur de prédiction. Une meilleure récompense que prévu déclenche une forte libération de dopamine, tandis qu'une récompense pire que prévu supprime la production du produit chimique. La dopamine, en d'autres termes, sert de signal de correction, indiquant aux neurones d'ajuster leurs prédictions jusqu'à ce qu'elles convergent vers la réalité. Le phénomène, connu sous le nom d'erreur de prédiction de récompense, fonctionne un peu comme un algorithme d'apprentissage par renforcement.

Le nouvel article de DeepMind s'appuie sur le lien étroit entre ces mécanismes d'apprentissage naturels et artificiels. En 2017, ses chercheurs ont introduit un algorithme amélioré d'apprentissage par renforcement qui a depuis débloqué des performances de plus en plus impressionnantes sur diverses tâches. Ils croient maintenant que cette nouvelle méthode pourrait offrir une explication encore plus précise du fonctionnement des neurones dopaminergiques dans le cerveau.

Plus précisément, l'algorithme amélioré modifie la façon dont il prédit les récompenses. Alors que l'ancienne approche estimait les récompenses sous la forme d'un nombre unique, censé être égal au résultat moyen attendu, la nouvelle approche les représente plus précisément sous forme de distribution. (Pensez un instant à une machine à sous : vous pouvez gagner ou perdre après une distribution. Mais en aucun cas vous ne recevrez le résultat moyen attendu.)

La modification se prête à une nouvelle hypothèse : les neurones dopaminergiques prédisent-ils également les récompenses de la même manière distributionnelle ?

Pour tester cette théorie, DeepMind s'est associé à un groupe de Harvard pour observer le comportement des neurones dopaminergiques chez la souris. Ils ont confié aux souris une tâche et les ont récompensées en fonction du lancer de dés, en mesurant les schémas de déclenchement de leurs neurones dopaminergiques tout au long. Ils ont découvert que chaque neurone libérait des quantités différentes de dopamine, ce qui signifie qu'ils avaient tous prédit des résultats différents. Alors que certains étaient trop optimistes, prédisant des récompenses plus élevées que celles réellement reçues, d'autres étaient plus pessimistes, sous-estimant la réalité. Lorsque les chercheurs ont cartographié la distribution de ces prédictions, ils ont suivi de près la distribution des récompenses réelles. Ces données offrent des preuves convaincantes que le cerveau utilise effectivement des prédictions de récompense distributionnelle pour renforcer son algorithme d'apprentissage.

En mesurant le comportement des neurones dopaminergiques chez la souris, les chercheurs ont découvert que la distribution des prédictions des neurones (décodées) suivait de près la distribution des récompenses réelles (vérité terrain). DeepMind

Il s'agit d'une belle extension de la notion de codage dopaminergique de l'erreur de prédiction de récompense, a écrit Wolfram Schultz, un pionnier du comportement des neurones dopaminergiques qui n'a pas participé à l'étude, dans un e-mail. Il est étonnant de voir à quel point cette réponse dopaminergique très simple suit de manière prévisible les schémas intuitifs des processus d'apprentissage biologique de base qui deviennent désormais une composante de l'IA.

L'étude a des implications à la fois pour l'IA et les neurosciences. Premièrement, il valide l'apprentissage par renforcement distributionnel comme une voie prometteuse vers des capacités d'IA plus avancées. Si le cerveau l'utilise, c'est probablement une bonne idée, a déclaré Matt Botvinick, directeur de la recherche en neurosciences de DeepMind et l'un des principaux auteurs de l'article, lors d'un point de presse. Il nous dit qu'il s'agit d'une technique de calcul qui peut évoluer dans des situations réelles. Cela va bien s'adapter à d'autres processus de calcul.

Deuxièmement, cela pourrait offrir une mise à jour importante de l'une des théories canoniques des neurosciences sur les systèmes de récompense dans le cerveau, ce qui pourrait à son tour améliorer notre compréhension de tout, de la motivation à la santé mentale. Qu'est-ce que cela pourrait signifier, par exemple, d'avoir des neurones dopaminergiques pessimistes et optimistes ? Si le cerveau n'écoutait sélectivement que l'un ou l'autre, cela pourrait-il conduire à des déséquilibres chimiques et induire une dépression ?

Fondamentalement, en décodant davantage les processus dans le cerveau, les résultats mettent également en lumière ce qui crée l'intelligence humaine. Cela nous donne une nouvelle perspective sur ce qui se passe dans notre cerveau au cours de la vie quotidienne, a déclaré Botvinick.

cacher