Les algorithmes de lecture de l'esprit reconstruisent ce que vous voyez à l'aide de données d'analyse cérébrale

Une comparaison des techniques de reconstruction d'images cérébrales. Les images originales sont affichées dans la rangée du haut, tandis que les résultats du nouveau modèle multivue génératif profond sont affichés dans la rangée du bas.

L'un des objectifs les plus intéressants des neurosciences est de reconstruire des images perçues en analysant des scintigraphies cérébrales. L'idée est de déterminer ce que les gens regardent en surveillant l'activité de leur cortex visuel.

La difficulté, bien sûr, est de trouver des moyens de traiter efficacement les données des analyses d'imagerie par résonance magnétique fonctionnelle (IRMf). La tâche consiste à cartographier l'activité des voxels tridimensionnels à l'intérieur du cerveau en pixels bidimensionnels dans une image.

Cela s'avère difficile. Les scans IRMf sont notoirement bruyants, et l'activité dans un voxel est bien connue pour être influencée par l'activité dans d'autres voxels. Ce type de corrélation est coûteux en termes de calcul ; en effet, la plupart des approches l'ignorent tout simplement. Et cela réduit considérablement la qualité des reconstructions d'images qu'ils produisent.

Un objectif important est donc de trouver de meilleurs moyens de traiter les données des IRMf et de produire ainsi des reconstructions d'images cérébrales plus précises.

Aujourd'hui, Changde Du du Centre de recherche sur l'intelligence inspirée par le cerveau à Pékin, en Chine, et quelques amis, disent avoir développé une telle technique. Leur astuce consiste à traiter les données à l'aide de techniques d'apprentissage en profondeur qui gèrent plus efficacement les corrélations non linéaires entre les voxels. Le résultat est une bien meilleure façon de reconstruire la façon dont un cerveau perçoit les images.

Changde et co commencent avec plusieurs ensembles de données d'analyses IRMf du cortex visuel d'un sujet humain regardant une image simple - un seul chiffre ou une seule lettre, par exemple. Chaque ensemble de données se compose des numérisations et de l'image d'origine.

La tâche consiste à trouver un moyen d'utiliser les scans IRMf pour reproduire l'image perçue. Au total, l'équipe a accès à plus de 1 800 scans IRMf et images originales.

Ils traitent cela comme une simple tâche d'apprentissage en profondeur. Ils utilisent 90 % des données pour entraîner le réseau à comprendre la corrélation entre le scanner cérébral et l'image d'origine.

Ils testent ensuite le réseau sur les données restantes en lui fournissant les scans et en lui demandant de reconstruire les images originales.

Le gros avantage de cette approche est que le réseau apprend quels voxels utiliser pour reconstruire l'image. Cela évite d'avoir à traiter les données de tous.

Il apprend également comment les données de ces voxels sont corrélées. C'est important car si les corrélations sont ignorées, elles finissent par être traitées comme du bruit et rejetées. Ainsi, la nouvelle approche, appelée modèle multivue génératif profond, exploite ces corrélations et les distingue du bruit réel.

Pour évaluer le modèle multivue génératif profond, Changde et co comparent ses résultats à ceux d'un certain nombre d'autres techniques de reconstruction d'images cérébrales. Pour ce faire, ils utilisent des méthodes de comparaison d'images standard pour voir dans quelle mesure les images reconstruites correspondent aux originaux.

Les résultats rendent la lecture intéressante. En général, les images reconstruites sont des représentations claires des originaux. Dans de nombreux cas, ils sont nettement plus précis que ce que d'autres techniques peuvent gérer.

Les mesures de comparaison d'images le confirment. Des comparaisons expérimentales approfondies démontrent que notre approche peut reconstruire plus précisément des images visuelles à partir de mesures IRMf, déclarent Changde et co.

C'est un travail intéressant avec des implications importantes. La capacité de reconstruire des images cérébrales est un tremplin important dans le travail visant à créer de meilleures interfaces cerveau-machine. Les prochaines étapes comprendront des moyens d'analyser des scènes plus complexes et des images en mouvement. Changde et co affirment que leur approche pourrait également être appliquée à d'autres problèmes d'encodage cérébral tels que les tâches audio et physiques.

Au-delà, qui sait. À partir de là, ce n'est qu'un court saut imaginatif vers les techniques de scanner cérébral qui révèlent ce que les gens pensent ou rêvent. Imagine seulement!

Réf : arxiv.org/abs/1704.07575 : Partage d'une représentation générative profonde pour la reconstruction d'images perçues à partir de l'activité cérébrale humaine

cacher