L'apprentissage en profondeur pourrait révéler pourquoi le monde fonctionne comme il le fait

Une image de dominos renversés Getty

Cette semaine, la communauté des chercheurs en IA s'est réunie à la Nouvelle-Orléans pour le Conférence internationale sur les représentations de l'apprentissage (ICLR, prononcé eye-clear), l'une de ses principales conférences annuelles. Il y a plus de 3 000 participants et 1 500 soumissions d'articles, ce qui en fait l'un des forums les plus importants pour échanger de nouvelles idées dans le domaine.

Cette année, les conférences et les articles acceptés sont fortement axés sur la résolution de quatre défis majeurs de l'apprentissage en profondeur : l'équité, la sécurité, la généralisabilité et la causalité. Si vous avez suivi la couverture de MIT Technology Review, vous reconnaîtrez les trois premiers. Nous avons parlé de la façon dont les algorithmes d'apprentissage automatique dans leur état actuel sont biaisés, sensibles aux attaques contradictoires et incroyablement limités dans leur capacité à généraliser les modèles qu'ils trouvent dans un ensemble de données de formation pour plusieurs applications. Aujourd'hui, la communauté des chercheurs essaie de rendre la technologie suffisamment sophistiquée pour atténuer ces faiblesses.

Ce dont nous n'avons pas beaucoup parlé, c'est du dernier défi : la causalité. C'est quelque chose que les chercheurs ont perplexe depuis un certain temps. L'apprentissage automatique est excellent pour trouver corrélations dans les données, mais peut-il jamais comprendre lien de causalité ? Une telle réalisation serait une étape importante : si les algorithmes pouvaient nous aider à faire la lumière sur les causes et les effets de différents phénomènes dans des systèmes complexes, ils approfondiraient notre compréhension du monde et débloqueraient des outils plus puissants pour l'influencer.

Lundi, dans une salle comble, le célèbre chercheur Léon Bottou, maintenant à l'unité de recherche sur l'IA de Facebook et à l'Université de New York, a présenté un nouveau cadre sur lequel il travaille avec des collaborateurs pour savoir comment nous pourrions y arriver. Voici mon résumé de son discours. Vous pouvez également le regarder en entier ci-dessous, à partir de 12h00 environ.

Idée #1

Exemples d'images de l'ensemble de données MNIST. Wikipédia

Commençons par la première grande idée de Bottou et de son équipe : une nouvelle façon de penser la causalité. Supposons que vous souhaitiez créer un système de vision par ordinateur qui reconnaît les nombres manuscrits. (C'est un problème d'introduction classique qui utilise l'ensemble de données MNIST largement disponible illustré ci-dessus.) Vous formeriez un réseau de neurones sur des tonnes d'images de nombres manuscrits, chacun étiqueté avec le nombre qu'ils représentent, et vous vous retrouveriez avec un système assez décent pour en reconnaître de nouveaux qu'il n'avait jamais Déjà vu.

Mais disons que votre ensemble de données d'entraînement est légèrement modifié et que chacun des chiffres manuscrits est également associé à une couleur, rouge ou verte. Suspendez votre incrédulité un instant et imaginez que vous ne savez pas si la couleur ou la forme des marques est un meilleur prédicteur pour le chiffre. La pratique standard aujourd'hui consiste simplement à étiqueter chaque élément de données d'entraînement avec les deux caractéristiques et à les introduire dans le réseau neuronal pour qu'il décide.

Échantillons d'un jeu de données MNIST coloré. Léon Bottou

C'est là que les choses deviennent intéressantes. L'ensemble de données MNIST coloré est volontairement trompeur. De retour dans le monde réel, nous savons que la couleur des marques est complètement hors de propos, mais dans cet ensemble de données particulier, la couleur est en fait un prédicteur plus fort pour le chiffre que sa forme. Ainsi, notre réseau de neurones apprend à utiliser la couleur comme prédicteur principal. C'est bien quand nous utilisons ensuite le réseau pour reconnaître d'autres nombres manuscrits qui suivent les mêmes modèles de coloration. Mais les performances échouent complètement lorsque nous inversons les couleurs des chiffres. (Lorsque Bottou et ses collaborateurs ont joué cette expérience de pensée avec de vraies données d'entraînement et un vrai réseau de neurones, ils ont atteint une précision de reconnaissance de 84,3 % dans le premier scénario et une précision de 10 % dans le second.)

En d'autres termes, le réseau de neurones a trouvé ce que Bottou appelle une fausse corrélation, ce qui le rend complètement inutile en dehors du contexte étroit dans lequel il a été formé. En théorie, si vous pouviez vous débarrasser de toutes les fausses corrélations dans un modèle d'apprentissage automatique, il ne vous resterait que celles qui sont invariantes, celles qui sont vraies quel que soit le contexte.

L'invariance permettrait à son tour de comprendre la causalité, explique Bottou. Si vous connaissez les propriétés invariantes d'un système et connaissez l'intervention effectuée sur un système, vous devriez pouvoir déduire la conséquence de cette intervention. Par exemple, si vous savez que la forme d'un chiffre manuscrit dicte toujours sa signification, vous pouvez en déduire que changer sa forme (cause) changerait sa signification (effet). Autre exemple : si vous savez que tous les objets sont soumis à la loi de la gravité, alors vous pouvez en déduire que lorsque vous lâchez une balle (cause), elle tombera au sol (effet).

Évidemment, ce sont de simples exemples de cause à effet basés sur des propriétés invariantes que nous connaissons déjà, mais réfléchissez à la façon dont nous pourrions appliquer cette idée à des systèmes beaucoup plus complexes que nous ne comprenons pas encore. Et si nous pouvions trouver les propriétés invariantes de nos systèmes économiques, par exemple, afin de comprendre les effets de la mise en place du revenu de base universel ? Ou les propriétés invariantes du système climatique de la Terre, afin que nous puissions évaluer l'impact de divers stratagèmes de géo-ingénierie ?

Idée #2

Alors, comment se débarrasser de ces fausses corrélations ? C'est la deuxième grande idée de l'équipe de Bottou. Dans la pratique actuelle de l'apprentissage automatique, l'intuition par défaut est d'amasser autant de données diverses et représentatives que possible dans un seul ensemble d'apprentissage. Mais Bottou dit que cette approche rend un mauvais service. Différentes données provenant de contextes différents, qu'elles soient collectées à des moments différents, à des endroits différents ou dans des conditions expérimentales différentes, doivent être conservées sous forme d'ensembles séparés plutôt que mélangés et combinés. Lorsqu'ils sont consolidés, comme ils le sont actuellement, des informations contextuelles importantes sont perdues, ce qui entraîne une probabilité beaucoup plus élevée de corrélations fallacieuses.

Avec plusieurs ensembles de données spécifiques au contexte, la formation d'un réseau de neurones est très différente. Le réseau ne peut plus trouver les corrélations qui ne sont vraies que dans un seul ensemble de données d'entraînement diversifié ; il doit trouver les corrélations qui sont invariantes dans tous les divers ensembles de données. Et si ces ensembles sont sélectionnés intelligemment à partir d'un éventail complet de contextes, les corrélations finales devraient également correspondre étroitement aux propriétés invariantes de la vérité terrain.

Revenons donc une fois de plus à notre exemple simple de MNIST coloré. S'appuyant sur leur théorie pour trouver des propriétés invariantes, Bottou et ses collaborateurs ont relancé leur expérience originale. Cette fois, ils ont utilisé deux ensembles de données MNIST colorés, chacun avec des motifs de couleurs différents. Ils ont ensuite formé leur réseau de neurones pour trouver les corrélations qui étaient vraies dans les deux groupes. Lorsqu'ils ont testé ce modèle amélioré sur de nouveaux numéros avec des motifs de couleur identiques et inversés, il a atteint une précision de reconnaissance de 70 % pour les deux. Les résultats ont prouvé que le réseau de neurones avait appris à ignorer la couleur et à se concentrer uniquement sur les formes des marques.

Bottou dit que le travail de son équipe sur ces idées n'est pas terminé et qu'il faudra un certain temps à la communauté des chercheurs pour tester les techniques sur des problèmes plus compliqués que les nombres colorés. Mais le cadre fait allusion au potentiel de l'apprentissage en profondeur pour nous aider à comprendre pourquoi les choses se produisent, et ainsi nous donner plus de contrôle sur notre destin.

cacher