Un débat entre experts en IA montre une bataille sur l'avenir de la technologie

Gary Marcus et Danny Lange Marcus : R. Farrell/UIT ; Lange : Cody Glenn/Sommet Web

Depuis les années 1950, l'intelligence artificielle a à maintes reprises fait des promesses excessives et des livraisons insuffisantes. Alors que ces dernières années ont vu des bonds incroyables grâce au deep learning, l’IA d’aujourd’hui est encore étriquée : elle est fragile face aux attaques, ne peut généraliser pour s’adapter à des environnements changeants, et est criblée de biais. Tous ces défis rendent la technologie difficile à faire confiance et limitent son potentiel au profit de la société.

Le 26 mars, lors de l'événement annuel EmTech Digital du MIT Technology Review, deux personnalités éminentes de l'IA sont montées sur la scène virtuelle pour débattre de la manière dont le domaine pourrait surmonter ces problèmes.

Gary Marcus, professeur émérite à NYU et fondateur et PDG de Robust.AI, est un critique bien connu de l'apprentissage en profondeur. Dans son livre Redémarrage de l'IA , publié l'année dernière, il a fait valoir que les lacunes de l'IA sont inhérentes à la technique. Les chercheurs doivent donc regarder au-delà de l'apprentissage en profondeur, soutient-il, et le combiner avec des systèmes d'IA classiques ou symboliques qui encodent les connaissances et sont capables de raisonner.

Danny Lange, vice-président de l'IA et de l'apprentissage automatique chez Unity, se situe carrément dans le camp de l'apprentissage en profondeur. Il a construit sa carrière sur la promesse et le potentiel de la technique, après avoir été responsable de l'apprentissage automatique chez Uber, directeur général d'Amazon Machine Learning et chef de produit chez Microsoft axé sur l'apprentissage automatique à grande échelle. Chez Unity, il aide désormais des laboratoires comme DeepMind et OpenAI à construire des environnements de formation virtuels qui enseignent à leurs algorithmes un sens du monde.

Au cours de l'événement, chaque orateur a fait une courte présentation, puis s'est assis pour une table ronde. Les désaccords qu'ils ont exprimés reflètent de nombreux affrontements dans le domaine, soulignant à quel point la technologie a été façonnée par une bataille d'idées persistante et à quel point il y a peu de certitude quant à sa prochaine direction.

Ci-dessous, leur table ronde a été condensée et légèrement modifiée pour plus de clarté.

Gary, vous vous appuyez sur votre expertise en neurosciences et en psychologie pour comprendre ce qui manque actuellement à l'IA. Selon vous, qu'est-ce qui en fait le bon système à combiner avec l'apprentissage en profondeur ?

Gary Marcus : La première chose que je dirai, c'est que nous aurons peut-être besoin d'hybrides plus compliqués que le simple apprentissage en profondeur et l'IA classique. Nous avons besoin à moins cette. Mais il y a peut-être tout un tas de choses dont nous n'avons même pas encore rêvé. Nous devons être ouverts d'esprit.

Pourquoi ajouter l'IA classique au mélange ? Eh bien, nous faisons toutes sortes de raisonnements basés sur notre connaissance du monde. L'apprentissage en profondeur ne représente tout simplement pas cela. Il n'y a aucun moyen dans ces systèmes de représenter ce qu'est une balle ou ce qu'est une bouteille et ce que ces choses font les unes aux autres. Les résultats sont donc excellents, mais ils ne sont généralement pas très généralisables.

L'IA classique, c'est sa timonerie. Il peut, par exemple, analyser une phrase jusqu'à sa représentation sémantique, ou avoir des connaissances sur ce qui se passe dans le monde, puis faire des inférences à ce sujet. Il a ses propres problèmes : il n'a généralement pas une couverture suffisante, car une trop grande partie est écrite à la main, etc. Mais au moins en principe, c'est le seul moyen que nous connaissions pour créer des systèmes capables de faire des choses comme l'inférence logique et l'inférence inductive sur des connaissances abstraites. Cela ne veut toujours pas dire que c'est tout à fait correct, mais c'est de loin le meilleur que nous ayons.

Et puis il y a beaucoup de preuves psychologiques que les gens peuvent faire un certain niveau de représentation symbolique. Dans ma vie antérieure en tant que spécialiste du développement cognitif, j'ai fait des expériences avec des nourrissons de sept mois et j'ai montré que ces nourrissons pouvaient généraliser la connaissance symbolique. Donc, si un bébé de sept mois peut le faire, alors pourquoi nous tenons-nous les mains derrière le dos pour essayer de construire une IA sans les mécanismes dont disposent les bébés ?

Avez-vous vu des projets où ils ont réussi à combiner l'apprentissage en profondeur et l'IA symbolique de manière prometteuse ?

GM : Dans un article que j'ai écrit intitulé La prochaine décennie de l'IA , j'ai répertorié environ 20 projets récents différents qui tentent de mettre en place des modèles hybrides dotés d'un apprentissage en profondeur et de connaissances symboliques. Un exemple que tout le monde connaît est la recherche Google. Lorsque vous tapez une requête de recherche, il y a une IA classique qui essaie de lever l'ambiguïté des mots. Il essaie de comprendre quand vous parlez de Paris, parlez-vous de Paris Hilton, Paris, Texas ou Paris, France, en utilisant Google Knowledge Graph. Et puis il utilise l'apprentissage en profondeur pour faire d'autres choses, par exemple, pour trouver des synonymes en utilisant le Modèle BERT . Bien sûr, la recherche Google n'est pas l'IA que nous espérons finalement atteindre, mais c'est une preuve assez solide que ce n'est pas un rêve impossible.

Danny, êtes-vous d'accord que nous devrions examiner ces modèles hybrides ?

Dany Lange : Non, je ne suis pas d'accord. Le problème que j'ai avec l'IA symbolique est sa tentative d'essayer d'imiter le cerveau humain dans un sens très profond. Cela me rappelle un peu, vous savez, au 18e siècle, si vous vouliez un transport plus rapide, vous travailliez à construire un cheval mécanique plutôt qu'à inventer le moteur à combustion. Je suis donc très sceptique à l'idée d'essayer de résoudre l'IA en essayant d'imiter le cerveau humain.

L'apprentissage en profondeur n'est pas nécessairement une solution miracle, mais si vous lui fournissez suffisamment de données et que vous disposez de la bonne architecture de réseau de neurones, il est capable d'apprendre des abstractions que nous, les humains, ne pouvons pas interpréter, mais qui rendent le système très efficace pour résoudre un large éventail. de tâches.

Il semble que vous soyez fondamentalement tous les deux en désaccord sur l'objectif de l'IA.

GM : Je pense qu'il y a une ironie. Lorsque j'ai eu un débat avec Yoshua Bengio en décembre, Bengio a déclaré que le seul engagement de l'apprentissage en profondeur était qu'il soit basé sur la neurologie. J'ai donc entendu les deux extrêmes opposés de l'apprentissage en profondeur. C'est un peu étrange, et je ne pense pas que nous devrions prendre ces arguments au sérieux.

Au lieu de cela, nous devrions dire : Les symboles peuvent-ils nous aider ? Et la réponse est, massivement, oui. Presque tous les logiciels du monde sont construits sur des symboles. Et puis vous devez dire, Empiriquement, est-ce que les trucs d'apprentissage en profondeur font ce que nous voulons qu'ils fassent ? Et le problème jusqu'à présent, c'est qu'il n'y a pas de modèle. Vicarious [une start-up de robotique industrielle alimentée par l'IA] avait un grande démonstration d'un système d'apprentissage de jeu Atari que DeepMind a rendu très populaire, où il a appris à jouer à Breakout à un niveau surhumain. Mais ensuite, Vicarious a déplacé la palette de quelques pixels et tout s'est effondré, car le niveau d'apprentissage était beaucoup trop superficiel. Il n'avait pas le concept d'une pagaie, d'une balle, d'un ensemble de briques. Un algorithme symbolique pour Breakout pourrait très facilement compenser ces choses.

La raison de regarder les humains est qu'il y a certaines choses que les humains font beaucoup mieux que les systèmes d'apprentissage en profondeur. Cela ne signifie pas que les humains seront finalement le bon modèle. Nous voulons des systèmes qui ont certaines propriétés des ordinateurs et certaines propriétés qui ont été empruntées aux gens. Nous ne voulons pas que nos systèmes d'IA aient une mauvaise mémoire simplement parce que les gens en ont. Mais puisque les gens sont le seul modèle d'un système qui peut développer une compréhension profonde de quelque chose - littéralement le seul modèle que nous ayons - nous devons prendre ce modèle au sérieux.

DL : Oui, donc l'exemple que les langages de programmation du monde sont basés sur des symboles - c'est vrai parce qu'ils sont conçus pour que les humains mettent en œuvre leurs idées et leurs pensées.

L'apprentissage en profondeur n'est pas une réplique du cerveau humain. Peut-être que vous pouvez dire que c'est inspiré par le monde neuronal, mais c'est un logiciel. Nous n'avons pas encore vraiment approfondi l'apprentissage en profondeur. Nous avons eu une quantité limitée de données de formation jusqu'à présent. Nous avions des structures limitées avec une puissance de calcul limitée. Mais le point clé est que l'apprentissage en profondeur apprend le concept, il apprend les fonctionnalités. Ce n'est pas une chose d'ingénierie humaine. Je pense que la grande différence entre l'approche de Gary et la mienne est de savoir si les ingénieurs humains donnent de l'intelligence au système ou si le système apprend lui-même l'intelligence.

Danny, vous avez mentionné que nous n'avions pas vraiment vu le potentiel de l'apprentissage en profondeur dans son intégralité en raison des limites des données et du calcul. Ne devrions-nous pas développer de nouvelles techniques, étant donné que l'apprentissage en profondeur est si inefficace ? Nous avons dû augmenter considérablement le calcul afin de débloquer de nouvelles capacités d'apprentissage en profondeur.

DL : L'un des problèmes avec l'apprentissage en profondeur est qu'il a vraiment été basé jusqu'à présent sur une sorte d'approche classique : vous générez un grand ensemble de données d'entraînement, puis vous l'alimentez. Une chose qui pourrait vraiment améliorer l'apprentissage en profondeur est d'avoir un actif processus d'apprentissage où le réseau est formé pour optimiser les données de formation. Vous n'avez pas à vous contenter d'introduire une quantité ahurissante de données pour améliorer le processus d'apprentissage. Vous pouvez constamment adapter vos données d'entraînement pour cibler une zone spécifique.

Gary, vous soulignez les vulnérabilités de l'apprentissage profond à biais et à attaques contradictoires . Danny, vous avez mentionné que les données synthétiques sont une solution à cela car il n'y a pas de biais et vous pouvez exécuter des millions de simulations qui éliminent vraisemblablement les vulnérabilités contradictoires. Quelles sont chacune de vos réponses à cela?

GM : Les données seules ne sont pas encore une solution. Les données synthétiques ne vont pas aider avec des choses comme les biais dans les prêts ou les biais dans les entretiens d'embauche. Le vrai problème est que ces systèmes ont tendance à perpétuer des préjugés qui existaient pour des raisons historiques. Il n'est pas évident que les données synthétiques soient la solution, par opposition à la construction de systèmes suffisamment sophistiqués pour comprendre les préjugés culturels que nous essayons de remplacer.

Les attaques contradictoires sont un autre type de chose. Les données pourraient aider avec certains d'entre eux, mais jusqu'à présent, nous n'avons pas vraiment éliminé les nombreux types d'attaques contradictoires. Je vous ai montré la balle de baseball avec de la mousse dessus, décrite comme un expresso. Si quelqu'un pense à l'avance faire des balles de baseball avec un expresso en simulation et les étiqueter soigneusement, très bien. Il y aura toujours des cas auxquels personne n'aura pensé. Un système purement axé sur les données continuera d'être vulnérable.

DL : Les données du monde réel sont très biaisées, quoi que vous fassiez. Vous collectez des données dans un certain environnement, par exemple pour les véhicules autonomes, et vous avez une représentation de peut-être 90 % d'adultes et 10 % d'enfants dans les rues. C'est la distribution normale. Mais un système d'apprentissage automatique doit s'entraîner sur un nombre égal d'adultes et d'enfants pour éviter en toute sécurité de les frapper. Ainsi, avec des données synthétiques, vous êtes essentiellement en mesure d'équilibrer et d'éviter le biais si vous faites attention. Cela ne signifie pas que vous ne pouvez pas créer de nouveaux biais. Vous devez faire attention à cela. Vous résolvez certainement les problèmes de confidentialité, car il n'y a pas de vrais humains ou de vrais enfants dans aucune de vos données d'entraînement.

Quant aux exemples contradictoires, le problème avec beaucoup d'entre eux est qu'ils sont essentiellement développés contre des modèles de vision par ordinateur faibles - des modèles qui ont été formés sur 10 ou 20 millions d'images, disons, d'ImageNet. C'est loin d'être suffisant pour généraliser un modèle. Nous avons besoin de grandes quantités d'ensembles de données avec des quantités incroyables de randomisation de domaine pour généraliser ces modèles de vision par ordinateur afin qu'ils ne soient pas dupes.

Quelle est la chose qui vous enthousiasme le plus pour l'avenir de l'IA ?

GM : Il y a eu un véritable mouvement vers les modèles hybrides au cours de la dernière année. Les gens explorent de nouvelles choses qu'ils n'avaient pas avant, et c'est excitant.

DL : Je pense que ce sont vraiment des systèmes multi-modèles - des systèmes qui ont été composés de nombreux modèles différents de perception et de comportement ensemble pour résoudre de véritables tâches complexes.

cacher