La prochaine explosion de l'IA sera définie par les puces que nous construisons pour elle

Jérémy Portje

La conception matérielle, plutôt que les algorithmes, nous aidera à réaliser la prochaine grande percée de l'IA. C'est selon Bill Dally, scientifique en chef de Nvidia, qui est monté sur scène mardi à EmTech Digital, la conférence sur l'IA du MIT Technology Review. Notre révolution actuelle dans l'apprentissage en profondeur a été rendue possible par le matériel, a-t-il déclaré.

Comme preuve, il a souligné l'histoire du domaine : de nombreux algorithmes que nous utilisons aujourd'hui existent depuis les années 1980, et la percée de l'utilisation de grandes quantités de données étiquetées pour former des réseaux de neurones est survenue au début des années 2000. Mais ce n'est qu'au début des années 2010, lorsque les unités de traitement graphique, ou GPU, sont entrées en scène, que la révolution de l'apprentissage en profondeur a vraiment décollé.

Nous devons continuer à fournir du matériel plus performant, sinon les progrès de l'IA ralentiront vraiment, a déclaré Dally.

Nvidia explore maintenant trois voies principales : développer des puces plus spécialisées ; réduire le calcul requis lors de l'apprentissage en profondeur ; et expérimenter des architectures de puces analogiques plutôt que numériques.

Nvidia a découvert que les puces hautement spécialisées conçues pour une tâche de calcul spécifique peuvent surpasser les puces GPU capables de gérer de nombreux types de calcul différents. La différence, a déclaré Dally, pourrait représenter jusqu'à 20% d'augmentation de l'efficacité pour le même niveau de performances.

Dally a également fait référence à une étude réalisée par Nvidia pour tester le potentiel de l'élagage - l'idée que vous pouvez réduire le nombre de calculs qui doivent être effectués pendant la formation, sans sacrifier la précision d'un modèle d'apprentissage en profondeur. Les chercheurs de l'entreprise ont découvert qu'ils étaient capables d'ignorer environ 90 % de ces calculs tout en conservant la même précision d'apprentissage. Cela signifie que les mêmes tâches d'apprentissage peuvent avoir lieu en utilisant des architectures de puces beaucoup plus petites.

Enfin, Dally a mentionné que Nvidia expérimente maintenant le calcul analogique. Les ordinateurs stockent presque toutes les informations, y compris les chiffres, sous la forme d'une série de 0 s ou un s. Mais le calcul analogique permettrait d'encoder directement toutes sortes de valeurs, telles que 0,3 ou 0,7. Cela devrait débloquer un calcul beaucoup plus efficace, car les nombres peuvent être représentés plus succinctement, bien que Dally ait déclaré que son équipe ne savait pas actuellement comment l'analogique s'intégrerait dans l'avenir de la conception des puces.

Naveen Rao, vice-président et directeur général du groupe AI Products chez Intel, a également pris la parole et a comparé l'importance de l'évolution du matériel IA au rôle que cette évolution a joué en biologie. Les rats et les humains, a-t-il dit, ont une évolution divergente sur une échelle de temps de quelques centaines de millions d'années. Malgré des capacités considérablement améliorées, cependant, les humains ont les mêmes unités informatiques fondamentales que leurs homologues rongeurs.

Le même principe s'applique aux conceptions de puces, a déclaré Rao. Toute puce, qu'elle soit spécialisée ou flexible, numérique ou analogique, optique ou autre, n'est qu'un substrat pour coder et manipuler des informations. Mais selon la façon dont ce substrat est conçu, cela pourrait être la différence entre les capacités d'un rat et d'un humain.

Les insectes, comme les rats, a-t-il dit, sont également construits avec les mêmes unités fondamentales que les humains. Mais les insectes ont des architectures fixes alors que les humains en ont des plus flexibles. Aucun des deux, a-t-il soutenu, n'est supérieur à l'autre, mais ils ont clairement évolué pour répondre à des objectifs différents. Les insectes peuvent probablement survivre à une guerre nucléaire, tandis que les humains ont des capacités beaucoup plus sophistiquées.

Encore une fois, ces principes peuvent être appliqués à la conception de puces. À mesure que nous mettons en ligne de plus en plus d'appareils intelligents, il n'est pas toujours judicieux d'envoyer leurs données dans le cloud afin qu'elles soient traitées via un modèle d'apprentissage en profondeur. Au lieu de cela, il peut être judicieux d'exécuter un petit modèle d'apprentissage en profondeur efficace sur l'appareil lui-même. Cette idée, connue sous le nom d'IA à la périphérie, pourrait bénéficier d'architectures de puces fixes spécialisées plus efficaces. Les centres de données qui alimentent l'IA sur le cloud, en revanche, fonctionneraient sur des architectures de puces entièrement flexibles et programmables, pour gérer un éventail beaucoup plus large de tâches d'apprentissage.

Rao a noté que quelles que soient les conceptions de puces qu'Intel et Nvidia décident de poursuivre, l'effet sur l'évolution de l'IA sera significatif. Tout au long de l'histoire, les civilisations individuelles ont évolué de manière très différente en raison des matériaux uniques à leur disposition. De même, les opérations facilitées par Intel et Nvidia grâce à différentes conceptions de puces influenceront fortement les types de tâches d'apprentissage que la communauté de l'IA poursuivra.

Nous sommes actuellement dans cette explosion précambrienne rapide [pour les architectures de puces], a déclaré Rao, et toutes les solutions ne seront pas gagnantes.

cacher