Cette puce a été présentée lors de la conférence technologique secrète de Jeff Bezos. Cela pourrait être la clé de l'avenir de l'IA.

Photographies de Tony Luong

Récemment, par une matinée éblouissante à Palm Springs, en Californie, Vivienne Szé a pris une petite scène pour livrer peut-être la présentation la plus éprouvante pour les nerfs de sa carrière.

Elle connaissait le sujet sur le bout des doigts. Elle devait parler au public des puces, en cours de développement dans son laboratoire du MIT, qui promettent d'apporter une intelligence artificielle puissante à une multitude d'appareils où la puissance est limitée, hors de portée des vastes centres de données où la plupart des calculs d'IA ont lieu. Cependant, l'événement et le public ont fait réfléchir Sze.

Tony Luong

Le cadre était MARS, une conférence d'élite, sur invitation uniquement, où des robots se promènent (ou volent) dans un complexe de luxe, se mêlant à des scientifiques célèbres et à des auteurs de science-fiction. Seuls quelques chercheurs sont invités à donner des conférences techniques, et les sessions se veulent à la fois impressionnantes et instructives. La foule, quant à elle, était composée d'environ 100 des chercheurs, PDG et entrepreneurs les plus importants au monde. MARS est hébergé par nul autre que le fondateur et président d'Amazon, Jeff Bezos, qui était assis au premier rang.

C'était, je suppose que vous diriez, un public assez haut de gamme, se souvient Sze en riant.

D'autres orateurs de MARS introduiraient un robot hacheur de karaté, des drones qui battent comme de gros insectes étrangement silencieux, et même des plans optimistes pour les colonies martiennes. Les jetons de Sze peuvent sembler plus modestes; à l'œil nu, ils sont indiscernables des puces que vous trouverez à l'intérieur de n'importe quel appareil électronique. Mais ils sont sans doute beaucoup plus importants que tout ce qui est présenté lors de l'événement.

Nouvelles capacités

Les puces nouvellement conçues, comme celles en cours de développement dans le laboratoire de Sze, peuvent être cruciales pour les progrès futurs de l'IA, y compris des choses comme les drones et les robots trouvés à MARS. Jusqu'à présent, les logiciels d'IA fonctionnaient en grande partie sur des puces graphiques, mais un nouveau matériel pourrait rendre les algorithmes d'IA plus puissants, ce qui débloquerait de nouvelles applications. De nouvelles puces IA pourraient rendre les robots d'entrepôt plus courants ou permettre aux smartphones de créer des paysages de réalité augmentée photoréalistes.

Les puces de Sze sont à la fois extrêmement efficaces et flexibles dans leur conception, ce qui est crucial pour un domaine qui évolue incroyablement rapidement.

Les micropuces sont conçues pour tirer le meilleur parti des algorithmes d'IA d'apprentissage en profondeur qui ont déjà bouleversé le monde. Et dans le processus, ils peuvent inspirer ces algorithmes eux-mêmes à évoluer. Nous avons besoin de nouveau matériel parce que la loi de Moore a ralenti, dit Sze, faisant référence à l'axiome inventé par le cofondateur d'Intel, Gordon Moore, qui prédit que le nombre de transistors sur une puce doublera environ tous les 18 mois, ce qui entraînera une augmentation proportionnelle des performances de la puissance de l'ordinateur. .

Tony Luong

Cette loi se heurte de plus en plus aux limites physiques qui accompagnent les composants d'ingénierie à l'échelle atomique. Et cela suscite un nouvel intérêt pour les architectures et les approches alternatives de l'informatique.

Les enjeux élevés liés à l'investissement dans les puces d'IA de nouvelle génération - et au maintien de la domination américaine dans la fabrication de puces en général - ne sont pas perdus pour le gouvernement américain. Les micropuces de Sze sont en cours de développement grâce au financement d'un programme de la Defense Advanced Research Projects Agency (DARPA) destiné à aider à développer de nouvelles conceptions de puces d'IA (voir Les idées d'IA conçues pour garder les États-Unis en avance sur la Chine).

Mais l'innovation dans la fabrication de puces a été stimulée principalement par l'émergence de l'apprentissage en profondeur, un moyen très puissant pour les machines d'apprendre à effectuer des tâches utiles. Au lieu de donner à un ordinateur un ensemble de règles à suivre, une machine se programme essentiellement elle-même. Les données de formation sont introduites dans un grand réseau neuronal artificiel simulé, qui est ensuite modifié pour produire le résultat souhaité. Avec une formation suffisante, un système d'apprentissage en profondeur peut trouver des modèles subtils et abstraits dans les données. La technique est appliquée à un éventail toujours croissant de tâches pratiques, de la reconnaissance faciale sur les smartphones à la prédiction de maladies à partir d'images médicales.

La nouvelle course aux puces

L'apprentissage en profondeur ne dépend pas tellement de la loi de Moore. Les réseaux de neurones exécutent de nombreux calculs mathématiques en parallèle, de sorte qu'ils fonctionnent beaucoup plus efficacement sur les puces graphiques spécialisées dans les jeux vidéo qui effectuent des calculs parallèles pour le rendu d'images 3D. Mais les micropuces conçues spécifiquement pour les calculs qui sous-tendent l'apprentissage en profondeur devraient être encore plus puissantes.

Le potentiel des nouvelles architectures de puces pour améliorer l'IA a suscité un niveau d'activité entrepreneuriale que l'industrie des puces n'a pas vu depuis des décennies (voir The Race to Power AI's Silicon Brains et la Chine n'a jamais eu de véritable industrie des puces. La fabrication de puces d'IA pourrait changez cela ).

Tony Luong

Les grandes entreprises technologiques qui espèrent exploiter et commercialiser l'IA, y compris Google, Microsoft et (oui) Amazon, travaillent toutes sur leurs propres puces d'apprentissage en profondeur. De nombreuses petites entreprises développent également de nouvelles puces. Il est impossible de garder une trace de toutes les entreprises qui sautent dans l'espace des puces IA, déclare Mike Delmer, analyste des micropuces au Groupe Linley , un cabinet d'analystes. Je ne plaisante pas sur le fait que nous en apprenons un nouveau presque chaque semaine.

La véritable opportunité, dit Sze, n'est pas de construire les puces d'apprentissage en profondeur les plus puissantes possibles. L'efficacité énergétique est importante car l'IA doit également fonctionner hors de portée des grands centres de données, ce qui signifie qu'elle ne doit compter que sur la puissance disponible sur l'appareil lui-même pour fonctionner. C'est ce qu'on appelle opérer sur le bord.

L'IA sera partout et il sera extrêmement important de trouver des moyens de rendre les choses plus économes en énergie, déclare Naveen Rao, vice-président du groupe des produits d'intelligence artificielle chez Intel.

Par exemple, le matériel de Sze est plus efficace en partie parce qu'il réduit physiquement le goulot d'étranglement entre l'endroit où les données sont stockées et l'endroit où elles sont analysées, mais aussi parce qu'il utilise des schémas intelligents pour réutiliser les données. Avant de rejoindre le MIT, Sze a été le pionnier de cette approche pour améliorer l'efficacité de la compression vidéo chez Texas Instruments.

Pour un domaine en évolution rapide comme l'apprentissage en profondeur, le défi pour ceux qui travaillent sur les puces IA est de s'assurer qu'elles sont suffisamment flexibles pour être adaptées à n'importe quelle application. Il est facile de concevoir une puce ultra-efficace capable de faire une seule chose, mais un tel produit deviendra vite obsolète.

La puce de Sze s'appelle Eyeriss. Développé en collaboration avec Joël Emer , chercheur chez Nvidia et professeur au MIT, il a été testé avec un certain nombre de processeurs standard pour voir comment il gère une gamme d'algorithmes d'apprentissage en profondeur différents. En équilibrant efficacité et flexibilité, la nouvelle puce atteint des performances 10 voire 1 000 fois plus efficaces que le matériel existant, selon un document mis en ligne l'année dernière.

Sertac Karaman et Vivienne Sze du MIT ont développé la nouvelle puce Tony Luong

Des puces IA plus simples ont déjà un impact majeur. Les smartphones haut de gamme incluent déjà des puces optimisées pour exécuter des algorithmes d'apprentissage en profondeur pour la reconnaissance d'images et de voix. Des puces plus efficaces pourraient permettre à ces appareils d'exécuter un code IA plus puissant avec de meilleures capacités. Les voitures autonomes ont également besoin de puissantes puces informatiques AI, car la plupart des prototypes reposent actuellement sur un coffre d'ordinateurs.

Rao dit que les puces du MIT sont prometteuses, mais de nombreux facteurs détermineront si une nouvelle architecture matérielle réussira. L'un des facteurs les plus importants, dit-il, est le développement de logiciels qui permettent aux programmeurs d'y exécuter du code. Rendre quelque chose utilisable du point de vue du compilateur est probablement le plus grand obstacle à l'adoption, dit-il.

En fait, le laboratoire de Sze explore également des moyens de concevoir des logiciels afin qu'ils exploitent mieux les propriétés des puces informatiques existantes. Et ce travail va au-delà du simple apprentissage en profondeur.

Ensemble avec Sertac Karaman , du département d'aéronautique et d'astronautique du MIT, Sze a développé une puce à faible puissance appelée Navion qui effectue une cartographie et une navigation 3D incroyablement efficaces, pour une utilisation sur un minuscule drone. La conception de la puce pour exploiter le comportement des algorithmes axés sur la navigation et la conception de l'algorithme pour tirer le meilleur parti d'une puce personnalisée étaient essentielles à cet effort. Parallèlement aux travaux sur l'apprentissage en profondeur, Navion reflète la façon dont les logiciels et le matériel d'IA commencent maintenant à évoluer en symbiose.

Les puces de Sze ne sont peut-être pas aussi intéressantes qu'un drone battant, mais le fait qu'elles aient été présentées à MARS donne une idée de l'importance de sa technologie - et plus généralement de l'innovation dans le silicium - pour l'avenir de l'IA. Après sa présentation , dit Sze, certains des autres orateurs de MARS ont exprimé leur intérêt à en savoir plus. Les gens ont trouvé beaucoup de cas d'utilisation importants, dit-elle.

En d'autres termes, attendez-vous à ce que les robots et drones accrocheurs de la prochaine conférence MARS aient quelque chose d'assez spécial caché à l'intérieur.

cacher