211service.com
Comment l'IA peut continuer à s'accélérer après la loi de Moore
De nouvelles idées dans la conception de puces semblent susceptibles de rendre les logiciels plus intelligents. 30 mai 2017
Andréa Chronopoulos
Le PDG de Google, Sundar Pichai, était évidemment ravi lorsqu'il a parlé aux développeurs d'un résultat à succès de son laboratoire d'apprentissage automatique plus tôt ce mois-ci. Les chercheurs avaient trouvé comment automatiser une partie du travail de création de logiciels d'apprentissage automatique, ce qui pourrait faciliter le déploiement de la technologie dans de nouvelles situations et industries.
Mais le projet avait déjà acquis une réputation parmi les chercheurs en intelligence artificielle pour une autre raison : la manière dont il illustrait les vastes ressources informatiques nécessaires pour être à la pointe de l'apprentissage automatique.
Un article des chercheurs de Google indique qu'ils ont utilisé simultanément jusqu'à 800 des processeurs graphiques puissants et coûteux qui ont joué un rôle crucial dans la récente montée en puissance de l'apprentissage automatique (voir 10 Breakthrough Technologies 2013 : Deep Learning). Ils ont dit Examen de la technologie MIT que le projet avait bloqué des centaines de puces pendant deux semaines, ce qui rendait la technique trop gourmande en ressources pour être plus qu'un projet de recherche, même chez Google.
Un codeur sans accès immédiat à une collection géante de GPU aurait besoin de poches profondes pour reproduire l'expérience. La location de 800 GPU auprès du service de cloud computing d'Amazon pour une semaine seulement coûterait environ 120 000 $ aux prix indiqués.
Andréa Chronopoulos
L'alimentation en données d'un logiciel d'apprentissage en profondeur pour l'entraîner à une tâche particulière nécessite beaucoup plus de ressources que l'exécution du système par la suite, mais cela prend encore beaucoup de temps. La puissance de calcul est actuellement un goulot d'étranglement pour l'apprentissage automatique, selon Reza Zadeh , professeur auxiliaire à l'Université de Stanford et fondateur et PDG de Matroïde , une startup qui aide les entreprises à utiliser des logiciels pour identifier des objets tels que des voitures et des personnes dans des séquences de sécurité et d'autres vidéos.
La soif soudaine d'une nouvelle puissance pour piloter l'IA survient à un moment où l'industrie informatique s'adapte à la perte de deux choses sur lesquelles elle s'appuie depuis 50 ans pour que les puces deviennent plus puissantes. L'une est la loi de Moore, qui prévoyait que le nombre de transistors pouvant être installés dans une zone donnée d'une puce doublerait tous les deux ans. L'autre est un phénomène appelé mise à l'échelle de Dennard, qui décrit comment la quantité d'énergie utilisée par les transistors diminue à mesure qu'ils rétrécissent.
Ni l'un ni l'autre n'est vrai aujourd'hui. Intel a ralenti le rythme auquel il introduit des générations de nouvelles puces avec des transistors plus petits et plus denses (voir Moore's Law Is Dead. Now What?) . Et les gains d'efficacité habituels que les transistors montraient à mesure qu'ils devenaient plus petits se sont arrêtés au milieu des années 2000, faisant de la consommation d'énergie un casse-tête majeur.
La bonne nouvelle pour ceux qui parient sur l'IA est que les puces graphiques ont jusqu'à présent réussi à défier la gravité. Lors de la récente conférence du principal fabricant de puces graphiques Nvidia, le PDG Jensen Huang a présenté un graphique montrant comment les performances de ses puces ont continué à s'accélérer de manière exponentielle tandis que la croissance des performances des processeurs à usage général, ou CPU, a ralenti.
Doug Burger, un éminent ingénieur de la division NExT de Microsoft qui travaille sur la commercialisation de nouvelles technologies, affirme qu'un écart similaire se creuse entre les logiciels conventionnels et d'apprentissage automatique. Vous commencez à voir un plateau [de performance] pour les logiciels généraux - il a cessé de s'améliorer aux taux historiques - mais ce truc d'IA continue d'augmenter rapidement, dit-il.
Burger pense que cette tendance va se poursuivre. Les ingénieurs ont permis aux GPU de devenir plus puissants car ils peuvent être plus spécialisés dans les mathématiques particulières dont ils ont besoin pour effectuer des graphiques ou de l'apprentissage automatique, dit-il.
La même idée est à l'origine d'un projet mené par Burger chez Microsoft, qui met plus de puissance derrière les logiciels d'IA en utilisant des puces reconfigurables appelées FPGA. Cela motive également les startups - et les géants tels que Google - à créer de nouvelles puces personnalisées pour alimenter l'apprentissage automatique (voir Google révèle une nouvelle puce et un superordinateur AI puissants).
À plus long terme, des changements plus radicaux dans le fonctionnement des puces informatiques seront nécessaires pour que l'IA reste plus puissante. Créer des puces qui ne s'ajoutent pas avec précision est une option. Les prototypes ont montré qu'ils pouvaient rendre les ordinateurs plus efficaces sans nuire à la précision des résultats des logiciels d'apprentissage automatique (voir Pourquoi une puce qui est mauvaise en mathématiques pourrait aider les ordinateurs à résoudre des problèmes plus difficiles).
Les conceptions de puces qui copient directement de la biologie pourraient également être cruciales. IBM et d'autres ont construit des puces prototypes qui calculent à l'aide de pics de courant, similaires à la façon dont nos neurones se déclenchent (voir Penser dans le silicium). Même les animaux simples, souligne Burger, utilisent peu d'énergie pour faire des choses au-delà de ce que les robots et les logiciels d'aujourd'hui peuvent accomplir - preuve que les ordinateurs ont encore beaucoup à faire.
Regardez le calcul qu'un cafard fait, dit-il. Il existe des preuves d'existence qui montrent que de nombreux autres ordres de grandeur de performances et d'efficacité sont disponibles. Il peut nous rester des décennies de mise à l'échelle dans l'IA.