La puissance de calcul nécessaire pour former l'IA augmente désormais sept fois plus vite que jamais

Le joueur de go Ke Jie joue un match contre le programme d'intelligence artificielle de Google, AlphaGo PA

En 2018, OpenAI a constaté que la quantité de puissance de calcul utilisée pour former les plus grands modèles d'IA avait doublé tous les 3,4 mois depuis 2012.

Le laboratoire de recherche sur l'IA à but lucratif basé à San Francisco a maintenant ajouté de nouvelles données à son analyse. Cela montre comment le doublement post-2012 se compare au temps de doublement historique depuis le début du champ. De 1959 à 2012, la quantité d'énergie utilisée a doublé tous les deux ans, suivant la loi de Moore. Cela signifie que les ressources utilisées aujourd'hui doublent à un rythme sept fois plus rapide qu'auparavant.

OpenAI

Cette augmentation spectaculaire des ressources nécessaires souligne à quel point les réalisations du domaine sont devenues coûteuses. Gardez à l'esprit que le graphique ci-dessus montre une échelle logarithmique. Sur une échelle linéaire (ci-dessous), vous pouvez voir plus clairement comment l'utilisation du calcul a été multipliée par 300 000 au cours des sept dernières années.

Le graphique n'inclut pas non plus certaines des avancées les plus récentes, notamment le modèle linguistique à grande échelle de Google. BERT , le modèle de langage OpenAI GPT-2 ou le modèle de jeu StarCraft II de DeepMind AlphaStar .

OpenAI

Au cours de l'année écoulée, de plus en plus de chercheurs ont tiré la sonnette d'alarme sur l'explosion des coûts de l'apprentissage en profondeur. En juin, une analyse de chercheurs de l'Université du Massachusetts à Amherst a montré comment ces coûts de calcul croissants se traduisent directement en émissions de carbone.

Dans leur article, ils ont également noté comment la tendance exacerbe la privatisation de la recherche sur l'IA, car elle sape la capacité des laboratoires universitaires à concurrencer des laboratoires privés beaucoup plus riches en ressources.

En réponse à cette préoccupation croissante, plusieurs groupes industriels ont formulé des recommandations. L'Allen Institute for Artificial Intelligence, une société de recherche à but non lucratif de Seattle, a proposé que les chercheurs publient toujours les coûts financiers et informatiques de la formation de leurs modèles ainsi que leurs résultats de performance, par exemple.

Dans son propre blog, OpenAI a suggéré aux décideurs politiques d'augmenter le financement des chercheurs universitaires pour combler le déficit de ressources entre les laboratoires universitaires et industriels.

Correction: Une version précédente de cet article indiquait à tort que le temps de doublement aujourd'hui est plus de sept fois supérieur au taux d'avant. Les ressources utilisées doublent sept fois plus vite et le temps de doublement lui-même est d'un septième par rapport à la fois précédente.

cacher