L'entraînement d'un seul modèle d'IA peut émettre autant de carbone que cinq voitures au cours de leur vie

Un centre de données Doyen Mouhtaropoulos | Getty; édité par MIT Technology Review

L'industrie de l'intelligence artificielle est souvent comparée à l'industrie pétrolière : une fois extraites et raffinées, les données, comme le pétrole, peuvent être une marchandise très lucrative. Maintenant, il semble que la métaphore puisse s'étendre encore plus loin. Comme son homologue fossile, le processus d'apprentissage en profondeur a un impact environnemental démesuré.

Dans un nouveau papier , des chercheurs de l'Université du Massachusetts, à Amherst, ont effectué une évaluation du cycle de vie pour former plusieurs grands modèles d'IA courants. Ils ont découvert que le processus peut émettre plus de 626 000 livres d'équivalent en dioxyde de carbone, soit près de cinq fois les émissions à vie d'une voiture américaine moyenne (et cela inclut la fabrication de la voiture elle-même).

C'est une quantification discordante de quelque chose que les chercheurs en IA soupçonnaient depuis longtemps. Bien que beaucoup d'entre nous aient probablement pensé à cela de manière abstraite et vague, les chiffres montrent vraiment l'ampleur du problème, déclare Carlos Gómez-Rodríguez, informaticien à l'université de La Corogne en Espagne, qui n'a pas participé à la rechercher. Ni moi ni les autres chercheurs avec qui j'en ai discuté ne pensaient que l'impact environnemental était si important.

L'empreinte carbone du traitement du langage naturel

L'article examine spécifiquement le processus de formation du modèle pour le traitement du langage naturel (PNL), le sous-domaine de l'IA qui se concentre sur l'enseignement des machines à gérer le langage humain. Au cours des deux dernières années, la communauté PNL a atteint plusieurs jalons de performance remarquables dans la traduction automatique, la complétion de phrases et d'autres tâches d'analyse comparative standard. Le tristement célèbre modèle GPT-2 d'OpenAI, par exemple, excellait dans la rédaction de faux articles convaincants.

Mais de telles avancées ont nécessité la formation de modèles toujours plus grands sur des ensembles de données tentaculaires de phrases récupérées sur Internet. L'approche est coûteuse en calcul et très gourmande en énergie.

Les chercheurs ont examiné quatre modèles sur le terrain qui ont été à l'origine des plus grandes avancées en termes de performances : le Transformer, ELMo, BERT , et GPT-2. Ils se sont entraînés chacun sur un seul GPU pendant jusqu'à une journée pour mesurer sa consommation d'énergie. Ils ont ensuite utilisé le nombre d'heures d'entraînement indiqué dans les documents originaux du modèle pour calculer l'énergie totale consommée au cours du processus d'entraînement complet. Ce nombre a été converti en livres d'équivalent dioxyde de carbone sur la base du mix énergétique moyen aux États-Unis, qui correspond étroitement au mix énergétique utilisé par AWS d'Amazon, le plus grand fournisseur de services cloud.

Ils ont constaté que les coûts informatiques et environnementaux de la formation augmentaient proportionnellement à la taille du modèle, puis explosaient lorsque des étapes de réglage supplémentaires étaient utilisées pour augmenter la précision finale du modèle. En particulier, ils ont découvert qu'un processus de réglage connu sous le nom de recherche d'architecture neuronale, qui tente d'optimiser un modèle en modifiant progressivement la conception d'un réseau neuronal par des essais et des erreurs exhaustifs, avait des coûts associés extrêmement élevés pour un faible gain de performances. Sans cela, le modèle le plus coûteux, BERT, avait une empreinte carbone d'environ 1 400 livres d'équivalent en dioxyde de carbone, proche d'un vol aller-retour transaméricain pour une personne.

De plus, les chercheurs notent que les chiffres ne doivent être considérés que comme des valeurs de référence. La formation d'un seul modèle est le minimum de travail que vous pouvez faire, explique Emma Strubell, doctorante à l'Université du Massachusetts, Amherst, et auteur principal de l'article. En pratique, il est beaucoup plus probable que les chercheurs en IA développent un nouveau modèle à partir de zéro ou adaptent un modèle existant à un nouvel ensemble de données, l'un ou l'autre pouvant nécessiter beaucoup plus de cycles de formation et de réglage.

Pour mieux comprendre à quoi pourrait ressembler le pipeline de développement complet en termes d'empreinte carbone, Strubell et ses collègues ont utilisé un modèle qu'ils avaient produit dans un article précédent comme étude de cas. Ils ont constaté que le processus de construction et de test d'un modèle final digne d'un papier nécessitait la formation de 4 789 modèles sur une période de six mois. Converti en équivalent CO2, il a émis plus de 78 000 livres et est probablement représentatif d'un travail typique sur le terrain.

L'importance de ces chiffres est colossale, surtout si l'on considère les tendances actuelles de la recherche en IA. En général, une grande partie des dernières recherches sur l'IA négligent l'efficacité, car de très grands réseaux de neurones se sont révélés utiles pour une variété de tâches, et les entreprises et les institutions qui ont un accès abondant aux ressources informatiques peuvent en tirer parti pour obtenir un avantage concurrentiel, dit Gómez-Rodríguez. Ce type d'analyse s'imposait pour faire prendre conscience des ressources dépensées [...] et suscitera un débat.

Ce que beaucoup d'entre nous n'ont probablement pas compris, c'est son ampleur jusqu'à ce que nous voyions ces comparaisons, a fait écho Siva Reddy, post-doctorante à l'Université de Stanford qui n'a pas participé à la recherche.

La privatisation de la recherche en IA

Les résultats soulignent également un autre problème croissant dans le domaine de l'IA : l'intensité des ressources désormais nécessaires pour produire des résultats dignes d'être publiés rend de plus en plus difficile pour les personnes travaillant dans le milieu universitaire de continuer à contribuer à la recherche.

Cette tendance à former d'énormes modèles sur des tonnes de données n'est pas réalisable pour les universitaires, en particulier les étudiants diplômés, car nous n'avons pas les ressources informatiques, explique Strubell. Il y a donc un problème d'accès équitable entre les chercheurs du milieu universitaire et les chercheurs de l'industrie.

Strubell et ses coauteurs espèrent que leurs collègues tiendront compte des conclusions de l'article et contribueront à uniformiser les règles du jeu en investissant dans le développement de matériel et d'algorithmes plus efficaces.

Reddy est d'accord. Le cerveau humain peut faire des choses incroyables avec peu de consommation d'énergie, dit-il. La plus grande question est de savoir comment pouvons-nous construire de telles machines.

cacher