IA et environnement (1/3) : des chiffres qui affolent

Par L'équipe GenerIA   |   6 août 2024   |   9 m.

Partagez cet article :

Insatiable en énergie et grande productrice de CO2, l'intelligence artificielle conventionnelle est-elle une impasse environnementale ? Les raisons qui lui interdisent tout espoir de durabilité sont nombreuses. Explorons-les ensemble, chiffres à l'appui...

L'IA d'aujourd'hui est vorace. Partout, dans le monde occidental, sa consommation énergétique et son empreinte carbone augmentent de façon significative. Les géants du secteur, dont il faut saluer l'effort de transparence, sont évidemment les premiers responsables. Google, par exemple, a fait bondir ses émissions de CO2 de 48 % en 2023 par rapport à 2019. En toute logique, si l'on en croit leurs rapports annuels consacrés à la Sustainability, Microsoft, Meta et Amazon font face à des défis similaires.

Cette tendance, générale, a de quoi nous inquiéter. EPRI (Electric Power Research Institute), organisme à but non-lucratif de recherche sur l'énergie, évalue le coût électrique d'une seule requête ChatGPT à environ 2,9 Watts/heure, contre 0,3 W/h pour une recherche classique Google ou Bing, soit environ 10 fois plus. Compte tenu de la montée en charge globale de l'IA, le MIT estime pour sa part qu'un centre de données consomme aujourd'hui en moyenne autant d'électricité que 50 000 foyers américains. Par extrapolation, leur étude estime que "le nuage" émet désormais autant de CO2 que l'ensemble de l'industrie aérienne mondiale.

C'est toutefois quand on compare ces chiffres à des valeurs de la vie quotidienne que le problème révèle sa véritable ampleur. Un aller-retour New-York City / San Francisco génère 0,9 tonne d'équivalent CO2 (eqCO2) par passager. Une année de vie humaine, 4,5 tonnes (16,4 tonnes aux Etats-Unis). Pour une voiture américaine avec tout son carburant sur tout son cycle de vie, on est à 57 tonnes. Mais pour un modeste modèle Transformer avec 213M paramètres, tel qu'ont pu l'utiliser longtemps bon nombre d'organisations sans optimisation particulière des machines d'entraînement et d'inférence, on atteint 284 tonnes eqCO2, toujours sur l'ensemble du cycle de vie.

L'IA générative en accusation

Comme le montre implicitement l'exemple précédent, c'est donc à l'IA générative que revient l'essentiel de la faute. Prenons l'exemple de GPT-3, modèle dont l'ancienneté permet aux analystes un certain recul. D'après Goldman Sachs Research, son seul entraînement a libéré dans notre atmosphère 552 tonnes de CO2.

En utilisation, plusieurs études arrivent à la même conclusion : il consomme environ 4 W/h pour générer une page de contenu. OpenAI ne communique pas sur le nombre de requêtes quotidiennes à l'époque où GPT-3 était le principal moteur de ChatGPT. Mais on peut toujours inférer.

AWS estime que 90 % du coût énergétique d'un grand modèle de langage vient de son utilisation, contre 10 % pour son entraînement. Schneider Electric, pour sa part, voit plutôt cette répartition à 80/20 en moyenne, compte tenu de l'évolution de la taille des modèles. Enfin, chez Meta, on note que cette même répartition varie selon le cas d'usage, avec environ 65/35 pour les LLMs standards et jusqu'à 50/50 pour les modèles plus orientés "recommandations", dont les paramètres doivent être mis à jour fréquemment du fait de l'arrivée constante de données nouvelles. En faisant la moyenne des moyennes, on peut donc avancer (avec prudence !) que GPT3 déjà a contribué pour 1 800 tonnes au CO2 qui nous entoure.

Passages à l'échelle

GPT-3, c'était 175 milliards de paramètres. GPT-4, c'est 1 700 milliards de paramètres (estimés), d'où sa meilleure compréhension contextuelle et la cohérence d'ensemble de ses réponses, qu'on a tous remarquées quand il est sorti. Libre à chacun de dériver des chiffres de ce nouvel ordre de magnitude mais attention, l'affaire n'est pas si simple.

Car s'il est établi que le coût environnemental de l'entraînement croît proportionnellement à la taille des modèles, celui-ci a explosé lorsque des étapes de tuning suplémentaires, en grand nombre, se sont révélées nécessaires pour gagner quelques pourcentages d'exactitude. Les étapes de neural architecture search, en particulier, sont d'autant plus énergivores qu'elles reposent par essence sur des approches essai / erreur. Leurs bénéfices en performances ne sont pas toujours immenses, mais dans la bataille pour les premières places des tests comparatifs (leaderboards) que se livrent les équipes de recherche, elles restent incontournables.

Pour diversifier les exemples et mettre en perspective l'évolution des choses, voici un tableau comparant les coûts environnementaux de l'entraînement de quelques modèles connus, depuis la naissance de l'IA générative :

Les chiffres de la colonne Params. sont exprimés en milliards de paramètres. La colonne Procs. indique le type et le nombre de processeurs utilisés pour l'entraînement du modèle. La colonne Heures représente le nombre d'heures d'entraînement. La colonne Energie représente l'électricité consommée pour l'entraînement, en MW/h. La colonne CO2 représente les estimations d'émissions liées à l'entraînement uniquement, en tonnes métriques.

Que les méthodologies d'estimation de CO2 diffèrent, que les processeurs utilisés soient plus ou moins optimisés (NVIDIA V100 ou A100, TPU v3 ou v4...), peu importe. Là réside un des problèmes majeurs de l'intelligence artificielle telle qu'elle s'invente aujourd'hui. Statistiquement, le processus de conception et de test d'un modèle en vue d'une publication scientifique nécessite environ 4 700 entraînements successifs, pour une durée de pertinence souvent limitée. S'il fallait encore s'en convaincre, à lire ces publications les unes après les autres, on ne sent pas la majorité des chercheurs démesurément soucieux des conséquences écologiques de leurs travaux...

Lueurs d'espoir

Face à ces tendances aussi lourdes que négatives, y a-t-il des motifs d'optimisme ? De toutes parts, des efforts sont faits pour améliorer l'efficacité des systèmes. Entre 2010 et 2018, on a observé une augmentation de 550 % des instances de calcul et de 2 400 % de la capacité de stockage dans les centres de données mondiaux, pour une consommation d'énergie en augmentation de seulement 6 %. Certes, ces chiffres datent d'avant l'arrivée de l'IA générative et des GPU gloutons, mais les gains en efficience découlant de l'amélioration du matériel, de la virtualisation et de la conception des centres de données vont eux aussi croissant.

Par ailleurs, les sources à faibles émissions (autrement dit tout ce qui n'est pas fossile) devraient représenter près de la moitié de la production mondiale d'électricité d'ici 2026, contre moins de 40 % en 2023. Certaines études en concluent que le volume global des émissions de CO2 liées à l'IA devrait diminuer d'environ 3,5 % par an jusqu'en 2026, et entre 4 et 4,5 % jusqu'en 2030. Précisons cependant que d'autres les voient doubler sur la même période compte tenu des nombreuses réactivations de centrales à gaz et à charbon, pour faire face aux besoins immédiats.

Enfin, bien que cet article ne soit pas le lieu de vanter les mérites de GenerIA, on peut aussi espérer que les consommateurs d'inférences, particuliers et professionnels, prennent conscience du problème et préfèrent les IA frugales voire carboneutres, qui satisfont pleinement leurs besoins en respectant une stricte éthique de préservation des ressources naturelles.

Soyons lucides, c'est la course aux armements qui est est responsable du désordre environnemental que nous subissons. Or, aucun modèle, si large soit-il, ne peut répondre aux exigences et pré-requis de tous. Pour le grand public, pas de problème. L'IA généraliste standard, avec sa quasi-gratuité, est un indéniable vecteur d'efficacité et de liberté. Dans l'entreprise, en revanche, elle est inapplicable pour de nombreuses raisons : faible adaptabilité aux données et vocabulaires spécifiques, mise en danger des données sensibles, difficultés d'intégration aux applications existantes, absence de support dédié et plus généralement de contrôle stratégique...

En affinant sans cesse leurs "grands" modèles, les "grands" acteurs visent d'abord l'Intelligence Artificielle Générale, synonyme de big bang cognitif mais aussi de domination économique et géostratégique. Bien que ces objectifs fassent largement débat, ce n'est pas ce qui les arrêtera. D'un autre côté, de plus en plus d'autorités (Chine, Singapour, Allemagne, Irlande, ville d'Amsterdam...) imposent désormais des restrictions sur la création de nouveaux centres de données ou de calcul. Plusieurs projets ont ainsi été abandonnés suite à ces mesures. En Irlande, par exemple, qui bénéficie d'un faible taux d'imposition et de câbles sous-marins à grande capacité, plusieurs opérateurs se sont vus refuser des permis de construire. Il faut dire que si l'Irlande alloue déjà 17 % de sa consommation électrique aux datacenters, ce chiffre devrait monter à 32 % d'ici 2027, compte tenu du nombre des nouvelles implantations dejà décidées.

Conclusion

Bien que les chiffres soient alarmants, les progrès en matière d'efficacité énergétique, l'adoption croissante d'énergies renouvelables, la maîtrise administrative des ressources et l'efficience opérationnelle de l'IA frugale offrent des perspectives encourageantes. Il est cependant crucial que les entreprises technologiques, les décideurs politiques et les consommateurs travaillent ensemble à faire cesser la gabégie environnementale actuelle. Il est clairement impératif de repenser l'IA si on espère la rendre véritablement durable.

Références

Google's 2024 Environmental Report

Microsoft's 2024 Environmental Sustainability Report

Meta's 2023 Sustainability Report

EPRI: Powering Intelligence: Analyzing Artificial Intelligence and Data Center Energy Consumption

Center for Data Innovation: Rethinking Concerns About Energy Use

MIT Technology Review: Training a single AI model can emit as much carbon as five cars in their lifetimes

Columbia University: Projecting the Electricity Demand Growth of Generative AI Large Language Models in the US

Goldman Sachs: AI is poised to drive 160% increase in data center power demand

Sources

[1] Strubell, Ganesh, McCallum, Energy and Policy Considerations for Deep Learning in NLP

[2] Facebook Research, Llama 2 Model Details

[3] Luccioni, Viguier, Ligozat, Estimating the Carbon Footprint of BLOOM, a 176B Parameter Language Model

[4] Chowdery et al., PaLM: Scaling Language Modeling with Pathways

[5] Patterson et al., Carbon Emissions and Large Neural Network Training