Les trois pénuries dont pâtit l’intelligence artificielle générative

Deux de ces disettes posent d’énormes défis environnementaux.

La première est d’ordre énergétique.

Ainsi, la création d’une image à l’aide d’une intelligence artificielle générative consomme-t-elle autant d’énergie que la recharge complète d’un smartphone. La production de texte est beaucoup moins énergivore : générer du texte 1 000 fois n’emploie que 16% de l’énergie d’une recharge complète. Au total, la consommation d’énergie annuelle de l’intelligence artificielle équivaut aux besoins d’un pays comme les Pays-Bas.

On pourrait penser que l’entraînement des grands modèles de langage est encore plus dévorateur d’énergie que leur inférence. En effet, si l’on attribuait une goutte d’eau à chaque calcul nécessaire à la formation du modèle PaLM de Google, par exemple, le volume ainsi constitué suffirait à remplir l’océan Pacifique. Pourtant, l’utilisation de ces modèles, sur lesquels plusieurs millions, voire dizaines de millions, de requêtes sont effectuées chaque jour est encore plus gloutonne que leur entraînement.

C’est la raison pour laquelle, Microsoft a signé, dans le cadre de son objectif de 100% de consommation d’énergie sans carbone d’ici 2030, le plus important contrat d’achat d’énergie renouvelable jamais conclu par une entreprise, pour un coût estimé entre 11,5 et 17 milliards de dollars. Dans une autre logique, Amazon Web Services va payer jusqu’à 650 millions de dollars pour installer un centre de données en Pennsylvanie à proximité d’une centrale nucléaire. Et l’intelligence artificielle peut contribuer à apporter une solution au problème energétique qu’elle pose : des chercheurs de Princeton ont réalisé, avec une intelligence artificielle, une avancée dans le contrôle des réactions de fusion, un pas important pour faire de l’énergie de fusion avec du plasma une source non polluante quasi illimitée.

Deux approches permettraient de réduire la consommation électrique des intelligences artificielles génératives : leur usage raisonné (comme l’écrivait The Wall Street Journal il y a quelques mois, “utiliser ChatGPT pour résumer un email revient à se faire livrer une pizza par une Lamborghini“) et le recours à des modèles plus petits, optimisés pour certaines tâches, plutôt qu’à de grands modèles généralistes. A cet égard, Microsoft Research a récemment présenté une nouvelle variante de modèle de langage ayant une taille d’un seul bit.

Ces deux résolutions permettraient également de modérer quelque peu le deuxième risque environnemental, qui résulte de la consommation d’eau par les systèmes d’intelligence artificielle. Si l’entraînement d’un grand modèle de langage coûte 126 000 litres d’eau, une conversation avec ChatGPT en dépense environ un demi-litre. Dans ce domaine aussi, les grands acteurs de l’intelligence artificielle, au premier rang desquels Google, Meta et Microsoft, prévoient d’atténuer leur impact écologique en s’efforçant, grâce à divers projets dédiés, de reconstituer plus de stocks d’eau qu’elles n’en consommeront d’ici 2030.

La troisième carence concerne les données.

Le dernier “AI Index Report” en date de l’Université de Stanford prédit que les données linguistiques de haute qualité nécessaires à l’entraînement des modèles d’intelligence artificielle générative seront probablement épuisées dans le courant de l’année. Or les grands modèles de langage ont jusqu’à présent progressé grâce à l’augmentation du volume de données sur lequel ils étaient formés. Si les grands modèles continuent de dominer aux dépens des modèles plus ciblés (cf. supra), le risque est donc qu’ils soient bientôt partiellement formés avec des données synthétiques, c’est-à-dire des données créées par des intelligences artificielles qui perpétueront biais, erreurs et désinformations.

Une méthode prometteuse pour éviter cette dérive est la génération augmentée de récupération (“retrieval augmented generation” ou RAG) qui donne accès aux modèles d’intelligence artificielle à des données, le plus souvent privées (appartenant à une entreprise), plus pertinentes que les données accessibles sur Internet – c’est par exemple la logique qui préside, dans notre sphère, à la conclusion d’accords entre des créateurs de grands modèles et des médias afin que ceux-là puissent exploiter légalement les archives et flux d’actualités de ceux-ci. Cette technique est principalement utilisée pour réduire la tendance de ces outils à l’hallucination (c’est-à-dire à inventer les informations qu’ils ne connaissent pas) mais peut aussi être mise à profit pour optimiser leur formation dans une optique faisant prévaloir la qualité des données d’entraînement sur leur quantité.