LEBIGDATA.FR I.A, Cloud & Cybersécurité
En découvrant le véritable coût de ChatGPT, vous allez tomber des nues. Voici combien consomme l'IA en énergie, argent, data et autres ressources et pourquoi cet appétit vorace pourrait très vite poser problème…
Chaque jour dans le monde, plus de 100 millions de personnes se connectent à ChatGPT. L'intelligence artificielle d'OpenAI est utilisée pour automatiser de nombreux métiers, et offre de nombreuses possibilités pour gagner de l'argent.
Toutefois, vous ne réalisez probablement pas le véritable coût de cette révolution de l'IA. Et nous ne parlons pas du prix de la version payante ChatGPT Plus élevé à 20 dollars par mois…
Qu'il s'agisse de son entraînement ou de son fonctionnement au quotidien, ce chatbot coûte une véritable fortune et consomme une quantité de ressources absolument faramineuse. Découvrez tout ce que vous devez savoir !
ChatGPT coûte 700 000 $ par jour à OpenAI
Disons-le clairement dès le départ : ChatGPT coûte une véritable fortune à son créateur OpenAI. Rien que l'entraînement du chatbot a coûté 12 millions de dollars.
Et selon l'analyste en chef de SemiAnalysis, Dylan Patel, interrogé par The Information, l'infrastructure sur laquelle l'IA est exécutée requiert au bas mot 700 000 dollars par jour.
Vous avez bien lu. Chaque jour, la firme de San Francisco dépense près d'un million de dollars pour que ChatGPT fonctionne.
Ceci s'explique par la vaste puissance de calcul nécessaire au chatbot pour « calculer » les réponses aux prompts des utilisateurs. Cette puissance est fournie par des montagnes de serveurs dernier cri.
Et cette estimation se base sur le modèle GPT-3 qu'utilisait initialement ChatGPT ! Avec GPT-4, dernier modèle en date d'OpenAI, le prix a probablement augmenté considérablement.
Ainsi, les coûts d'exploitation de ChatGPT sur une semaine dépassent le coût total de son entraînement pourtant déjà impressionnant (comme vous allez le découvrir dans la suite de cette enquête).
Les entreprises tierces utilisant les modèles de langages d'OpenAI depuis des années savent bien à quel point les coûts sont élevés.
Par exemple, Nick Walton, CEO de Latitude, la startup à qui l'on doit le jeu vidéo AI Dungeon, a révélé que son entreprise a dépensé 200 000 dollars par mois en 2021 pour que GPT répondent aux millions de requêtes des joueurs.
C'est d'ailleurs la raison pour laquelle Latitude a décidé de changer de modèle de langage. En adoptant un logiciel fourni par AI21 Labs, elle a divisé ses charges en deux pour tomber à « seulement » 100 000 dollars par mois.
Alors pourquoi OpenAI laisse gracieusement les internautes utiliser cet outil qui lui coûte une fortune chaque jour ? Comme le dit l'adage désormais bien connu, « si c'est gratuit, c'est vous le produit ».
Il ne s'agit absolument pas d'une démarche philanthrope ou caritative de la part de la firme américaine. En réalité, elle laisse délibérément des millions de personnes utiliser ChatGPT parce que son IA se nourrit de leurs prompts et s'améliore continuellement.
En d'autres termes, malgré le coût massif d'exploitation du chatbot, OpenAI reste gagnant grâce aux innombrables données fournies par les usagers…
ChatGPT consomme autant d'eau qu'un réacteur nucléaire
Tous les larges modèles de langages (LLM) comme ChatGPT et Google Bard consomment énormément d'énergie, et requièrent des fermes de serveurs massives pour fournir assez de données pour leur entraînement.
Or, le refroidissement de ces Data Centers nécessite une quantité d'eau gargantuesque. Malgré la chaleur produite par les serveurs, la température de la salle doit être maintenue entre 10 et 25 degrés pour éviter le dysfonctionnement des machines.
Et pour préserver cette fraîcheur, on utilise généralement des tours de refroidissement reposant sur l'évaporation d'eau froide.
Ce système est efficace, mais requiert énormément d'eau. Chaque kilowatt-heure nécessite environ 3 litres.
Ainsi, selon une étude des chercheurs de l'Université du Colorado Riverside et de l'Université de Texas Arlington, l'entraînement de GPT-3 a consommé à lui seul 700 000 litres d'eau.
C'est tout bonnement l'équivalent du volume d'eau requis pour remplir la tour de refroidissement d'un réacteur nucléaire…
Et pour éviter la corrosion ou les bactéries de l'eau de mer, les Data Centers puisent l'eau de sources pures et fraiches.
En outre, une conversation moyenne avec ChatGPT équivaut à renverser le contenu d'une large bouteille d'eau fraîche par terre. Un échange de 25 à 50 questions requiert 500 millilitres.
Pour calculer la quantité d'eau consommée totale, les chercheurs ont distingué le « retrait » et la « consommation » d'eau.
Le premier terme fait référence au retrait physique de l'eau d'une rivière, d'un lac ou d'une autre source. Le second désigne spécifiquement la perte d'eau par évaporation lors de l'usage en data center.
Cette étude se concentre principalement sur le deuxième cas, car l'eau ainsi évaporée ne peut pas être recyclée.
Notons qu'OpenAI n'a pas précisé la durée de l'entraînement de GPT-3. Les chercheurs ont donc dû effectuer leurs estimations sans cette information.
Toutefois, Microsoft a précisé que son dernier superordinateur dédié à l'entraînement d'IA regroupe 10 000 cartes graphiques et 285 000 coeurs de processeur. Ceci donne une idée de l'envergure du processus.
Et si GPT était entraîné sur les Data Centers moins efficaces de Microsoft situés en Asie, la consommation d'eau serait trois fois plus élevée.
Avec l'apparition de nouveaux modèles plus larges comme GPT-4, les auteurs de l'étude s'attendent à ce que la quantité d'eau engloutie continue de s'accroître.
Face à la popularité croissante du chatbot, les chercheurs craignent que cette soif inextinguible puise dans les réserves d'eau.
A leurs yeux, « l'empreinte eau des modèles IA ne peut plus rester sous le radar, et doit être traitée comme une priorité dans les efforts collectifs pour relever les défis mondiaux liés à l'eau ».
C'est une inquiétude majeure aux Etats-Unis, à l'heure où le pays est frappé par des sécheresses historiques. Toutefois, la pénurie d'eau pose aussi problème en Europe et l'essor de l'IA pourrait ajouter un pression supplémentaire.
Cette étude sur la consommation d'eau de l'IA intitulée « Making AI Less Thirsty » (rendre l'IA moins assoiffée) a été publiée dans arxiv.
Autant d'électricité qu'un foyer moyen pendant plusieurs siècles
Outre l'eau, les nouveaux LLM comme ChatGPT requièrent énormément d'électricité. Selon une étude de Stanford, GPT-3 a relâché 502 tonnes métriques de carbone pendant son entraînement. C'est l'équivalent des émissions de 110 voitures américaines sur une année complète.
De plus, ce processus a consommé 1287 gigawatt heures. Cette énergie suffirait à alimenter un foyer américain moyen pendant plusieurs centaines d'années, ou plus de 100 foyers pendant une année complète.
Les chercheurs précisent que l'énergie utilisée pour l'entraînement n'est que 40% de l'électricité consommée pour l'usage du modèle.
Le secteur se développe si rapidement que personne ne sait exactement quelle quantité d'électricité consommée peut être attribuée à l'IA.
Déjà en 2021, l'intelligence artificielle représentait 10% à 15% de la consommation d'électricité totale de Google. Ceci représentait 2,3 terrawatts heures sur un total de 18,3 terrawatts annuels, soit autant d'électricité que tous les foyers d'une ville de la taille d'Atlanta sur une année.
En outre, les émissions de carbone peuvent varier fortement selon le type de source d'énergie utilisé. Un Data Center tirant son électricité d'une central à charbon ou au gaz naturel émet beaucoup plus que s'il est alimenté à l'énergie solaire ou éolienne.
Combien de données pour entraîner ChatGPT ?
Afin de conserver son avantage dans l'industrie de l'IA, OpenAI ne divulgue pas les secrets de son modèle GPT-4. Il est donc difficile de savoir quel volume de données a été nécessaire pour l'entraîner.
Toutefois, selon BBC Science Focus, son prédécesseur GPT-3 a été entraîné à partir d'une base de données de plus de 570Gb.
Celle-ci regroupe plus de 300 milliards de mots issus de livres, de sites web comme Wikipedia, Reddit et Twitter, d'articles scientifiques et autres types de contenus écrits.
En tant que large modèle de langage (LLM), GPT repose sur la probabilité. Cette IA est capable de prédire quel devrait être le prochain mot d'une phrase, et c'est ce qui lui permet de générer du texte.
Pour acquérir cette aptitude, le modèle est passé par un long entraînement supervisé. Il a été nourri d'inputs tels que « de quelle couleur est le bois d'un arbre ? ».
Si sa réponse était incorrecte, l'équipe lui indiquait la bonne réponse afin de lui apprendre à se corriger et développer sa base de connaissances.
Dans un second temps, l'IA donnait de multiples réponses et un membre de l'équipe était chargé de les classer de la meilleure à la moins bonne pour améliorer ses capacités de comparaison.
Ce qui distingue cette technologie est qu'elle continue d'apprendre tout en devinant quel doit être le prochain mot. Ainsi, sa compréhension des prompts et des questions s'améliore continuellement…
Plus de 10 000 GPU Nvidia pour l'entraînement
Outre les données, l'entraînement de ChatGPT requiert une immense puissance de calcul. Selon l'analyste Timothy Arcuri de USB, ce processus a nécessité 10 000 GPU Nvidia.
Par ailleurs, l'expert précisé que le système subit maintenant des pannes suite à l'explosion du nombre d'utilisateurs.
Cette inférence simultanée massive consomme tout autant de puissance que l'entraînement. Même les 10 000 GPU ne sont donc plus suffisants.
L'essor de l'IA est donc une opportunité majeure pour Nvidia qui détient plus de 90% du marché des GPU de Data Center.
La demande augmente à un rythme de 23,5% par an, et devrait tenir ce rythme jusqu'à la fin de la décennie. Par ailleurs, la firme est entrée sur le marché des processeurs de serveur basés sur Arm qui devrait tripler de volume au cours des dix prochaines années.
Dix fois plus cher que les moteurs de recherche
ChatGPT est une bonne nouvelle pour les internautes, mais pas forcément pour les géants du web…
Une étude de Reuters démontre que l'exploitation des chatbots IA va coûter beaucoup plus cher que les moteurs de recherche traditionnels.
A l'heure actuelle, Google Search fonctionne en construisant un grand index du web. Lorsque vous cherchez quelque chose, l'index est scanné et les résultats sont classés et catégorisés pour vous offrir les plus pertinents.
En revanche, une recherche avec ChatGPT implique l'activation d'un énorme réseau de neurones inspiré par le cerveau humain et la génération d'un texte en plus de l'interrogation d'un index pour recueillir les informations factuelles.
Et si une recherche Google ne prend qu'une fraction de seconde, les interactions avec ChatGPT sous forme de dialogue durent généralement beaucoup plus longtemps.
Selon Alphabet et plusieurs analystes, un échange avec un LLM coûte donc 10 fois plus cher qu'une recherche classique par mot clé. Ceci pourrait représenter une augmentation des charges à hauteur de plusieurs milliards de dollars pour Google…
Plus précisément, d'après Morgan Stanley, la hausse atteindra 6 milliards de dollars par an. De son côté, SemiAnalysis estime plutôt un coût de 3 milliards de dollars.
Il s'agit d'un problème plus important pour Google, car la recherche web est sa principale activité. La firme accapare 93% du marché, contre seulement 3% pour Microsoft Bing. Plus de 8,5 milliards de recherches web sont effectuées chaque jour sur Google…
Interrogé par Reuters, Alphabet explique chercher des moyens de réduire les coûts et pense pouvoir y parvenir en moins de deux ans.
Comment réduire le coût de ChatGPT ?
A long terme, il semble essentiel de réduire les coûts d'exploitation de ChatGPT et autres modèles d'IA générative. D'autant que la charge va continuer d'augmenter avec le nombre d'utilisateurs !
Pour y parvenir, selon The Information, Microsoft développe en ce moment même une puce IA portant le nom de code « Athena ».
Ce projet a été initié en 2019, suite à l'accord d'un milliard de dollars passé avec OpenAI et obligeant la firme à exécuter ses modèles uniquement sur les serveurs cloud Microsoft Azure.
D'une part, les dirigeants de Microsoft ont réalisé qu'ils étaient en retard sur Amazon et Google dans le développement de puces en interne. D'autre part, la firme cherchait des alternatives moins chères que les GPU Nvidia.
C'est ainsi qu'elle a décidé de construire son propre composant. Près de quatre ans plus tard, plus de 300 employés travaillent activement sur cette initiative.
La puce Athena pourrait être utilisée en interne par Microsoft et OpenAI dès 2024, selon deux sources proches du dossier questionnées par The Information.
Plusieurs mesures pourraient aussi permettre de réduire la consommation d'eau de ChatGPT. Tout d'abord, il est important de bien choisir où et quand les modèles sont entraînés.
La température extérieure peut fortement impacter le volume d'eau requis pour refroidir les Data Centers. Il est donc préférable d'entraîner une IA en pleine nuit et dans une région froide.
Les utilisateurs de ChatGPT peuvent aussi contribuer à réduire la facture en se connectant pendant les heures creuses.
Quoi qu'il en soit, ces changements requièrent une transparence accrue de la part des géants de la tech construisant ces outils…
- Partager l'article :
