LEBIGDATA.FR I.A, Cloud & Cybersécurité
L'ère des modèles IA géants toujours plus larges est terminée, selon le CEO d'OpenAI Sam Altman. L'une des principales raisons serait la pénurie et l'explosion des coûts des GPU requis pour entraîner et faire tourner ChatGPT et ses rivaux…
Le lancement de ChatGPT fin 2022 a mis l'IA sous le feu des projecteurs, et cette technologie connaît une « hype » sans précédent.
De nombreuses personnes l'utilisent pour gagner de l'argent, et le succès du chatbot d'OpenAI a poussé Google à s'empresser de créer Bard.
Beaucoup de personnes craignent que l'IA fasse disparaître leur métier, et des milliers d'experts dont Elon Musk appellent à faire une pause d'au moins six mois pour prendre le temps de réfléchir à l'impact.
À présent, tous les regards sont tournés vers le futur de l'IA. Quelle sera la prochaine étape dans l'évolution des réseaux de neurones artificiels ? Selon certaines rumeurs, GPT-5 prévu pour fin 2023 pourrait être la première « AGI » (intelligence artificielle générale) capable de rivaliser avec le cerveau humain…
En réalité, le soufflé pourrait retomber beaucoup plus vite que prévu. Pour cause, l'augmentation exponentielle de la taille des LLM (larges modèles de langage) comme GPT va prendre fin.
Selon le CEO d'OpenAI, Sam Altman, l'ère des modèles d'intelligence artificielle toujours plus larges est déjà terminée.
Lors d'un événement organisé par le MIT, le chef d'entreprise a expliqué que les contraintes de coûts et la diminution des retours vont halter l'extension ininterrompue qu'a connu ce domaine au cours des dernières années.
ChatGPT consomme beaucoup trop de ressources
D'après ses dires, les futurs progrès ne proviendront donc plus de « modèles géants ». Il sera nécessaire de trouver des méthodes alternatives pour améliorer l'IA.
Même si Altman ne l'a pas évoqué directement, l'un des principaux facteurs de ce changement est le coût exorbitant de l'entraînement et de l'exécution des processus graphiques requis pour les LLM.
Par exemple, ChatGPT a nécessité plus de 10 000 GPU pour son entraînement. Et son fonctionnement continu requiert encore davantage de ressources…
Or, les cartes graphiques coûtent extrêmement cher. Le GPU dernier cri Nvidia H100, conçu spécifiquement pour l'IA et le HPC, est tarifé à plus de 30 000 dollars par unité. Un LLM peut donc exiger plusieurs millions de dollars de puissance de calcul.
Vers une pénurie de GPU ?
Entre l'entraînement d'intelligences artificielles et le minage de cryptomonnaies, la demande en GPU est beaucoup trop importante.
Par exemple, Elon Musk a récemment confirmé que ses entreprises Twitter et Tesla achètent des milliers de GPU pour développer sa nouvelle société X.ai visant à concurrencer OpenAI.
Selon ses propres dires, « tout le monde et son chien achètent des GPU en ce moment ». Face à cette surconsommation, même les géants du cloud comme Microsoft, Google et Amazon doivent attendre plusieurs mois pour recevoir leurs commandes.
L'explosion des coûts et la baisse des bénéfices vont donc à l'encontre de l'agrandissement perpétuel des modèles IA. Comme dans beaucoup de domaines, c'est la fin de l'abondance.
Il n'y a pas que la taille qui compte
Selon certains, la crise des GPU n'est d'ailleurs pas la seule raison de ce changement de paradigme. Le CEO de Cohere, concurrent d'OpenAI, estime que Sam Altman a réalisé que les modèles récents sont plus larges que nécessaire.
Lors de l'événement du MIT, il a d'ailleurs admis que la taille est « une fausse mesure de qualité de modèle ».
D'après lui, « il y a eu beaucoup trop de focalisation sur le nombre de paramètres, et ceci me rappelle la course aux gigahertz dans l'industrie des puces électroniques dans les années 1990 et 2000, quand tout le monde essayait d'avoir le plus gros nombre ».
En guise d'alternative, les futurs progrès proviendront d'une amélioration de l'architecture des modèles, d'une efficacité accrue de la consommation de données, et de techniques algorithmiques plus avancées.
Restez à la pointe de l'information avec LEBIGDATA.FR !
Abonnez-vous à notre chaîne YouTube et rejoignez-nous sur Google Actualités pour garder une longueur d'avance.
- Partager l'article :
