LEBIGDATA.FR I.A, Cloud & Cybersécurité
Kai-Fu Lee, le chinois à la tête de ZeroOne.ai, défie les géants de l’IA avec des moyens limités. Son entreprise a développé un modèle performant pour seulement 3 millions de dollars, bien loin des budgets colossaux de la Silicon Valley.
Les entreprises d’IA chinoises, confrontées à des restrictions sur les équipements avancés, trouvent des moyens créatifs pour rester dans la course. Kai-Fu Lee, à la tête de ZeroOne.ai, a ainsi réussi à entraîner un modèle d’IA avancé avec seulement 2 000 GPU pour un coût de 3 millions de dollars.
En comparaison, OpenAI a dépensé entre 80 et 100 millions pour former GPT-4, et près d’un milliard pour GPT-5. Comment une telle prouesse est-elle possible avec un budget aussi limité ?
Un modèle chinois créé avec un budget 30 fois moins cher va bientôt voir le jour
Pour entraîner leur modèle Yi-Lightning, l’équipe de ZeroOne.aii s’est contentée de 2 000 GPU. Ce qui est très loin des 10 000 utilisés par OpenAI pour GPT-3 et des coûteux processeurs H100 pour GPT-4.
Selon Kai-Fu Lee, cette approche plus frugale a impressionné les experts de la Silicon Valley. Ils sont choqués – rien de plus normal – que le modèle chinois Yi-Lightning atteigne des performances remarquables avec un investissement si faible.
Yi-Lightning se classe actuellement sixième au classement LMSIS de l’Université de Berkeley, une position honorable face aux géants de l’IA. Ce rang prouve que les ressources financières ne sont pas les seules garantes du succès en IA. Une optimisation poussée des processus peut être tout aussi efficace.
Ce succès tient à une ingénierie minutieuse. Contrairement à OpenAI, qui empile les GPU et les milliards, ZeroOne.ai mise sur l’optimisation de chaque détail technique.
En réduisant les goulots d’étranglement pendant l’inférence et en convertissant des tâches de calcul en processus axés sur la mémoire, l’entreprise a réussi à abaisser considérablement les coûts. Cette démarche a permis à l’entreprise d’atteindre un coût d’inférence de seulement 10 centimes par million de jetons. Ce qui fait 1/30e de celui de ses concurrents.
Quel est le secret de ZeroOne.ai ?
ZeroOne.ai doit composer avec des contraintes imposées par les États-Unis. Ces derniers limitent l’accès des entreprises chinoises aux GPU de pointe comme ceux de Nvidia. Cette restriction oblige Kai-Fu Lee à redoubler d’ingéniosité.
Plutôt que de se tourner vers des centaines de milliers de GPU hors de portée, il a tourné les 2 000 GPU à sa disposition à son avantage. L’an dernier, il avait d’ailleurs confirmé que cette quantité suffisait pour tenir 1,5 an d’objectifs sans compromettre la feuille de route.
Cependant, là-dessus, les calculs ne collent pas. Un GPU Nvidia H100 coûte environ 30 000 $, ces 2 000 unités reviendraient donc à 6 millions de dollars et pas 3 millions.
Les ingénieurs de ZeroOne.ai ont mis sur pied un système de cache multicouche et un moteur d’inférence personnalisé. L’objectif est de maximiser la vitesse et minimiser les ressources nécessaires.
Cette approche, plus économique, leur permet de tirer le meilleur parti de chaque unité de calcul et de chaque dollar investi.
Personnellement, je crois que la société n’avait pas vraiment d’autres choix : elle devait soit faire avec un budget limité, soit abandonner le projet.
Pourquoi ? Comparées aux entreprises d’IA américaines, les sociétés chinoises subissent un désavantage en matière de valorisation. Cela limite leurs ressources et leurs opportunités d’investissement.
Espérons que ce modèle chinois Yi-Lightning deviendra une alternative durable à ChatGPT d’OpenAI.
Qu’est-ce que vous pensez de cette prouesse technologique ? Je vous invite à partager votre avis dans le commentaire.
Restez à la pointe de l'information avec LEBIGDATA.FR !
- Partager l'article :
