Pour à peine 30 dollars, une équipe de passionnés réussit à recréer les performances du fameux modèle Deepseek. Vous imaginez ?
Environ 30 dollars et quelques idées bien ficelées ont suffi à recréer les capacités de R1-Zero Deepseek. Loin des mégacentres de calculs, cet exploit montre que l’innovation peut aussi venir de l’imagination et du bricolage. C’est l’histoire de Jiayi Pan et ses collègues qui ont réalisé de grandes choses sans avoir besoin de millions…
TinyZero, le R1-Zero Deepseek à 30 dollars
« Les résultats sont surprenants », s’exprime Jiayi Pan, doctorant à l’université de Californie à Berkeley. Leur modèle, baptisé TinyZero, arrive à imiter les compétences de R1-Zero DeepSeek. Tout cela pour un budget dérisoire de 30 dollars, un clin d’œil aux conventions de l’industrie.
Derrière cette avancée se cache une méthode ingénieuse. L’équipe de Pan s’est inspirée du jeu « compte à rebours », un exercice mathématique simple, mais efficace. Le modèle s’entraîne progressivement à résoudre des équations complexes en affinant ses réponses.
Selon Pan, TinyZero commence par des réponses fictives. Cette IA améliore ses performances grâce à un entraînement renforcé basé sur des corrections successives. Actuellement, le modèle est accessible sur GitHub pour des améliorations continues.
Une petite révolution qui bouscule les géants de l’IA
Ce créer un modèle comme DeepSeek pour 30 dollars ne relève pas d’une simple curiosité scientifique. Il incite à repenser la conception de l’intelligence artificielle. Des entreprises comme OpenAI ou Google investissent plus de 500 milliards de dollars dans leurs modèles. Mais Jiayi Pan et son équipe démontrent qu’une alternative existe.
Appliquées à grande échelle, les méthodes pour recréer Deepseek à 30 dollars pourraient réduire considérablement les dépenses de développement. Une démocratisation de l’IA encouragerait davantage de chercheurs et de développeurs à s’y investir. Cela inciterait également des entreprises comme Meta ou Microsoft à revoir leurs stratégies.
À titre informatif, R1-Zero ne possède que 3 milliards de paramètres. Pourtant, il rivalise avec des modèles comme R1 de DeepSeek, doté de 671 milliards de paramètres. Cette réussite inspire déjà les développeurs open source en quête de solutions plus accessibles et performantes.
- Partager l'article :