NVIDIA Cosmos 3 n’est pas un simple générateur vidéo de plus. C’est un modèle de monde omnimodal capable de comprendre la physique, l’espace et le temps. Il est destiné à nourrir la prochaine génération d’environnements XR. Pour les développeurs VR/AR, c’est peut-être la fin programmée du bricolage manuel des mondes virtuels.
Pendant dix ans, la VR a buté sur un mur. Générer des environnements crédibles respectant les lois physiques coûtait un temps fou. NVIDIA Cosmos 3, dévoilé le 31 mai 2026 au GTC Taipei, change la donne. Ce « World Foundation Model » est capable de comprendre et de simuler les lois physiques. Il a été entraîné sur une base massive de 20 000 milliards de données incluant texte, images, sons et actions.
De la génération 2D à la physique temps réel : qu’est-ce que NVIDIA Cosmos 3 ?
Contrairement aux générateurs vidéo classiques qui produisent des pixels plausibles sans comprendre la scène, Cosmos 3 modélise explicitement la causalité physique : mouvement, gravité, collisions et occlusions. Comme l’explique cet article détaillé sur l’IA qui comprend la vraie vie, le modèle bascule vers une architecture unifiée où texte, image, vidéo, audio et actions cohabitent dans une seule passe d’inférence. L’ancienne génération de pipelines juxtaposait un VLM de compréhension, un générateur vidéo séparé et un modèle d’action distinct ; cette fusion réduit désormais les points de friction et les erreurs de propagation.
Il existe aujourd’hui trois tailles : Nano (16 milliards de paramètres), Super (64 milliards, dont 32B de raisonneur et 32B de générateur) et Edge (4 milliards, annoncé pour l’inférence embarquée sur systèmes Jetson). Cosmos 3 est entraîné sur près d’un milliard d’images et 400 millions de vidéos réelles et synthétiques. Il est capable de modéliser comment un objet, un avatar ou un robot va se déplacer dans l’environnement et dans le temps.
Décryptage de l’architecture Mixture-of-Transformers
Le cœur technique de Cosmos 3 repose sur une architecture Mixture-of-Transformers (MoT) à deux tours distinctes mais couplées. La tour autorégressive traite les tokens de texte et de vision avec une attention causale classique, permettant le raisonnement, la planification et la prédiction du prochain token, le mode « Reasoner ». La tour de diffusion, elle, traite les tokens vision, audio et action à travers une attention complète pour débruiter et générer des sorties multimodales cohérentes, le mode « Generator ».
Les deux tours gardent leurs propres couches de normalisation et leurs propres perceptrons multicouches, mais partagent les couches d’attention multimodale qui alignent l’information entre langage, vidéo, audio et action. Concrètement, cela permet au modèle de raisonner sur une scène avant de la générer, plutôt que d’halluciner à l’aveugle. Cette approche est directement héritée de Cosmos Reason 2, le modèle de raisonnement 2B/8B bâti sur Qwen2.5-VL qui trônait en tête du Physical AI Bench avant l’arrivée de Cosmos 3, et dont les capacités de localisation 2D/3D ont été absorbées dans la nouvelle architecture unifiée.
Pourquoi Cosmos 3 est une révolution pour les mondes virtuels et la VR ?
Pour un développeur XR, la promesse tient en un mot : cohérence. Cosmos 3 génère des séquences conditionnées par l’action (action-conditioned generation). En utilisant la trajectoire de la main ou la position de la manette, le modèle anticipe des scènes calquées sur la gravité, l’inertie et les chocs. Il produit une suite visuelle logique, sans les approximations liées à une création image par image. Cette innovation transforme la création de mondes en réalité virtuelle. Jusqu’ici, il fallait tout bâtir à la main ou utiliser des images figées.
Désormais, ces univers se créent avec une grande souplesse. Là où un NeRF ou un Gaussian Splat fige une scène captée, Cosmos 3 peut projeter son évolution dans le temps et proposer des variantes physiquement plausibles. Ceux-ci sont utiles pour peupler des mondes VR génératifs sans reconstruction manuelle.
Le modèle intègre aussi des composants dédiés au « sim-to-real upscaling ». Il prend une simulation basse-fidélité issue d’un moteur de jeu ou d’un simulateur physique comme IsaacSim. Il l’enrichit de textures et d’éclairages réalistes. Pour la VR, cela signifie des environnements générés qui ne trahissent plus leur origine synthétique dès qu’on tourne la tête. C’est un enjeu direct de latence photométrique et de crédibilité perceptive en casque.
La fin du Sim-to-Real Gap dans les casques XR avec le combo Omniverse et Cosmos 3
Le couple Omniverse-Cosmos 3 attaque frontalement le Sim-to-Real gap, cet écart entre ce qu’un environnement simulé montre et ce que l’utilisateur perçoit comme réel en immersion. Omniverse fournit la scène 3D structurée et la simulation physique déterministe. Cosmos 3 vient l’habiller et la faire évoluer avec un réalisme photométrique que le rendu temps réel seul peine à atteindre, surtout sous contrainte de foveated rendering où seule la zone fixée par le regard reçoit un traitement haute fidélité.
NVIDIA parle aussi de simulation « multivers ». Il utilise Cosmos et Omniverse en même temps pour générer tous les environnements plausibles qu’un agent pourrait emprunter, afin d’en sélectionner le plus pertinent. Ce concept est directement transposable à la génération d’embranchements narratifs ou de variantes d’environnements en VR.
NVIDIA positionne également Cosmos comme un pont entre environnements synthétiques propres et désordre du monde réel. Elle facilite la génération de scénarios rares ou dangereux difficiles et coûteux à capturer en conditions réelles. Initialement pensée pour les robots et les véhicules autonomes, cette technologie est désormais idéale pour les simulateurs de réalité virtuelle. Elle permet de s’entraîner sans risque à des situations rares ou dangereuses, comme la chirurgie ou le pilotage industriel.
Le déploiement Edge de Cosmos 3, détaillé dans cet article sur Cosmos 3 Edge, vise l’inférence en temps réel sur systèmes contraints. C’est une architecture transposable aux casques autonomes qui devront, à terme, exécuter ce type de raisonnement spatial en local, sans dépendre du cloud.
Quel matériel pour faire tourner Cosmos 3 ?
Contrairement à un modèle fermé accessible uniquement via API, Cosmos 3 est diffusé sous licence ouverte OpenMDW-1.1, avec les poids de Nano et Super publiés sur Hugging Face et GitHub dès le lancement. Côté matériel, la variante Nano (16B) cible les stations de travail équipées de GPU RTX PRO 6000, avec environ 96 Go de VRAM recommandés pour une inférence complète en BF16. La variante Super (64B) exige des GPU datacenter de génération Hopper (H100, H200) ou Blackwell (B100, B200).
Pour le déploiement en production, NVIDIA propose des microservices NIM conteneurisés, avec des réglages fins comme la précision (bf16, fp8, ou nvfp4 réservé à Blackwell) et le profil de performance (latence ou débit). Un essai sans GPU est aussi disponible sur build.nvidia.com pour prototyper avant d’investir. Cette flexibilité de déploiement permet à un studio XR indépendant d’envisager Cosmos 3 sans attendre un accès entreprise exclusif. C’est par exemple le cas de ses concurrents fermés comme Genie 3 de Google, encore réservé à un usage académique en preview.
Tableau comparatif technique de Cosmos 3 vs anciens modèles de monde :
| Modèle | Architecture | Paramètres | Modalités | Sim-to-Real / Action | Cible principale |
| Cosmos 1 / Cosmos Predict | Diffusion vidéo classique | Variable, mono-tour | Texte, image, vidéo | Limité, pas d’action native | Génération de vidéos synthétiques |
| Cosmos 2.5 (Predict 2.5) | Modèle unifié Text2World/Image2World/Video2World | Entraîné sur 200M de clips | Texte, image, vidéo | Alignement physique amélioré, vidéos jusqu’à 30s | Mondes vidéo synchronisés |
| Cosmos Reason 2 | VLM de raisonnement (base Qwen2.5-VL) | 2B / 8B | Vision, texte, localisation 2D/3D | Raisonnement, pas de génération d’action motrice | Compréhension spatiale, robotique |
| Cosmos 3 | Mixture-of-Transformers, deux tours | 4B (Edge) / 16B (Nano) / 64B (Super) | Texte, image, vidéo, audio, action | Natif : action-conditioned generation, upscaling sim-to-real | Physical AI unifiée, robotique, XR, véhicules autonomes |
| Sora / Gen-3 | Diffusion vidéo générale | Non divulgué | Texte, image, vidéo | Aucun conditionnement par action physique | Vidéo créative grand public |
Là où des outils comme Sora se contentent de créer des images visuellement crédibles, Cosmos 3 privilégie la logique physique et la précision des mouvements, une exigence cruciale pour l’interaction en temps réel dans un monde virtuel. Quant au raisonnement, les capacités de Cosmos Reason 2 ont été directement intégrées et approfondies dans le module de compréhension de Cosmos 3, lui permettant de surpasser les références actuelles en robotique, infrastructures intelligentes et conduite autonome.
L’écosystème Cosmos : coalition, GR00T et curation de données à grande échelle
Grâce à une vaste collaboration technologique et une capacité de traitement de données ultra-rapide, NVIDIA Cosmos 3 simplifie la création de mondes virtuels. Les développeurs peuvent ainsi concevoir des environnements immersifs et réalistes beaucoup plus rapidement qu’auparavant. En parallèle, Isaac GR00T, le robot humanoïde de référence de NVIDIA annoncé aussi à GTC Taipei, s’appuie sur Cosmos pour sa pile logicielle complète aux côtés d’Isaac Sim, Isaac Lab et ROS.
Pour la partie données, le pipeline NeMo Curator accéléré par Blackwell permet de traiter, curer et labelliser 20 millions d’heures de vidéo en 14 jours au lieu de plus de trois ans sur une architecture CPU classique. Le Cosmos Tokenizer est huit fois plus efficace et douze fois plus rapide que les outils précédents. Cette puissance permet d’entraîner des modèles sur des millions d’heures de vidéo. Ces données sont désormais accessibles aux indépendants grâce à l’écosystème Hugging Face.
Impact pratique pour les créateurs VR, développeurs Unreal/Unity et geeks
Grâce à Cosmos 3, les studios XR peuvent désormais générer des données synthétiques pour enrichir leurs personnages et environnements dans Unreal ou Unity. Le modèle étant ouvert, il facilite la création sans effort de variantes de décors et améliore la précision des simulateurs professionnels. Disponibles sur Hugging Face pour PC ou casques, les versions Nano et Super sont prêtes pour une utilisation via NIM, tandis que la version Edge permettra un calcul local dans les casques autonomes grâce au « sim-to-real upscaling ».
À qui s’adresse NVIDIA Cosmos 3 ?
NVIDIA Cosmos 3 s’adresse avant tout aux professionnels et développeurs qui travaillent à l’intersection de l’intelligence artificielle, de la robotique, de la simulation et des environnements immersifs. Cette plateforme intéresse les ingénieurs en robotique qui cherchent à entraîner et tester des machines dans des environnements virtuels avant leur déploiement dans le monde réel. Elle peut également intéresser les développeurs d’IA physique, les chercheurs et les équipes industrielles qui souhaitent générer des données synthétiques réalistes afin d’améliorer l’apprentissage des modèles.
Dans l’univers de la réalité virtuelle, de la réalité augmentée et du spatial computing, Cosmos 3 peut aussi servir de brique technologique pour créer des environnements simulés plus riches et cohérents. Les entreprises spécialisées dans l’automobile, les robots autonomes, les systèmes intelligents ou les jumeaux numériques font partie des utilisateurs potentiels.
En revanche, Cosmos 3 n’est pas conçu comme un simple outil grand public destiné à créer des images ou des vidéos. Sa véritable valeur réside dans sa capacité à contribuer au développement de systèmes capables de comprendre et d’interagir avec le monde physique. Pour les développeurs et chercheurs qui explorent cette nouvelle génération d’IA incarnée, Cosmos 3 offre donc un environnement très stratégique.
- Partager l'article :
