LEBIGDATA.FR I.A, Cloud & Cybersécurité
Google vient de dévoiler Genie : une intelligence artificielle capable de générer un jeu vidéo à partir d'un prompt ou d'une simple image soumise par l'utilisateur. Découvrez comment ça marche, et comment l'IA s'apprête à transformer totalement le monde du gaming !
Si vous êtes gamer, comme moi, vous avez certainement déjà rêvé de créer votre propre jeu vidéo. Malheureusement, les logiciels comme RPG Maker requièrent énormément d'efforts pour obtenir un résultat décent.
Maîtriser un moteur comme Unity et un langage de programmation n'est pas non plus à la portée du premier venu, et les places dans les écoles spécialisées comme Enjmin sont très limitées.
C'est la raison pour laquelle la plupart des fans de jeux vidéo se contentent de jouer plutôt que de créer. Toutefois, l'intelligence artificielle s'apprête à tout changer !
À la manière dont MidJourney et DALL-E permettent à n'importe qui de créer des images, et comme Sora va transformer tout un chacun en cinéaste, une nouvelle IA va vous laisser créer votre jeu en toute simplicité : Genie, créé par Google DeepMind.
Google Genie, une IA entraînée sur 200 000 heures de jeux vidéo
Dévoilé le 26 février 2024 sur le blog de DeepMind, cet outil peut créer un jeu vidéo à partir d'un simple prompt (une description textuelle) ou même d'une seule image !
C'est le fruit d'une collaboration entre Google et l'University of British Columbia. Son nom est l'abréviation de « Generative Interactive Environments ».
Son fonctionnement repose sur un modèle d'action latente qui infère les actions entre les images, un tokenizer qui convertit les images vidéo en tokens, et un modèle dynamique déterminant la prochaine image.
Avec 11 milliards de paramètres, Genie AI est un modèle relativement petit. Il a été entraîné sur plus de 200 000 heures de vidéos de personnes jouant à des jeux, et plus précisément des jeux de plateformes en 2D tels que Super Mario ou Contra.
Il s'agit de vidéos issues d'internet, disponibles publiquement sur des plateformes spécialisées telles que Twitch ou YouTube.
Cet entraînement s'est déroulé sans supervision humaine. Pourtant, Genie a été capable de comprendre les mécaniques et la physique de l'action.
Et ce, sans même que les streams vidéo ne contiennent d'informations sur les boutons pressés par le joueur !
Fort de cet entraînement, le modèle peut transformer une photo, un croquis ou même une image générée par l'IA en jeu vidéo jouable et réactif aux commandes de l'utilisateur. Le processus s'effectue en une seule étape.
II génère les images et autres éléments requis pour transformer le croquis en un monde ouvert pleinement réalisé, puis prédit les prochains pixels en se basant sur les actions du joueur.
La vidéo est compressée par le tokenizer, puis envoyée à au modèle d'action pour encoder les transitions entre deux images comme l'une des huit actions latentes. Un autre modèle est ensuite utilisé pour prédire les futures images.
Bien évidemment, la qualité des jeux est encore très limitée. L'IA a été entraînée sur des vidéos minuscules en très faible définition 160×90 pixels à seulement 10 images par seconde.
Elle génère donc des jeux dans une définition similaire, qui ne dure que 16 secondes et… à seulement une image par seconde.
On est donc encore loin d'une IA capable de créer Elden Ring ou Baldur's Gate 3 en un claquement de doigts. Toutefois, Genie est un projet de recherche et non un produit fini.
Il s'agit de la première pierre, la première étape d'une révolution dans le monde du jeu vidéo. Déjà en 2023, les cadres de Microsoft Xbox avaient prédit que d'ici moins d'une décennie, l'IA pourrait créer n'importe quel jeu vidéo à partir d'un prompt de l'utilisateur.
À partir de maintenant, l'intelligence artificielle ne va faire que progresser et se développer à un rythme effréné. Rappelez-vous qu'il y a moins de deux ans, le fait qu'une IA puisse créer de simples images semblait déjà extraordinaire…
De même, en 2021, internet s'enflammait pour une IA qui avait créé une simulation automobile complètement floue et minimaliste en regardant GTA V.
Au fil du temps, Genie va pouvoir s'entraîner à partir de vidéos plus longues, en meilleure définition, avec davantage de puissance de calcul, et pourra donc à son tour produire des jeux d'une qualité nettement supérieure.
L'IA pourra bientôt créer d'immenses mondes virtuels
Qu'il s'agisse de Google Genie ou du générateur de vidéos OpenAI Sora, les outils d'intelligence artificielle se multiplient et convergent vers un même objectif : la création de mondes en 3D interactifs, de personnages et de modèles de langage naturel dans le style de GPT.
En parallèle, la technologie des casques de réalité virtuelle évolue aussi à vive allure. À terme, c'est une véritable révolution qui nous attend dans le domaine du divertissement et nous serons bientôt capables d'arpenter de vastes mondes imaginaires plus vrais que nature.
Tout ce que vous verrez, entendrez et ferez sera généré par l'IA en temps réel. Les personnages non-joueurs (PNJ) seront capables de converser avec vous sur n'import quel sujet.
Déjà à l'heure actuelle, OpenAI Sora peut créer des personnages, des styles et des environnements persistants. La caméra peut se regarder ailleurs, puis revenir et les objets et personnages seront toujours présents.
Cette IA a absorbé tant de vidéos qu'elle est capable de comprendre comment la physique fonctionne, et comment les objets, surfaces et substances sont liés entre eux et interagissent.
De son côté, l'IA ElevenLabs peut déjà ajouter de l'audio et des effets sonores sur n'importe quelle vidéo de manière automatisée.
En parallèle, la génération de musique par IA avance également très rapidement. C'est par exemple le cas de Suno V3 qui peut créer toute une chanson à partir de vos paroles.
On peut anticiper des jeux vidéo dans lesquels des PNJ créeront des chansons pour narrer vos exploits tels de véritables bardes.
En combinant tous ces différents types d'outils, l'IA pourra bientôt créer tout un monde interactif, tout un jeu vidéo AAA à partir d'un simple croquis ou d'un prompt. Vous pourrez les modifier à votre guise comme un dieu modelant son propre univers…
Quels sont les obstacles à surmonter ?
Pour le moment, le principal obstacle à cette nouvelle ère du jeu vidéo est le hardware. Le nombre de GPU permettant d'entraîner et d'exécuter les IA est limité, et les fournisseurs comme Nvidia peinent à répondre à la demande.
Cependant, de nouvelles puces spécialement dédiées à l'IA sont en développement et vont permettre à l'industrie d'accélérer.
Il faudra encore d'immenses avancées en matériel, en connectivité et en stockage d'énergie pour faire tourner une telle technologie dans un casque VR suffisamment compact pour être porté.
Et pour permettre au joueur de réellement s'immerger, des progrès devront aussi être effectués dans le domaine des retours haptiques.
Vers des jeux vidéo directement injectés dans nos cerveaux ?
À terme, la meilleure solution pourrait être d'injecter directement ces visions et ces sensations dans nos cerveaux via des câbles, mais est-ce réellement ce que désirent les joueurs ?
Rappelons que la startup Neuralink d'Elon Musk a réalisé son premier implant cérébral sur un humain, et celui-ci est désormais capable de contrôler une souris d'ordinateur par la pensée.
Cette technologie est pour l'instant destinée au domaine médical, mais Musk n'a jamais caché son intention d'utiliser le Neuralink pour connecter le cerveau humain à l'IA .
Ceci permettra un transfert direct d'informations, bien plus rapidement qu'avec un clavier ou même avec le langage. Les données seront transmises aussi vite que les pensées fusent dans votre esprit.
D'autres technologies en développement permettront bientôt aux ordinateurs de réagir en temps réel à vos émotions, afin d'optimiser les jeux vidéo pour l'utilisateur.
Un pas de plus vers l'AGI et les robots humanoïdes
L'intelligence artificielle se développe à une vitesse ahurissante, et change le monde plus rapidement que n'importe quelle autre technologie auparavant dans l'histoire de l'humanité.
Pour en revenir à Google Genie, il ne s'agit donc que d'une brique parmi d'autres dans la grande convergence qui s'apprête à bouleverser la façon dont nous explorons l'imaginaire tel un véritable tsunami.
Au-delà du jeu vidéo, l'IA apprend peu à peu à comprendre notre monde. Selon Tim Tim Rocktäschel, le directeur de l'équipe à l'origine du projet, ce modèle peut aussi transmettre ses connaissances sur les mondes 3D à d'autres agents ou modèles IA.
Comme il l'explique, « nous avons aussi entraîné Genie sur des données robotiques (RT-1) sans action et avons démontré que nous pouvons aussi entraîner un simulateur d'action contrôlable. Nous pensons que c'est un pas prometteur vers les modèles de monde général pour l'AGI ».
Les futurs agents IA pourront être entraînés dans une succession sans fin de nouveaux mondes générés. L'étude prouve aussi que les actions apprises par Genie peuvent être transférées à des environnements réels conçus par l'humain, et les chercheurs affirment qu'il ne s'agit que d'un début.
Chaque progrès réalisé par l'IA est un pas en avant vers son incarnation dans des robots humanoïdes capables d'effectuer n'importe quelle tâche et vers l'émergence d'une IA générale dotée de sa propre conscience…
- Partager l'article :
