LEBIGDATA.FR I.A, Cloud & Cybersécurité
Google DeepMind vient de dévoiler SIMA, une intelligence artificielle capable d'apprendre à jouer aux jeux vidéo et de suivre les consignes de son coéquipier humain. Le but ? Créer des agents IA capables d'apprendre n'importe quelle tâche et de réutiliser l'expérience acquise, notamment pour les robots du futur…
À mesure que l'intelligence artificielle s'améliore, on assiste à une diversification massive des applications. Chaque jour, de nouvelles IA apparaissent et offre des possibilités inédites.
Ce 14 mars 2024, c'est au tour de DeepMind, la filiale de Google, de révéler son nouveau projet : SIMA, un agent IA capable de jouer à des jeux vidéo en 3D sans jamais les avoir essayés auparavant.
Depuis de nombreuses années, DeepMind est bien connue pour s'intéresser à la relation entre l'IA et les jeux. Elle a notamment conçu des systèmes capables de rivaliser avec les champions de Go, d'échecs et de Stratego.
Elle a également construit des modèles capables d'apprendre à jouer à des jeux sans même qu'on leur explique les règles. Dans le domaine des jeux vidéo, son IA AlphaStar peut tenir tête aux meilleurs joueurs de StarCraft.
À présent, son nouvel agent est capable de conquérir une large variété de jeux en monde ouvert comme Grand Theft Auto. En se basant sur les instructions des humains, elle peut mener à bien une large variété de tâches.
Une IA entraînée en collaboration avec les studios de jeux vidéo
Le nom SIMA est l'acronyme de Scalable Instructable Multiworld Agent (Agent multimonde instructable et évolutif). Il s'agit d'une IA entraînée en collaboration avec plusieurs studios du jeux vidéo.
Elle a été entraînée sur neuf jeux différents, et quatre environnements de recherche dont l'un a été construit avec le moteur de jeu 3D Unity. Au sein de ce monde virtuel, SIMA a reçu pour consigne de former des sculptures à l'aide de blocs de construction.
Ceci lui a permis d'apprendre comment s'adapter à différents types de jeux vidéo, avec leurs styles graphiques propres et leurs perspectives spécifiques comme les FPS à la première personne ou les TPS à la troisième personne.
Selon les chercheurs, « chaque jeu dans le portfolio de SIMA ouvre un nouveau monde interactif, incluant une gamme de compétences à apprendre, de la simple navigation et l'usage de menu, au minage de ressources, au pilotage de vaisseau ou à la fabrication d'un heaume ».
Comment s'est déroulé l'entraînement ?
Afin d'entraîner SIMA, les chercheurs ont tout d'abord enregistré des humains en train de jouer aux jeux vidéo, tout en notant les commandes de clavier et souris qu'ils utilisaient.
Ces informations ont été utilisées pour nourrir SIMA, qui se base à la fois sur un modèle de mapping image-langage et sur un modèle vidéo lui permettant de visionner un jeu joué sur un écran et de prédire ce qui va se passer.
L'IA est capable de comprendre une large variété d'environnements de jeux, puis d'effectuer presque n'importe quelle tâche qu'on lui demande de compléter.
Ce qui est tout particulièrement impressionnant est que SIMA n'a pas besoin d'accéder au code source du jeu. Elle se contente de jouer aux versions commerciales du jeu, comme n'importe quel joueur.
Elle n'a besoin que de deux inputs : l'action à l'écran, et les instructions d'un utilisateur humain. Par la suite, l'IA joue aux jeux en utilisant un clavier et une souris.
L'IA réutilise l'expérience acquise dans différents jeux !
Les performances de SIMA ont été évaluées par DeepMind sur des centaines de jeux basiques dans différentes catégories comme la navigation, les tâches basées sur des menus ou l'interaction avec des objets.
Ils ont ensuite testé ses capacités en l'entraînant à jouer à un jeu avant d'y rejouer, en se servant de cette base pour mesurer ses performances.
D'après les chercheurs, un agent ayant d'abord été entraîné sur les neuf jeux se révèle bien plus performant dans un jeu spécifique qu'un agent ayant été entraîné uniquement sur le jeu.
Tout porte donc à croire que l'IA peut puiser dans son expérience acquise dans différents jeux pour améliorer ses performances. C'est exactement la même chose pour un gamer humain qui accumule de l'expérience et du « skill » en jouant à de nombreux jeux différents !
Une autre approche était d'entraîner un agent SIMA sur huit jeux, puis de la tester sur le neuvième sans qu'elle l'ait essayé avant. Dans ce cas de figure, l'IA s'est révélée presque aussi performante qu'un agent qui n'avait été testé que sur le jeu en question.
Selon les chercheurs, « cette capacité à fonctionner dans de tout nouveaux environnements met en lumière la capacité de SIMA à généraliser par-delà son entraînement. C'est un résultat initial prometteur, mais davantage de recherche est requise pour que SIMA atteigne un niveau humain à la fois dans les jeux qu'elle a vu et ceux qu'elle n'a jamais vu ».
L'accompagnement d'un humain reste nécessaire
Au fil de leurs expériences, les chercheurs ont découvert que SIMA a besoin d'un peu de conseils des humains pour fonctionner correctement.
Un agent qui n'a pas eu d'entraînement de langage ou d'instructions n'est pas capable de marcher là où on lui indique, et se contente de mener des actions basiques comme la collecte de ressource. Elle se comporte correctement, mais sans but.
Une préparation pour les robots du futur
Alors, concrètement, à quoi ça peut bien servir ? Selon les chercheurs, la capacité de SIMA à suivre les consignes et à compléter des tâches dans les jeux vidéo pourrait paver la voie pour des agents IA capables d'interagir avec le monde réel.
Il pourrait être possible de développer une nouvelle génération d'agents IA généralistes, guidés par le langage. En les exposant à davantage d'environnements d'entraînement, ils deviennent plus polyvalents et généralisables.
Les jeux vidéo ne sont pas une fin, mais un moyen. Ils constituent un excellent terrain de jeu pour l'IA en permettant de simuler des environnements réalistes, et peuvent être utilisés pour tester les capacités d'orientation et d'écoute.
C'est précisément ce que fait DeepMind en laissant ses agents SIMA découvrir de nouveaux jeux en suivant les commandes vocales. Il ne s'agit pas de pousser l'IA à gagner, mais de la laisser appliquer les leçons apprises au gré de ses pérégrinations dans les jeux.
L'objectif ultime est de créer des agents capables d'effectuer des tâches plus sophistiquées, en plusieurs étapes, en se basant sur des prompts en langage naturel.
La firme souhaite créer des systèmes et agents IA capables de comprendre et de mener à bien des tâches très variées de façon utile pour les gens, « à la fois sur internet et dans le monde réel » !
Dans un avenir proche, on peut facilement imaginer qu'une IA comme Google Genie crée des jeux vidéo pour que les IA comme SIMA puissent s'entraîner au sein de ses simulations…
- Partager l'article :
