GPT-6 Astra vient de terminer une partie de World of Warcraft d’une manière pour le moins surprenante. Le modèle d’OpenAI n’a jamais regardé l’écran. Pour se repérer, il a plutôt analysé les informations échangées entre le jeu et son serveur.
L’expérience vient du projet open-source agent-wow. Son développeur a confié à Codex, avec GPT-6 Astra réglé sur un niveau de raisonnement élevé, une mission assez simple.
En quoi consistait-elle ? Créer un personnage orc puis accomplir toutes les quêtes de sa zone de départ. L’agent a terminé le parcours en 40 minutes environ, sans mourir une seule fois.
Comment GPT-6 Astra s’y est-il pris pour jouer à World of Warcraft sans regarder l’écran ?
Pour jouer, GPT-6 Astra n’a utilisé ni capture d’écran ni système de vision par ordinateur. L’agent a plutôt récupéré différentes informations transmises par le serveur de jeu. Parmi ces dernières figurent les messages réseau, les données liées aux quêtes et les fichiers utilisés pour la navigation.
À partir de ces éléments, le modèle a progressivement reconstitué une représentation de l’environnement de World of Warcraft. Il pouvait ainsi déterminer ce qui se passait dans le jeu et choisir ses prochaines actions sans avoir besoin de « voir » son personnage à l’écran.
L’expérience s’est déroulée sur un serveur privé local fonctionnant avec AzerothCore. Il ne s’agissait donc pas des serveurs officiels de Blizzard.
Mais ce n’est pas le seul détail impressionnant dans cette expérience. Au fait, le projet Agent-wow n’a pas non plus fourni à l’IA une série de commandes toutes faites pour se déplacer, combattre ou interagir avec les personnages.
GPT-6 Astra a dû lui-même développer les outils dont il avait besoin. Pendant la session, il a notamment créé un module capable d’interpréter plusieurs dizaines de types de messages envoyés par le serveur et de conserver les informations utiles en mémoire.
Un script Python récupérait ensuite ces données pour construire l’état du monde du jeu et transmettre les actions choisies par l’agent au serveur.
- Partager l'article :
