L’IA MotionGlot traduit le langage naturel en commandes de mouvement compréhensibles et exécutables par les robots.
À Providence, Rhode Island – Des chercheurs de l’Université Brown ont développé un modèle d’IA nommé MotionGlot. Cet outil permet de contrôler le mouvement de robots et de personnages numériques à l’aide de simples instructions textuelles. L’innovation simplifie la commande des machines, une avancée utile en robotique, animation et réalité virtuelle.
L’IA MotionGlot traduit un texte en mouvement
Un robot humanoïde, un quadrupède ou un personnage animé ne se déplacent pas de la même manière. Même une action aussi simple que marcher diffère selon la morphologie.
Jusqu’à récemment, les systèmes intelligents peinaient à généraliser une instruction à des types de corps variés. L’IA MotionGlot relève ce défi posé par la diversité des corps robotiques.
Ce modèle interprète une instruction comme un traducteur passe de l’anglais au chinois. Des commandes textuelles, telles que « avancer et tourner à gauche », deviennent une séquence de mouvements adaptée à la structure physique du robot ou de l’avatar.
Pour y parvenir, les chercheurs ont adopté une approche inspirée des LLM, similaires à ceux qui alimentent les générateurs de texte. L’IA MotionGlot décompose les mouvements en unités élémentaires, nommées « jetons de mouvement », comparables aux mots dans une phrase.
En prédisant la suite de ces jetons, le modèle produit des actions fluides et naturelles. Par exemple, « marcher joyeusement » se traduit par des pas rythmés pour un humanoïde ou un trottinement vif pour un quadrupède.
Entraînement sur des données variées
L’entraînement de l’IA MotionGlot repose sur deux ensembles de données. La première, QUAD-LOCO, contient des mouvements de robots quadrupèdes annotés. Le second, QUES-CAP, inclut des mouvements humains associés à des descriptions textuelles.
Ces données permettent à MotionGlot de comprendre comment une même intention varie selon le corps. Lors des tests, cette IA a démontré une remarquable flexibilité.
Le modèle exécute aussi bien des ordres précis (« reculer, puis tourner ») que des demandes vagues (« faire du cardio »), avec des réponses adaptées au contexte.
Les applications potentielles de MotionGlot sont vastes, de la robotique aux jeux vidéo en passant par les animations. Cependant, cet outil présente des limites.
Le modèle a été testé sur des données contrôlées, nécessitant ainsi davantage d’informations pour être pleinement déployable à grande échelle.
Naturellement, les chercheurs souhaitent rendre MotionGlot accessible au public. Le projet bénéficie déjà du soutien de l’Office of Naval Research. Cette recherche sera présentée à la Conférence internationale sur la robotique et l’automatisation 2025, du 19 au 23 mai à Atlanta.
- Partager l'article :
