Afin d’améliorer les mouvements des robots, Google DeepMind a utilisé la technique d’IA générative de Diffusion sur laquelle reposent les générateurs d’images comme OpenAI DALL-E. Ceci permet aux mains robotiques de prédire les actions et d’accroître massivement leur dextérité !
Depuis 2022, de nombreuses IA génératives ont été lancées. Les chatbots comme ChatGPT génèrent du texte, et les générateurs d’images comme DALL-E ou MidJourney créent des images.
Les IA comme OpenAI Sora ou Kling permettent même de créer des vidéos à partir d’un prompt ! Toutefois, Google DeepMind a décidé d’aller plus loin en utilisant l’IA générative pour animer les robots humanoïdes !
Les ingénieurs de la firme viennent d’annoncer le développement de deux nouveaux systèmes robotiques basés sur l’IA : ALOHA Unleashed et DemoStart.
Le premier a été développé pour faire avancer la science de la manipulation à deux bras, le second pour améliorer les capacités des mains robotiques dotées de plusieurs doigts, joints ou capteurs.
ALOHA Unleashed : la Diffusion permet aux robots de prédire les actions
Comme l’explique l’équipe de recherche, une main robotique conçue pour ramasser ou déplacer des objets agit généralement seule. Elle n’a pas de seconde main pour l’aider.
L’objectif du projet est donc d’utiliser la technologie IA pour apprendre à un robot à utiliser ses deux mains en conjonction pour compléter une tâche « difficile » comme de lacer des chaussures.
C’est ce que permet ALOHA Unleashed. Ce nouveau système est basé sur ALOHA 2 et la plateforme ALOHA, développée par Stanford University pour une utilisation sur des applications de télé-opération.
Sa dextérité est accrue, et permet aussi aux deux mains du robot de devenir « conscientes » l’une de l’autre pendant qu’elles travaillent ensemble sur un problème commun.
Grâce à des démonstrations, les mains du robot ont appris à effectuer des tâches comme accrocher une chemise ou réparer une pièce de robot.
Par la suite, les chercheurs ont exploité la technologie de diffusion, également utilisée par les outils de génération d’images comme DALL-E et Stable Diffusion.
À l’origine, ce processus permet de générer des images à partir de bruit aléatoire. On commence avec une image complètement brouillée (pleine de « bruit », à savoir des pixels aléatoires qui ne ressemblent à rien).
Un affinage progressif est ensuite réalisé par une IA pour réduire progressivement ce bruit étape par étape. À chaque étape, elle devine comment rendre l’image plus claire et plus ressemblante à un modèle de départ (comme un chat, une maison…).
Après plusieurs itérations, l’IA parvient à créer une image complète et réaliste à partir de ce qui ressemblait au départ à du hasard.
La Diffusion permet aux outils comme DALL-E de créer des images réalistes à partir d’une description textuelle, mais DeepMind s’en est servi pour permettre aux robots de deviner des actions.
Cette méthode leur a permis de donner à chaque main du robot une capacité de prédiction, afin de l’aider à anticiper ce que fait l’autre !
DemoStart : le Reinforcement Learning pour accroître la dextérité des robots
De leur côté, les chercheurs de DemoStart ont noté que d’améliorer la dextérité des robots va nécessiter d’utiliser davantage de doigts, joints et capteurs que ce qui est actuellement utilisé par la plupart des mains robotiques.
Une certaine coordination est également indispensable. Comme pour ALOHA Unleashed, cette coordination a nécessité l’introduction de l’IA dans le processus d’apprentissage.
En l’occurrence, c’est la technique de l’apprentissage par renforcement (Reinforcement Learning) qui a été utilisée pour aider le robot à développer un sens de ses capacités lorsqu’il contrôle de multiples bras, mains et doigts.
Cette approche a requis de commencer par confier aux mains robots de simples tâches, et d’augmenter progressivement la difficulté.
Ainsi, les chercheurs ont découvert qu’ils pouvaient apprendre à un robot à deux doigts dotés de plusieurs joints et capteurs à réorienter un cube, à serrer un écrou et à nettoyer un lieu de travail.
Si ces travaux vous intéressent, vous pouvez consulter les détails sur ALOHA Unleashed sur le site officiel de DeepMind en suivant ce lien et sur GitHub à cette adresse. Les informations sur DemoStart sont disponibles sur arXiv à cette adresse.
Alors, qu’en pensez-vous ? Êtes-vous impressionné par l’application de l’IA générative à la robotique ? Pensez-vous qu’il s’agisse de la clé pour créer des robots humanoïdes aussi habiles que l’humain ? Partagez votre avis en commentaire !
- Partager l'article :