LEBIGDATA.FR I.A, Cloud & Cybersécurité
Les chercheurs du MIT et de l’UC San Diego ont créé un système open source permettant de contrôler les robots à distance, en synchronisant directement les mouvements et les yeux du robot avec ceux de l’opérateur via la VR ! Une révolution pour la télé-opération, mais aussi pour l’apprentissage des robots IA… découvrez Open-TeleVision !
Il existe deux solutions pour que les robots humanoïdes travaillent : leur conférer une IA, comme l’envisagent Figure et OpenAI, ou laisser des humains les contrôler à distance.
La téléopération peut être une puissante méthode pour effectuer des tâches manuelles complexes, mais pas seulement.
C’est également un excellent moyen de collecter des données pour les robots IA. Or, ces données sont essentielles pour leur permettre d’apprendre à partir de démonstrations.
Cette approche permet aux robots de recevoir des exemples précis, naturels et fluides pour l’apprentissage par imitation.
Il devient dès lors possible de généraliser cet apprentissage à différents environnements, tâches et configurations.
Au cours des dernières années, les capacités de manipulation des robots basées sur l’apprentissage ont beaucoup avancé grâce à des données réelles à grande échelle.
Les limites actuelles de la téléopération
Toutefois, elles demeurent restreintes par de nombreuses limitations. Pour bien comprendre, revenons sur les deux principaux composants des systèmes de téléopération actuels : l’actionnement et la perception.
Pour l’actionnement, la plupart des ingénieurs utilisent la copie conjointe pour contrôler le robot. Ceci offre un haut niveau de contrôle et de précision.
Néanmoins, les opérateurs et le robot doivent impérativement se trouver physiquement au même endroit. Cette approche ne permet donc pas le contrôle à distance.
Chaque pièce de hardware du robot doit être associée avec un équipement spécifique de télé-opération. De plus, ces systèmes ne permettent pas encore de contrôler des mains dotées de multiples doigts.
Concernant la perception, la méthode la plus directe est d’observer l’espace de tâche du robot à travers les propres yeux de l’opérateur en vue à la première personne ou à la troisième personne.
Or, avec cette approche, une partie de la scène est inévitablement occultée pendant la téléopération. De plus, l’opérateur n’est pas en mesure de s’assurer que la démonstration collectée ait permis de capturer toute l’observation visuelle requise pour l’apprentissage.
Pour couronner le tout, pendant les tâches de manipulation les plus fines, il est difficile pour le téléopérateur de regarder l’objet de près et intuitivement.
Même en utilisant un casque VR pour afficher une vue à la troisième personne statique, les mêmes défis restent à relever.
À présent, une équipe de chercheurs issus du Massachusetts Institute of Technology (MIT) et de l’Université de Californie de San Diego viennent de mettre au point une nouvelle approche disruptive.
Open-TeleVision : un système révolutionnaire pour contrôler les robots
Ils espèrent pouvoir atteindre un nouveau niveau d’intuitivité et de simplicité d’utilisation dans les systèmes de téléopération, tout en assurant des données diverses et de haute qualité.
Leur système de téléopération immersif est appelé Open-TeleVision. Il permet aux opérateurs de percevoir activement les environnements du robot de manière stéréoscopique.
C’est un framework général, permettant aux utilisateurs d’effectuer de la télé-opération avec une haute précision. Il s’applique à différents appareils VR sur différents robots et manipulateurs, et est totalement open source.
Les mouvements des bras et des mains de l’opérateur sont directement reflétés sur le robot, et ceci crée une expérience immersive. Selon les chercheurs, c’est comme si l’esprit de l’opérateur était directement transmis à son incarnation robotique…
Premiers tests très concluants sur 2 robots humanoïdes
Les chercheurs ont testé le système sur deux robots humanoïdes chinois : le Unitree H1, détenteur du record de vitesse et doté de mains à doigts multiples, et le Fourier GR1, avec ses pinces à mâchoires parallèles.
Afin de valider Open-TeleVision, l’équipe a commencé par capturer les poses des mains de l’opérateur et effectuer un reciblage pour contrôler les mains ou les pinces.
Elle s’est appuyée sur une cinétique inverse, afin de convertir la position racine de la main de l’opérateur en position de l’effecteur du bras du robot.
Ils ont ensuite testé l’efficacité du système en collectant les données et en entraînant le système d’apprentissage par imitation sur quatre tâches précises à long horizon.
Il s’agissait notamment de trier des canettes, d’insérer des canettes, de plier et de décharger. Les résultats se révèlent très concluants.
Le téléopérateur voit à travers les yeux du robot
Selon les chercheurs, le principal avantage provient de la perception. En intégrant des systèmes VR avec feedback visuel actif, Open-Television permet des manipulations plus fines.
Pour y parvenir, ils ont utilisé une caméra RGB stéréo active placée sur la tête du robot. Cette caméra est dotée de deux ou trois degrés de liberté, imitant le mouvement de la tête humaine pour observer un large espace de travail.
Pendant la téléopération, la caméra bouge en même temps que la tête de l’opérateur. Elle stream en temps réel les observations 3D sur le casque VR. Ainsi, l’opérateur voit ce que le robot voit.
Une nouvelle ère débute pour la téléopération !
Cette perception active à la première personne apporte des avantages à la fois pour la téléopération et l’apprentissage.
Tout d’abord, pour la téléopération, le système fournit un mécanisme plus intuitif et offre aux utilisateurs une vue plus large quand la tête du robot bouge.
Ceci leur permet de s’occuper des régions importantes pour des interactions détaillées, tout en réduisant le nombre de pixels à traiter pour des contrôles fluides, précis et en temps réel.
Concernant la perception, le streaming de vidéo stéréoscopique de la caméra du robot vers les yeux de l’humain offre aussi des avantages majeurs.
Il confère à l’opérateur une meilleure compréhension spatiale, ce qui est crucial pour accomplir des tâches. L’entraînement avec des images stéréo peut aussi améliorer les performances d’apprentissage.
Contrôler les robots via internet : c’est enfin possible
Autre point fort clé du système : il permet à l’opérateur de contrôler les robots à distance via internet. Ainsi, l’un des chercheurs, Ge Yang du MIT situé sur la côte Est des États-Unis, a pu contrôler le robot H1 de l’UC San Diego situé sur la côte ouest.
Comme le souligne l’expert en IA Min Choi sur X, cette innovation pourrait véritablement bouleverser le monde du travail. Il sera par exemple possible d’employer un travailleur dans un pays où les salaires sont très bas, afin de contrôler un robot à distance dans les pays riches…
Et vous, qu’en pensez-vous ? Quelles sont à votre avis les applications possibles pour les robots humanoïdes et la télé-opération ? Partagez vos idées en commentaire !
Restez à la pointe de l'information avec LEBIGDATA.FR !
- Partager l'article :
