LEBIGDATA.FR I.A, Cloud & Cybersécurité
Une équipe de chercheurs de l'University of Southern California et d'Intel Labs a créé une nouvelle méthode pour l'apprentissage par renforcement des algorithmes d'intelligence artificielle. Cette approche permet d'entraîner une IA sur une seule machine, plutôt qu'un cluster de multiples serveurs…
À l'heure actuelle, la puissance de calcul colossale nécessaire à l'entraînement de l'IA limite l'accès à cette technologie pour les petites entreprises et pour une grande partie des chercheurs.
Et le problème ne fait que s'accentuer. Selon une étude menée par OpenAI en 2018, la puissance de traitement utilisée pour entraîner l'IA la plus performante double tous les 3,4 mois.
L'approche nécessitant le plus de ressources est l'apprentissage par renforcement. Cette approche consiste à laisser l'intelligence artificielle apprendre de ses propres erreurs en effectuant des millions de simulations successives.
Jusqu'à présent, cette méthode nécessitait des racks de serveurs équipés de centaines de CPU et de GPU. Une alternative est celle des puces dédiées à l'entraînement de l'IA, mais leur prix s'élève actuellement à plusieurs millions de dollars.
Heureuse nouvelle : une équipe de chercheurs de l'University of Southern California et d'Intel Labs a créé une nouvelle méthode permettant d'entraîner les algorithmes d'apprentissage par renforcement sur un seul ordinateur. Cette innovation ouvre la porte de l'IA à tous les chercheurs.
Tout a commencé lorsque le principal auteur de cette étude, Aleksei Petreno, étudiant à l'USC, s'est trouvé pris au dépourvu. À la fin de son stage d'été chez Intel, il a perdu l'accès au superordinateur de la firme. De fait, il était contraint d'abandonner ses projets de » Reinforcement Learning » inachevés.
Plutôt que de jeter l'éponge, il a convaincu ses collègues de chercher comment continuer ces projets sur des ordinateurs moins puissants. L'équipe a alors entrepris d'entraîner une intelligence artificielle à maîtriser le célèbre jeu vidéo Doom sur un seul ordinateur de type workstation.
La machine utilisée était équipée d'un CPU à 36 coeurs et d'un seul GPU. Pourtant, les chercheurs ont été capables de traiter près de 140 000 images par secondes. Ceci représente plus du double de la seconde méthode la plus efficace.
Pour parvenir à cette prouesse, les chercheurs ont tout simplement repensé la façon de maximiser l'utilisation du hardware. C'est ce qui leur a permis d'atteindre un niveau de performances similaire à celui obtenu d'ordinaire d'un cluster de machines.
La méthode » Sample Factory » peut démocratiser le Reinforcement Learning et réduire son empreinte carbone
Traditionnellement, l'apprentissage par renforcement consiste à placer un agent IA dans un environnement simulé. Lorsqu'il atteint certains objectifs, l'agent est récompensé. Son but ultime est d'accumuler le plus de récompenses, et il va donc » naturellement » trouver la meilleure stratégie pour y parvenir.
La puissance de calcul est nécessaire pour simuler l'environnement et l'agent, pour permettre à l'agent de prendre des décisions basées sur les règles, et d'utiliser les résultats de ces actions pour mettre à jour les règles.
D'habitude, ces trois tâches sont inextricablement liées entre elles. Il est donc difficile de les optimiser individuellement. Or, l'approche imaginée par ces chercheurs, intitulée » Sample Factory « , consiste à séparer ces trois tâches pour pouvoir dédier les ressources afin de les exécuter à vitesse maximale.
Une autre difficulté habituellement rencontrée lors de l'apprentissage par renforcement est le transfert de données à traiter entre les machines. L'utilisation d'une seule machine représente donc un avantage, puisque toutes les données ont pu être traitées dans la mémoire partagée de l'ordinateur.
C'est ce qui a permis une accélération massive pour l'entraînement de l'IA sur Doom. Par ailleurs, les chercheurs ont aussi testé leur méthode en relevant 30 défis 3D créés par DeepMind en utilisant une machine plus puissante équipée de 4 GPU à 36 coeurs. Ils ont largement surpassé l'IA originellement utilisée par DeepMind sur un cluster d'ordinateurs.
La méthode a aussi permis d'entraîner l'IA sur Doom quatre fois plus rapidement que l'algorithme open-sourced par Google Brain en mars dernier pour améliorer l'efficacité du Reinforcement Learning. Il s'agit donc d'un succès complet.
Les résultats de cette expérience ont été publiés dans un article présenté la semaine dernière à l'International Conference on Machine Learning 2020. Même si la machine utilisée pour cette étude reste une workstation haut de gamme, les chercheurs précisent avoir réussi à utiliser Sample Factory sur un simple PC portable.
Cette innovation pourrait donc permettre d'ouvrir l'accès à l'intelligence artificielle à de nombreux chercheurs, mais aussi de réduire l'empreinte carbone liée à l'apprentissage par renforcement. Il s'agit d'un grand pas en avant pour la recherche sur l'IA…
- Partager l'article :
