Le Data Echoing est une technique inventée par les chercheurs de Google Brain pour accélérer l’entraînement des intelligences artificielles. Découvrez tout ce que vous devez savoir à son sujet.
L’entraînement de modèles de Machine Learning est une tâche qui requiert du temps et des ressources. Il est existe déjà des solutions hardware pour l’accélérer, tels que les Tensor Processing Units de Google ou encore le nouveau processeur Nervana Neural Network d’Intel.
Cependant, les premières étapes de l’entraînement telles que la lecture, la décompression ou la transformation des données ne profitent pas de cette accélération. Ces opérations ne sont pas exécutées sur les accélérateurs, mais sur d’autres composants comme le CPU, le disque dur ou la RAM. C’est la raison pour laquelle les scientifiques de Google Brain, la division de recherche en IA de Google, ont développé une nouvelle technique dite de » Data Echoing « qu’elle décrit dans un article.
Cette technique permet de réduire les calculs utilisés au cours des premières étapes de l’entraînement, en réutilisant les produits intermédiaires de ces étapes. Selon les chercheurs, les meilleurs algorithmes de Data Echoing peuvent égaler les performances prédictives de la baseline en utilisant moins de traitement upstream. Cependant, dans certains cas, la pipeline d’input peut être quatre fois plus lente pour compenser.
Le Data Echoing permet d’entraîner les réseaux de neurones plus vite, avec moins d’exemples
Un pipeline d’entraînement typique se déroule de la façon suivante : l’IA lit et décode les données entrées, puis les mélange et applique un ensemble de transformations pour les augmenter. Les exemples sont ensuite réunis en batchs, et l’IA met à jour les paramètres de façon itérative pour réduire les erreurs.
Avec le Data Echoing, les chercheurs intègrent à ce pipeline une étape visant à répéter les données produites lors de la première étape avant la mise à jour des paramètres. Théoriquement, ceci permet de réutiliser la capacité de calcul inutilisée.
Les chercheurs ont testé cette technique sur deux tâches de modélisation de langage, deux tâches de classification d’image, et une tâche de détection d’objet en utilisant des modèles d’IA entraînés sur des ensembles de données Open Source. Dans chaque expérience sauf une, les chercheurs se sont aperçus que le Data Echoing permet d’entrainer les modèles d’IA avec moins d’exemples d’entrainement différents. De plus, plus l’echoing est inséré tôt dans le pipeline, moins les exemples sont nécessaires. Enfin, l’echoing fonctionne mieux sur des batchs plus larges.
https://youtu.be/nKW8Ndu7Mjw?list=PLIivdWyY5sqJxnwJhe3etaK7utrBiPBQ2
- Partager l'article :