LEBIGDATA.FR I.A, Cloud & Cybersécurité
De puissants réseaux de neurones pourraient bientôt s'entraîner sur des smartphones avec des vitesses considérablement plus rapides et moins d'énergie. L'apprentissage en profondeur nécessite des quantités massives de données et d'abondantes ressources de calcul, ce qui explose sa consommation en électricité. Pour résoudre le problème, IBM a donc réduit le nombre de bits en passant de 16 à 4.
Réduire le nombre de bits
Face à ce dispositif énergivore, les chercheurs se bousculent pour trouver les moyens de réduire la consommation en énergie. Certains ont proposé des algorithmes qui peuvent s'entraîner avec moins de données. D'autres pensent à des matériels pouvant exécuter ces algorithmes plus rapidement. Les chercheurs de chez IBM, eux, ont proposé de réduire le nombre de bits. Ils veulent passer de 16 bits, le standard actuel, à 4 bits.
Durant l'édition 2020 de NeurIPS, la plus grande conférence annuelle de recherche sur l'intelligence artificielle, les chercheurs ont présenté ce travail qui pourrait augmenter la vitesse et réduire de plus de sept fois les coûts énergétiques nécessaires pour entraîner l'apprentissage en profondeur. Cela pourrait également rendre possible la formation de modèles d'IA puissants sur les smartphones et autres petits appareils.
Cela améliorerait la confidentialité en aidant à conserver les données personnelles sur un appareil local. Et cela rendrait le processus plus accessible aux chercheurs en dehors des grandes entreprises technologiques riches en ressources.
Un apprentissage en profondeur 4 bits ?
Que signifie la formation 4 bits ? Il s'agit déjà de l'usage d'un ordinateur 4 bits. Pour un 16 bits par exemple, chaque nombre utilisé pendant le processus de formation doit être l'un des 16 nombres entiers compris entre -8 et 7, car ce sont les seuls nombres que notre ordinateur peut représenter. Dans un univers à 4 bits, l'idée serait d'avoir cette variation de -8 à 7.
Après deux ans de recherche, les chercheurs ont trouvé qu'il fallait mettre les nombres intermédiaires à l'échelle de manière logarithmique. Les chercheurs d'IBM ont mené plusieurs expériences dans lesquelles ils simulent une formation 4 bits pour une variété de modèles d'apprentissage profond en vision par ordinateur, en parole et en traitement du langage naturel.
Les résultats montrent une perte de précision limitée des performances globales des modèles par rapport à l'apprentissage en profondeur 16 bits. Le processus est également plus de sept fois plus rapide et sept fois plus économe en énergie.
L'apprentissage profond 4 bits en phase de simulation
Il reste encore plusieurs étapes avant que l'apprentissage profond 4 bits ne devienne une pratique réelle. Il ne s'agit jusque là que de recherches et de simulation. Le faire dans le monde réel nécessiterait un nouveau matériel 4 bits. En 2019, IBM Research a lancé un AI Hardware Center pour accélérer le processus de développement et de production de tels équipements. Ce serait effectif d'ici 3 ou 4 ans selon un responsable de l'entreprise.
Cet avancement ouvre la porte à la formation dans des environnements aux ressources limitées. Cela rendrait les applications existantes plus rapides et moins gourmandes en batterie. Mais davantage d'efforts sont nécessaires pour vérifier le bien-fondé de la recherche.
- Partager l'article :
