LEBIGDATA.FR I.A, Cloud & Cybersécurité
Eleuther est un modèle de langage comme GPT-3. Si Eleuther est encore loin des fortes capacités de GPT-3, la nouvelle version du modèle, baptisée GPT-Neo, révèle à peu près la même puissance que la version de base de GPT-3.
Eleuther : des recherches appuyées sur le fonctionnement de GPT-3
Le code de GPT-3 n'a pas été publié, mais les chercheurs derrière Eleuther qui viennent du milieu universitaire et de l'industrie, s'appuient sur des articles décrivant son fonctionnement. Le projet impressionne par un nombre croissant d'efforts open source en PNL. En plus de publier de puissants algorithmes de langage inspirés de GPT-3, l'équipe d'Eleuther a organisé et publié un ensemble de données textuelles de haute qualité connu sous le nom de Pile pour la formation des algorithmes de PNL.
Il existe actuellement un enthousiasme énorme pour la PNL open source et pour la production de modèles utiles en dehors des grandes entreprises technologiques. Cette assertion fait référence au sous-domaine de l'IA connu sous le nom de traitement du langage naturel qui vise à aider les machines à utiliser le langage.
Si tel est le cas, GPT-3 pourrait être considéré comme le Spoutnik du domaine. GPT-3 consiste en un énorme réseau de neurones artificiels qui a été alimenté par plusieurs milliards de mots de texte extraits du Web. GPT-3 peut être étonnamment éloquent bien qu'il puisse générer des déclarations chaotiques et offensantes. Des dizaines de groupes de recherche et d'entreprises cherchent des moyens d'utiliser la technologie.
Exploiter la critique littéraire
Mohit Iyyer, professeur d'informatique à l'Université du Massachusetts à Amherst, utilise des données et des modèles d'Eleuther pour exploiter la critique littéraire et obtenir des informations sur des textes célèbres. Cela inclut la formation d'un algorithme pour prédire quelles sections d'un livre seront citées dans une critique particulière. Iyyer dit que cela pourrait aider à produire un programme avec une compréhension plus subtile du langage.
La grande quantité de puissance de calcul requise reste probablement le plus grand défi pour tout projet d'IA open source. La formation GPT-3 a nécessité l'équivalent de plusieurs millions de dollars de ressources de cloud computing. OpenAI a récemment déclaré que la puissance informatique requise pour les projets d'IA de pointe avait augmenté d'environ 300 000 fois entre 2012 et 2018.
Eleuther : des ressources informatiques distribuées
Le projet Eleuther utilise des ressources informatiques distribuées, offertes par la société de cloud CoreWeave ainsi que par Google, via le TensorFlow Research Cloud. Pour faciliter l'accès à la puissance de l'ordinateur, l'équipe d'Eleuther a créé un moyen de diviser les calculs d'IA sur plusieurs machines. Mais une question se pose : comment suivre les exigences de calcul si le projet continue de croître ?
L'ensemble de données utilisé par Eleuther est plus diversifié que celui de GPT-3. Cela évite certaines sources telles que Reddit qui sont plus susceptibles d'altérer les modèles. Le projet Eleuther a fait de grands efforts pendant des mois pour organiser cet ensemble de données, s'assurer qu'il était à la fois bien filtré et diversifié, et documenter ses lacunes et ses biais.
- Partager l'article :
