gpt-4-tout-savoir

GPT-4 : une IA 100 fois plus puissante que ChatGPT en 2023 ? Tout savoir

GPT-4 est la prochaine évolution du modèle d’intelligence artificielle d’OpenAI, sur lequel sont basés les outils comme DALL-E et ChatGPT. Découvrez les nouveautés attendues, les différences avec GPT-3, le degré d’amélioration et la date de lancement. Vers une révolution de l’IA ?

Nous vivons actuellement une époque formidable, et assistons à l’avènement de l’ère de l’IA. Depuis plusieurs mois, un nouveau type de modèle révolutionnaire bouleverse notre société.

En juillet 2022, OpenAI a lancé DALL-E 2 : un modèle text-to-art capable de générer une image à partir d’un « prompt » textuel. En fin d’année, la startup a dévoilé ChatGPT : un chatbot capable de répondre au langage naturel et de générer n’importe quel type de texte.

Le point commun de ces IA est qu’elles reposent sur GPT-3 : le « large modèle de langage » d’OpenAI. Or, la firme pourrait bien lancer GPT-4 en 2023 et propulser l’intelligence artificielle dans une nouvelle dimension…

Qu’est-ce que GPT ?

Le Generative Pre-trainer Transformer (GPT) est un modèle de deep learning de génération de texte entraîné sur les données disponibles sur internet. Il est capable de répondre aux questions, de résumer un texte, de traduire automatiquement, de classifier ou même de générer du code informatique.

Les applications potentielles de GPT sont illimitées, et il est même possible de le customiser par le « fine-tuning » pour affiner les résultats. Il s’agit d’un modèle de type « Transformer ».

Le fonctionnement de GPT est similaire aux assistants vocaux comme Alexa et Siri, mais à une tout autre échelle. Cette IA est capable d’écrire un livre entier ou des centaines d’idées de publications de réseaux sociaux en une minute.

On peut le définir comme une intelligence à la demande. Cette IA peut être utilisée pour résoudre n’importe quel problème nécessitant une implication humaine. Ainsi, GPT offre de nombreuses opportunités pour les entreprises.

Toutefois, GPT-3 lancé en 2020 est encore loin d’être parfait. Des problèmes tendent à survenir quand on lui demande de générer de longs textes, en particulier sur des sujets complexes nécessitant des connaissances précises. Or, tout pourrait changer avec GPT-4.

De GPT-1 à GPT-3

Avant le premier GPT, la plupart des modèles de Traitement Naturel du Langage (NLP) étaient entraînés pour des tâches spécifiques comme la classification ou la traduction de texte. Ils utilisaient l’apprentissage supervisé.

Or, cette approche présente deux inconvénients. Le premier est un manque de données annotées à disposition, et le second est l’incapacité à effectuer des tâches générales.

C’est en 2018 qu’OpenAI a mis un coup de pied dans la fourmilière, en publiant l’article « Improving Language Understanding by Generative Pre-Training » (améliorer la compréhension du langage par le pré-apprentissage génératif) dans la revue Paperswithcode.

À travers cette étude, la startup présente GPT-1 : un modèle génératif de langage à 117 millions de paramètres, entraînés sur des données sans label et fine-tuned (raffiné) pour des tâches spécifiques comme la classification et l’analyse de sentiment.

Un an plus tard, en 2019, l’article « Language Models are Unsupervised Multitask Learners » (les modèles de langage sont des apprenants multi-tâches non-supervisés) présente GPT-2. Ce modèle à 1,5 milliard de paramètres a été entraîné sur un jeu de données bien plus large, afin d’accroître ses performances. Il exploite aussi les techniques de conditionnement de tâches, d’apprentissage zero-shot, et de transfert de tâches zero-shot.

Puis, en 2020, OpenAI introduit GPT-3 et ses 175 milliards de paramètres avec l’article « Language Models are Few-Shot Learners ». Ce nouveau modèle a 100 fois plus de paramètres que GPT-2, et a été entraîné sur un dataset encore plus large pour maximiser ses résultats. Il repose aussi sur les techniques de learning in-context, one-shot, few-shot et zero-shot.

Cette IA est parvenue à choquer le monde entier en écrivant des histoires, des requêtes SQL, des scripts Python et des synthèses de texte. Toutefois, GPT-4 pourrait créer une véritable onde de choc…

GPT-4 : une IA dotée d’autant de neurones que le cerveau ?

Un paramètre est une variable de configuration interne au modèle IA dont les valeurs peuvent être extraites depuis les données fournies. Les modèles IA utilisent ces paramètres pour effectuer des prédictions.

Le nombre de paramètres d’un modèle IA est couramment utilisé comme métrique de performances. Selon la « Scaling Hypothesis », les performances de la modélisation delangage augmentent proportionnellement à la taille du langage, au volume de données et à la puissance de calculs. C’est pourquoi de nombreux créateurs d’IA se focalisent sur l’augmentation du nombre de paramètres.

Depuis le lancement de GPT-1 en 2018, OpenAI a toujours suivi une stratégie d’augmentation du nombre de paramètres. GPT-1 avait 117 millions de paramètres, GPT-2 1,2 milliard, et GPT-3 175 milliards. En d’autres termes, GPT-3 a cent fois plus de paramètres que GPT-2.

Selon certaines sources, GPT-4 pourrait marquer une explosion du nombre de paramètres. Lors d’une interview accordée à Wired en août 2021, Andrew Feldman, le CEO de Cerebras a révélé que le modèle aurait 100 billions de paramètres.

Sachant que Cerebras est partenaire d’OpenAI pour l’entraînement des GPT, la source est proche du dossier. Cette quatrième mouture pourrait donc être 100 fois plus large que GPT-3.

Soulignons que 100 billions de paramètres est l’estimation basse du nombre de connexions neurales du cerveau humain. Ainsi, GPT-4 aurait autant de paramètres que notre propre intelligence…

Ce n’est pas la taille qui compte

Toutefois, selon Sam Altman, GPT-4 ne sera pas beaucoup plus large que GPT-3. On peut donc s’attendre à ce qu’il ait entre 175 et 280 milliards de paramètres, à l’instar du modèle de langage Gopher de Deepmind.

À l’heure actuelle, il existe déjà des modèles bien plus larges que GPT-3. Par exemple, Megatron NLG créé par Nvidia a 530 milliards de paramètres soit le triple du modèle d’OpenAI. Toutefois, leurs performances sont similaires.

Son successeur de moindre taille offre d’ailleurs des performances supérieures. En d’autres termes : comme dans d’autres domaines, la taille ne compte pas forcément dans le domaine des modèles de langage IA…

Le nombre de paramètres n’est que l’un des facteurs impactant les performances d’un modèle. À présent, OpenAI cherche à créer des modèles plus petits et plus performants.

Les modèles larges requièrent un vaste jeu de données, des ressources informatiques massives et leur implémentation est complexe. Même le déploiement de ces modèles peut s’avérer trop onéreux pour de nombreuses entreprises.

Une paramétrisation optimale

La plupart des larges modèles de langage sont sous-optimisés. Compte tenu du coût massif de leur entraînement, les entreprises doivent souvent sacrifier la précision pour faire des économies.

Par exemple, GPT-3 n’a été entraîné qu’une seule fois malgré la présence d’erreurs. Les chercheurs n’avaient pas le budget requis pour une optimisation des hyperparamètres.

Or, Microsoft et OpenAI ont prouvé que GPT-3 aurait pu être amélioré s’il avait été entraîné sur des hyperparamètres optimaux. Un modèle GPT-3 6,7B avec des hyperparamètres optimisés aurait rivalisé avec un modèle GPT-3 13B en termes de performances.

Les deux firmes ont compris que les meilleurs hyperparamètres pour les plus petits modèles sont les mêmes que les meilleurs pour les plus larges avec la même architecture. Cette découverte permet aux chercheurs d’optimiser les modèles larges pour une fraction du coût.

20 fois plus de tokens d’entraînement que GPT-3 ?

Récemment, DeepMind a découvert que le nombre de tokens d’entraînement influence autant les performances du modèle que sa taille. Les chercheurs ont entraîné un modèle Chinchilla 70B quatre fois plus petit que Gopher, mais capable de rivaliser grâce à un entraînement sur un nombre de données quatre fois supérieur.

On peut donc s’attendre à ce qu’OpenAI augmente le nombre de tokens d’entrainement à 5 billions pour GPT-4. Par conséquent, l’entraînement du modèle nécessitera 10 à 20 fois plus de FLOPs que GPT-3 pour atteindre la perte minimale.

Un modèle focalisé sur le texte

Les modèles de langage IA peuvent être multimodaux, ou focalisés sur le texte. A l’instar de GPT-3, un modèle « text-only » accepte uniquement le texte en guise d’entrée et produit du texte en résultat.

Au contraire, un modèle multimodal accepte le texte, l’audio, les images ou mêmes les vidéos en guise d’entrées. Ceci permet à l’utilisateur de générer du contenu multimédia. En guise d’exemple bien connu, on peut citer DALL-E.

La multimodalité est le futur de l’IA, puisque nous vivons dans un monde multimodal. Toutefois, selon Sam Altman, GPT-4 ne sera pas multimodal. Il s’agira d’un modèle exclusivement dédié au texte.

Pour cause, un bon modèle multimodal est beaucoup plus difficile à construire qu’un modèle réservé au langage ou à la vision. La combinaison des informations visuelles et textuelles est un véritable défi.

L’objectif d’OpenAI est de trouver les limites des modèles dédiés au langage, et la firme va certainement continuer sur cette voie avec GPT-4 plutôt que d’essayer de créer un modèle multimodal généraliste surpuissant.

Selon d’autres sources, GPT-4 pourrait être focalisé sur la génération de code informatique plutôt que sur le langage naturel. Cela serait toutefois surprenant, puisque la famille est GPT a toujours été dédiée à la génération de langage

Le premier modèle parcimonieux d’OpenAI ?

Les modèles parcimonieux utilisent le calcul conditionnel pour réduire les coûts. Cela signifie que tous les neurones ne sont pas actifs simultanément.

Un tel modèle peut facilement dépasser le billion de paramètres sans impliquer de coûts massifs. Ceci permet d’entraîner de larges modèles de langage avec un nombre réduit de ressources.

En outre, les modèles parcimonieux comprennent davantage le contexte. Ils sont capables de garder un plus grand nombre de choix de mot ou de phrase suivante basée sur les entrées de l’utilisateur.

Pour la première fois, OpenAI pourrait adopter cette approche pour GPT-4. Cette intelligence artificielle pourrait donc être proche du fonctionnement du cerveau humain que ses prédécesseurs…

Une IA moins dépendante du « prompting » ?

Si vous avez déjà utilisé les outils basés sur GPT-3 comme DALL-E et ChatGPT, vous savez à quel point le prompting est important. Le résultat produit par l’IA dépend fortement de la qualité du prompt entré par l’utilisateur.

Avec GPT-4, l’une des attentes de nombreuses personnes est une moindre dépendance au prompting. Cette évolution permettrait aux utilisateurs de formuler leurs intentions plus librement, avec l’assurance que le système les comprendra.

Le but d’OpenAI est de créer un modèle de langage capable de suivre les intentions humaines, de s’aligner avec ses valeurs. Dans cette optique, les chercheurs ont entraîné InstructGPT : un modèle GPT-3 entraîné à suivre les instructions données par des humains.

Ce modèle a été entraîné sur un large jeu de données composé de textes d’instructions, comme des recettes de cuisine ou des tutoriels. Ceci lui permet de générer du texte en langage naturel clair, concis et compréhensible.

Or, ce modèle a été jugé meilleur que GPT-3 par un jury humain. Suite au succès de cette expérience, on peut s’attendre à ce que GPT-4 soit encore plus aligné que GPT-3.

GPT-4 vs GPT-3

GPT-4 apportera de nombreuses améliorations par rapport à GPT-3, notamment en termes de capacité à générer du texte en mimant l’écriture humaine.

Les nouvelles optimisations lui permettront de mieux comprendre les intentions de l’utilisateur, et de produire de meilleurs résultats même si ce dernier commet des erreurs de prompting.

Les algorithmes développés par OpenAI comme le RLHF (Reinforcement Learning from Human Feedback ou Apprentissage par Renformcement à partir des Retours Humains) devrait permettre d’éviter les défauts des précédentes versions.

Par exemple, GPT-4 devrait être en mesure de mieux prédire le type de contenu désiré par l’humain et d’aligner ses productions. Ces innovations devraient aussi limiter le contenu toxique ou raciste généré par l’IA.

De manière générale, GPT-4 s’annonce comme une évolution importante par rapport à GPT-3. On ignore pour l’instant s’il s’agira d’un nouveau tournant majeur pour l’IA.

Vers une révolution majeure ?

Les outils basés sur GPT-3, comme ChatGPT ou DALL-E, ont déjà bouleversé de nombreux secteurs. Ces IA sont exploitées pour automatiser de nombreuses tâches impliquant la création de textes ou d’images.

Avec GPT-4, il sera possible de générer des contenus encore plus convaincants. Toutefois, si l’on se fie aux prévisions actuelles sur ce nouveau modèle, il devrait apporter des performances similaires à GPT-3 et se distinguer avant tout par sa taille réduite.

Lors d’un entretien accordé à StrictlyVC, le CEO a déclaré que « les gens implorent pour être déçus et le seront ». Concernant les rumeurs sur un GPT-4 à 100 billions de paramètres, il ne passe pas par quatre chemins et affirme qu’il s’agit d’une « con****e complète » et ajoute qu’il ignore d’où proviennent ces bruits de couloir.

Le chef d’entreprise affirme que « nous n’avons pas d’intelligence artificielle générale et c’est qui semble attendu de nous ». Rappelons qu’une « AGI » est une IA capable de rivaliser avec l’intelligence humaine.

Cette génération serait donc plutôt une optimisation qu’une véritable avancée. Le but d’OpenAI semble être de pousser les modèles textuels à leur maximum, avant de se pencher sur un véritable modèle multimodal.

Il est peu probable que cette IA remplace totalement les rédacteurs et codeurs humains. Il faudra sans doute patienter plusieurs années pour qu’un générateur de texte puisse atteindre le niveau de compréhension d’un humain et percevoir les nuances du monde réel.

Néanmoins, nous ne sommes qu’aux débuts de l’ère de l’IA. De nouveaux cas d’usage sont inventés constamment, et cette technologie va s’immiscer progressivement au coeur de nos entreprises…

Date de lancement de GPT-4

En conclusion, GPT-4 devrait être un large modèle de langage focalisé sur le texte offrant de meilleures performances que GPT-3 malgré une taille similaire. Il sera aussi plus aligné avec les commandes et valeurs humaines.

Comme ses prédécesseurs, GPT-4 devrait pouvoir être exploité pour diverses applications de langage comme la génération de code, la synthèse de texte, la traduction de langage, la classification, les chatbots ou la correction grammaticale.

Cette nouvelle version du modèle sera vraisemblablement plus sécurisée, moins biaisée, plus précise et mieux alignée. Elle sera aussi plus économique et plus robuste.

Lors d’une session question-réponse, Sam Altman, le CEO d’OpenAI, a confirmé les rumeurs sur l’imminence du lancement de GPT-4. Toutefois, la date de lancement reste inconnue pour le moment. Il est toutefois probable que cette nouvelle génération soit lancée en 2023

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée.

Pin It on Pinterest