LEBIGDATA.FR I.A, Cloud & Cybersécurité
ChatGPT offre de nombreuses possibilités, mais cette IA appartient à OpenAI et ne peut être utilisée librement. Si vous souhaitez créer vos propres applications basées sur un chatbot IA, découvrez les meilleures alternatives open-source comme OPT, Google PaLM ou BLOOM.
Rétrospectivement, 2022 a été une année majeure pour l'IA et le Machine Learning. Outre de nombreux outils pour développeurs et les multiples études publiées par des chercheurs, nous avons assisté à un essor des Larges Modèles de Langage.
En particulier, ChatGPT a créé une véritable tempête sur internet. En quelques jours, cet outil mis en ligne par OpenAI en fin d'année a attiré des dizaines de millions d'utilisateurs imaginant toutes sortes de cas d'usage et d'applications.
Toutefois, ChatGPT présente aussi des limites. L'accès à cet IA est restreint, et les utilisateurs doivent respecter les conditions d'utilisation. Or, il existe des alternatives open source pour les personnes cherchant à créer leurs propres applications à l'aide des modèles de langage…
OPT : le GPT open-source de Meta
Développé par Meta, OPT est le principal rival du modèle GPT d'OpenAI. Son nom est l'acronyme de « Open Pretrained Transformer », et l'ouverture est l'une de ses principales caractéristiques.
Toutefois, ce modèle présente plusieurs avantages lui permettant de remplacer GPT. Ses performances sont similaires à GPT pour l'évaluation NLP (traitement naturel du langage) Zero-Shot,et il surpasse même DaVinci et GPT-3 pour la détection du discours haineux.
Ce n'est pas une surprise, puisque l'une des principales ambitions de Meta est de parvenir à censurer le discours haineux sur ses réseaux sociaux et dans le futur métavers. Si cette fonctionnalité est une priorité pour les applications que vous souhaitez développer, OPT peut donc être une excellente sélection.
Par ailleurs, OPT est plus écologique que GPT. L'empreinte carbone de son entraînement est sept fois inférieure à celle de GPT-3. Là encore, l'efficacité énergétique était une priorité de Meta qui a utilisé son API open source Fully Sharded Data Parallel (FSDP) et l'abstraction parallèle de tensor de NVIDIA au sein de Megatron-LM. L'entraînement a consommé environ 147 TFLOP par seconde par GPU sur des cartes NVIDIA A100 80 gigabits.
L'approche open source de Meta pour l'intelligence artificielle est à saluer. La firme de Mark Zuckerberg partage ses modèles, données d'entraînement, logs et bien plus encore. Aucun autre géant de la tech ne contribue à ce point au développement du secteur du machine learning.
PaLM : le modèle de langage de la famille Google Pathways
Le modèle PaLM fait partie de l'écosystème Pathways : l'architecture utilisée par Google pour tous ses larges modèles de langage (LLM). En 2022, plusieurs modèles ont rejoint cette famille dont Flamingo, Gato et PaLM.
Ces différents modèles ont beaucoup apporté au domaine du machine learning, et contribué à l'essor des Transformers. Avec Pathways, Google a démontré que les LLM pourraient paver la voie vers l'intelligence artificielle générale…
Les performances de ces modèles sont bluffantes, et surpassent l'être humain sur certaines tâches. Toutefois, au-delà des modèles eux-mêmes, la véritable innovation est l'architecture Pathways en elle-même.
Tout d'abord, les modèles Pathways sont entraînés sur de multiples types de données tels que des textes, des images et des vidéos. Cet entraînement multi-modal est une différence majeure avec GPT, principalement basé sur le texte.
Par ailleurs, plutôt que d'utiliser l'architecture complète à chaque inférence, Pathways n'utilise qu'un sous-ensemble de neurones. Les modèles profitent donc à la fois des bénéfices de nombreux neurones pour des performances accrues et un plus grand nombre de tâches, tout en maintenant les coûts au strict minimum. C'est la « sparse activation ».
Enfin, les modèles Pathways peuvent recevoir de multiples types d'inputs pour une même tâche. Ceci leur confère une flexibilité largement supérieure aux autres modèles, uniquement capables de recevoir différents types d'inputs pour différentes tâches.
Le modèle PaLM a récemment été amélioré grâce à l'apprentissage par renforcement (reinforcement learning), à la manière dont ChatGPT a été entraîné à partir de GPT-3. Par conséquent, ce modèle pourrait surpasser ChatGPT grâce à ses capacités multi-modales.
Sphere : le LLM de Meta prêt à remplacer Google
Depuis le lancement de ChatGPT, nombre d'experts estiment que cette IA pourrait remplacer les moteurs de recherche web. En réalité, un autre modèle de langage est bien mieux positionné pour détrôner Google : il s'agit du LLM Sphere, développé par les chercheurs en machine learning de Meta.
Ses performances sont impressionnantes pour les tâches liées à la recherche, et ce modèle est capable de parcourir des milliards de documents. Si l'on ajoute à cela les autres travaux réalisés par Meta dans le domaine du traitement naturel de langage, la firme de Mark Zuckerberg pourrait bien devenir le grand rival de Google.
Le modèle Sphere est capable de parcourir un large corpus d'informations pour répondre à des questions, de vérifier des citations et même de suggérer des citations alternatives correspondant mieux au contenu.
Même si ces capacités ne sont pas suffisantes pour remplacer Google en tant que moteur de recherche généraliste, elles semblent idéales pour les chercheurs. Par ailleurs, la nature open source de Sphere permet aux utilisateurs de modifier le corpus de texte sur lequel se base le modèle. Ceci lui confère une grande flexibilité. Parmi tous les modèles LLM, Sphere présente donc la plus grande viabilité commerciale…
BLOOM : un LLM pour déjouer le monopole des GAFAM
BLOOM est un large modèle de langage (LLM) auto-régressif, entraîné à continuer le texte d'un prompt entré par l'utilisateur sur de vastes volumes de données textuelles à l'aide de ressources informatiques industrielles.
Grâce à cet entraînement, le modèle est capable de produire du texte cohérent dans 46 langages et 13 langages de programmation. Le texte produit est si convaincant qu'il est difficile de le distinguer d'un contenu rédigé par l'humain.
De plus, BLOOM peut effectuer des tâches textuelles pour lesquelles il n'a même pas été entraîné explicitement. Il suffit de lui présenter comme des tâches de génération de texte.
Ainsi, BLOOM est très similaire à GPT. Ce n'est pas un hasard, car ce modèle a été créé pour lutter contre le monopole des GAFAM dans le domaine des larges modèles. En effet, au fil des dernières années, les géants de la tech ont mené de nombreuses recherches en utilisant une puissance de calcul gargantuesque impossible à répliquer pour les autres groupes de chercheurs.
Par conséquent, les chercheurs indépendants sont incapables de vérifier ou de critiquer les études réalisées par ces entreprises. De plus, les Data Scientists tendent à reprendre les résultats de ces études hors de leur contexte et à créer des pipelines inefficaces et onéreux.
Le but de BLOOM est de mettre un terme à ce phénomène. Ce modèle n'est pas contrôlé par les GAFAM, et vise à promouvoir la recherche libre. Si vous recherchez une alternative open-source à ChatGPT, il s'agit donc d'un choix idéal même si ses performances sont évidemment inférieures.
Galactica : le ChatGPT controversé de Meta pour les chercheurs
Galactica est un autre LLM développé par Meta, similaire à ChatGPT et destiné aux chercheurs. Ce modèle a été entraîné sur de nombreuses recherches, et peut donc répondre à de nombreuses questions scientifiques.
Il est notamment capable d'aider les chercheurs à écrire leurs études, expliquer une formule mathématique, ou encore détailler la création d'un matériau. Malheureusement, lors de son lancement public, ce LLM a créé une vive polémique et Meta n'a eu d'autre choix que de le retirer du web.
Les internautes se sont en effet amusés à le détourner, en lui inculquant de fausses informations et des préjugés racistes et sexistes. Quoi qu'il en soit ce puissant modèle pourrait s'avérer très utile pour une large variété d'utilisateurs, et on peut s'attendre à ce qu'une nouvelle version soit lancée dans un futur proche…
Vous connaissez désormais les principales alternatives open-source à ChatGPT. Certains de ces modèles sont plus performants que celui d'OpenAI, d'autres se distinguent par une approche différente. Dans tous les cas, leur ouverture offre davantage de flexibilité et permet de s'émanciper des géants de la tech…
- Partager l'article :
