LEBIGDATA.FR I.A, Cloud & Cybersécurité
Les performances de Google Gemini sont largement en dessous de celles de GPT. Cette récente étude embarrasse le géant de la recherche en ligne.
Le 6 décembre dernier, Google lançait Gemini avec pour ambition de devenir la nouvelle référence des modèles de langage de grande taille. Mais ce n'est pas dans la version actuelle du modèle que cet objectif sera atteint. Celui-ci n'arrive même pas à rivaliser avec GPT-3.5 selon une équipe de chercheurs.
Google Gemini n'inquiète pas encore OpenAI
Rappelons que le lancement de Gemini avait pour but de concurrencer OpenAI sur le marché des grands modèles de langage (LLM). Mais sa version Pro, qui est celle la plus avancée accessible au public, est beaucoup moins efficace que le GPT-4 d'OpenAI.
C'est la conclusion des chercheurs de l'université Carnegie Mellon de Pittsburgh, aux États-Unis, et de la startup californienne BerriAI. Ils détaillent leur recherche dans un papier disponible sur l'archive ouverte arXiv.
Selon l'étude, Gemini Pro offre une précision comparable, bien que légèrement inférieure, à celle de GPT 3.5 Turbo. Mais le modèle de Google est clairement inférieur au GPT-4 Turbo sur ce point. Par ailleurs, des lacunes dans divers domaines le handicapent. Celles-ci concernent notamment la réorganisation des mots et la génération de symboles.
D'autre part, le modèle développé par le laboratoire DeepMind de Google peine à résoudre des questions à choix multiples, à comprendre des requêtes complexes et à coder.
Meilleur que le Français Mixtral
Pour leurs travaux, les chercheurs américains ont sélectionné quatre grands modèles de langage. Ces derniers ont été mis en compétition dans différents tests afin de comparer leurs performances. Chaque modèle devait traiter une suite de prompts, englobant des domaines comme les mathématiques, le raisonnement ou les sciences sociales.
Les modèles en question sont :
- Gemini Pro de Google
- GPT-3.5 Turbo et GPT-4 Turbo d'OpenAI
- Mixtral 8x7B de la startup française Mistral
À noter que l'équipe de recherche a également utilisé LiteLLM, un site agrégateur d'intelligence artificielle.
Le modèle de Google a néanmoins dépassé GPT 3.5 Turbo dans certaines tâches. En effet, il sait mieux trier les mots et gère plus efficacement les prompts sur la sécurité et la microéconomie. Par ailleurs, Gemini Pro réalise de meilleures traductions que ses concurrents dans ce test. En revanche, il bat Mixtral dans tous les domaines.
Une version Ultra plus puissante pour 2024
Les chercheurs de l'université Carnegie Mellon et de BerriAI mettent évidemment dans l'embarras Google. Le leader de la recherche en ligne a d'ailleurs rapidement répondu à leur papier, en maintenant que Gemini Pro était supérieur à GPT-3.5.
D'autre part, le géant américain du numérique a annoncé une version améliorée de son modèle. Gemini Ultra devrait être lancée dans les semaines qui arrivent. Cette prochaine version surpasserait GPT-4 en termes de performances, d'après les évaluations internes de Google. Ce qui donne une impression de déjà vu.
En effet, ce n'est pas la première fois que le numéro un de la recherche en ligne annonce un modèle de langage avec des capacités supérieures. Puis une étude indépendante vient contredire ses évaluations internes.
- Partager l'article :
