Google Gemini devait détrôner GPT : Pour l’instant, c’est un flop complet

Magloire B. 1 janvier 2024 2 minutes de lecture Google, IA générative, Intelligence artificielle

Les performances de Google Gemini sont largement en dessous de celles de GPT. Cette récente étude embarrasse le géant de la recherche en ligne.

🔥 Nous recommandons Google Workspace

Google Workspace révolutionne la collaboration des équipes, où qu’elles soient. Avec des outils comme Gmail, Google Drive, et Google Docs, il simplifie l’organisation et booste la productivité. Que vous soyez une petite entreprise, un indépendant ou une grande organisation, Google Workspace est le choix incontournable pour optimiser votre travail en équipe.

🔥 Nous recommandons Gemini

Gemini transforme la manière dont vous interagissez avec l’IA, en combinant texte, images, audio et vidéo pour offrir des réponses et solutions multimodales. Que ce soit pour la rédaction, la programmation, ou l’analyse de données, Gemini fournit des outils puissants pour optimiser votre productivité. Disponible dans plusieurs produits Google comme Gmail, Google Docs, et Google Workspace, Gemini facilite la collaboration et l’efficacité au sein des équipes, quelle que soit leur taille.

Le 6 décembre dernier, Google lançait Gemini avec pour ambition de devenir la nouvelle référence des modèles de langage de grande taille. Mais ce n’est pas dans la version actuelle du modèle que cet objectif sera atteint. Celui-ci n’arrive même pas à rivaliser avec GPT-3.5 selon une équipe de chercheurs.

Google Gemini n’inquiète pas encore OpenAI

Rappelons que le lancement de Gemini avait pour but de concurrencer OpenAI sur le marché des grands modèles de langage (LLM). Mais sa version Pro, qui est celle la plus avancée accessible au public, est beaucoup moins efficace que le GPT-4 d’OpenAI.

C’est la conclusion des chercheurs de l’université Carnegie Mellon de Pittsburgh, aux États-Unis, et de la startup californienne BerriAI. Ils détaillent leur recherche dans un papier disponible sur l’archive ouverte arXiv.

Selon l’étude, Gemini Pro offre une précision comparable, bien que légèrement inférieure, à celle de GPT 3.5 Turbo. Mais le modèle de Google est clairement inférieur au GPT-4 Turbo sur ce point. Par ailleurs, des lacunes dans divers domaines le handicapent. Celles-ci concernent notamment la réorganisation des mots et la génération de symboles.

D’autre part, le modèle développé par le laboratoire DeepMind de Google peine à résoudre des questions à choix multiples, à comprendre des requêtes complexes et à coder.

Meilleur que le Français Mixtral

Pour leurs travaux, les chercheurs américains ont sélectionné quatre grands modèles de langage. Ces derniers ont été mis en compétition dans différents tests afin de comparer leurs performances. Chaque modèle devait traiter une suite de prompts, englobant des domaines comme les mathématiques, le raisonnement ou les sciences sociales.

Les modèles en question sont :

Gemini Pro de Google
GPT-3.5 Turbo et GPT-4 Turbo d’OpenAI
Mixtral 8x7B de la startup française Mistral

À noter que l’équipe de recherche a également utilisé LiteLLM, un site agrégateur d’intelligence artificielle.

Le modèle de Google a néanmoins dépassé GPT 3.5 Turbo dans certaines tâches. En effet, il sait mieux trier les mots et gère plus efficacement les prompts sur la sécurité et la microéconomie. Par ailleurs, Gemini Pro réalise de meilleures traductions que ses concurrents dans ce test. En revanche, il bat Mixtral dans tous les domaines.

Une version Ultra plus puissante pour 2024

Les chercheurs de l’université Carnegie Mellon et de BerriAI mettent évidemment dans l’embarras Google. Le leader de la recherche en ligne a d’ailleurs rapidement répondu à leur papier, en maintenant que Gemini Pro était supérieur à GPT-3.5.

D’autre part, le géant américain du numérique a annoncé une version améliorée de son modèle. Gemini Ultra devrait être lancée dans les semaines qui arrivent. Cette prochaine version surpasserait GPT-4 en termes de performances, d’après les évaluations internes de Google. Ce qui donne une impression de déjà vu.

En effet, ce n’est pas la première fois que le numéro un de la recherche en ligne annonce un modèle de langage avec des capacités supérieures. Puis une étude indépendante vient contredire ses évaluations internes.