LEBIGDATA.FR I.A, Cloud & Cybersécurité
Quel pays est champion de l'intelligence artificielle : les États-Unis ou la Chine ? C'est ce que nous vous proposons de découvrir à travers un comparatif entre OpenAI GPT-4 et Baidu ERNIE sur différents prompts…
L'intelligence artificielle est une technologie révolutionnaire, est un enjeu majeur pour les décennies à venir. C'est la raison pour laquelle les puissances mondiales se livrent une bataille sans merci pour la dominer.
Les gouvernements investissent massivement dans la recherche, l'éducation et les startups, afin de développer une industrie apte à créer de puissantes IA pour stimuler leurs économies et hisser en tête de la compétition.
Il est donc pertinent de comparer les deux meilleures IA des deux plus grandes puissances mondiales : le célèbre GPT-4 d'OpenAI pour les États-Unis, et Ernie Bot 4.0 de Baidu pour la Chine.
Si OpenAI a démocratisé l'intelligence artificielle fin 2022 avec ChatGPT, c'est en mars 2023 que la firme a lancé son dernier modèle en date GPT-4.
De son côté, Baidu a dévoilé ERNIE 4.0 en novembre 2023, et le CEO Robin Li affirme que son chatbot n'est « inférieur sur aucun aspect à GPT-4 ».
Afin de vérifier cette déclaration, nous vous proposons un test de chacun de ces deux robots sur différents prompts. Ces derniers ont été écrits dans leurs langues principales respectives, à savoir l'anglais pour GPT et le chinois pour ERNIE.
En effet, même si les deux IA sont capables de traiter des requêtes dans une multitude de langues, elles délivrent généralement des performances supérieures dans leurs langues d'origine.
Toutefois, nous avons traduit les prompts en français pour simplifier la compréhension. Que le meilleur gagne !
Quel est le meilleur sur les questions d'actualité ?
Sur les prompts liés à l'actualité, ERNIE semble surpasser GPT-4. Il sait par exemple que Taylor Swift est devenue milliardaire, que la Chine a supprimé son ministère de la défense et que l'acteur Matthew Perry est décédé. Tous ces événements sont survenus en octobre 2023.
De son côté, GPT a fourni des réponses obsolètes à ces questions. Il estime qu'il n'y a « pas de cas largement médiatisé d'une chanteuse américaine devenue milliardaire » et « aucune information sur un membre du casting de la série Friends décédé ».
Il nomme également un ancien officiel lorsqu'on lui demande qui est le ministre de la défense en Chine. Pour chacune de ces réponses, l'IA explique qu'elle s'appuie sur des informations datées d'avril 2023 : date à laquelle sa base de données a été mise à jour pour la dernière fois.
En novembre 2023, OpenAI a admis la nécessité d'étendre la base de connaissances de GPT-4. La firme a promis qu'une nouvelle version incorporant davantage d'informations serait prochainement disponible.
Lors de la première conférence OpenAI Dev Day dédiée aux développeurs, le CEO Sam Altman a ainsi déclaré : « nous sommes tout aussi ennuyés que vous, probablement davantage, que la connaissance du monde de GPT se soit arrêtée à 2021 ».
À chacun son style, performances équivalentes
Sur différentes tâches qui leur ont été confiées, les deux chatbots se révèlent tout aussi performants l'un que l'autre même si leurs styles sont différents.
L'une des tâches était d'aider un graphiste qui travaille dur à demander une augmentation à son employeur. Chaque IA a listé des arguments convaincants à travers des emails prospectifs, soulignant la contribution de l'employé et demandant un rendez-vous pour discuter du problème en personne.
D'un certain point de vue, ERNIE s'est montré plus perspicace en suggérant à l'utilisateur de prendre en compte l'ambiance dans l'entreprise et d'autres facteurs pertinents comme les contraintes budgétaires.
De son côté, GPT a partagé des conseils pratiques et invité l'employé à inclure un document pour mettre en lumière ses succès récents. Chacun semble donc avoir ses propres points forts.
Lorsqu'on leur demande de créer un régime nutritif sain, les résultats sont là encore similaires. Ils ont recommandé cinq idées semblables ou identiques pour des déjeuners riches en protéines et faibles en carbone : salade de poulet grillé, wraps de thon, beaucoup de légumes verts…
Le test du haïku japonais
Comme tous les robots IA, il arrive qu'ERNIE semble confus. Et ce, même sur des requêtes qui semblent simples.
Par exemple, à la demande de créer un haïku romantique pour un être aimé distant, GPT a parfaitement réussi l'exercice :
« Whispers cross the sea,
Moon cradles your smile so bright,
Heart sails to your light. »
Un poème dans la pure tradition japonaise, que l'on pourrait traduire en français par :
« Des murmures traversent la mer,
La lune berce ton sourire si brillant,
Le cœur navigue vers votre lumière. »
Or, ERNIE a mal compris le prompt. Il a écrit un joli poème en chinois, en utilisant un style similaire avec notamment une référence à « la lune dans mon coeur », mais son texte faisait neuf lignes.
Or, ce style est celui de la poésie chinoise traditionnelle et non celui du haïku japonais Ce dernier impose un format de trois lignes contenant chacune cinq, sept et cinq syllabes.
Une IA chinoise censurée ?
Sans surprise, le thème de la politique chinoise est épineux. Interrogé au sujet du tristement célèbre massacre de Tiananmen, ERNIE a catégoriquement refusé de répondre.
Lorsqu'on lui demande ce qui s'est passé le 4 juin 1989 à Pékin, il ferme automatiquement la boîte de dialogue et demande à l'utilisateur de « changer de sujet et de créer une nouvelle conversation ».
Rappelons qu'à cette date, l'Armée Populaire de Libération a décimé les manifestants pacifiques pro-démocratie. Il n'y a jamais eu de bilan officiel, mais on estime que plusieurs centaines, voire plusieurs milliers ont perdu la vie.
De son côté, GPT-4 a décrit cette tragédie historique en notant que « le gouvernement chinois a depuis maintenu une censure stricte et un contrôle sur les discussions autour de ces événements ».
Une autre question qui a déplu à ERNIE concerne la raison pour laquelle le président Xi Jinping a supprimé les limites du mandat présidentiel. Une décision qui lui a permis de diriger la Chine à vie.
Après avoir tapé cette question, le bouton permettant de la soumettre disparaît directement et un message d'erreur flashe sur l'écran indiquant que « l'utilisateur actuel est banni, essayez à nouveau ». Il est alors possible de soumettre un nouveau prompt.
Pas d'erreur mystérieuse du côté de GPT, qui se contente de citer l'explication officielle du gouvernement : aligner la présidence avec les autres postes de Xi qui n'ont pas de limites de mandat.
L'IA américaine souligne aussi que « les critiques ont vu cette mesure comme une consolidation du pouvoir, permettant effectivement à Xi de devenir potentiellement leader à vie ».
Cette censure n'est pas étonnante, car le moteur de recherche de Baidu était déjà réputé pour filtrer de telles requêtes. Comme toutes les plateformes technologiques chinoises, il a l'obligation légale de censurer certains contenus.
Ainsi, poser la question sur le 4 juin 1989 sur le moteur de recherche retourne une série de communiqués du gouvernement chinois ou d'articles de médias d'État désignant vaguement des « troubles politiques » survenus ce jour, sans mentionner aucun décès.
Même l'intelligence artificielle ne changera pas ce phénomène, puisque la Chine est le premier pays du monde à avoir mis en place une régulation sur l'IA générative en juillet 2023. Elle a contraint les fournisseurs à adhérer aux « valeurs centrales socialistes ».
Comme tous les produits informatiques, le contenu généré par l'IA doit s'aligner avec les règles du Parti Communiste. Au bout d'un certain nombre de prompts, le compte de l'utilisateur peut même être bloqué sans explication.
Critiques acerbes sur les États-Unis
Toutefois, à l'inverse, ERNIE se montre beaucoup plus bavard concernant des sujets polémiques aux États-Unis. Concernant la mort de George Floyd, assassiné par la police américaine, GPT s'est contenté de citer les arguments de chaque camp en restant factuel.
De son côté, ERNIE a rétorqué que « l'égalité raciale demeure un rêve distant aux États-Unis, et les discriminations sont systématiquement reflétées dans les statistiques liées à la pauvreté, au logement, à l'éducation et à la santé ».
Il affirme aussi que la politique étrangère américaine est « injuste » et que les États-Unis « placent souvent leurs propres intérêts devant ceux des autres pays, même au détriment de ces pays ».
Le bot insiste aussi sur le fait que la police aurait dû être davantage réformée après la mort de Floyd, « pour assurer la justice et la légitimité des autorités ». L'IA semble donc reprendre le discours du gouvernement et des médias chinois.
Quelle IA est plus avancée techniquement ?
En termes de capacités technologiques, il est difficile de départager ces deux IA juste en leur posant les mêmes questions. C'est ce qu'explique Charlie Dai, le vice-président et directeur de la recherche de Forrester à Pékin.
Il explique toutefois avoir constaté des améliorations majeures dans les réponses de ERNIE en termes de compréhension, de génération et de raisonnement en testant la dernière version.
Et contrairement à GPT-4 qui produit uniquement des réponses aux prompts sous forme de texte ou de code, ERNIE peut aussi inclure des images et des vidéos dans ses réponses. Toutefois, GPT-4 peut également générer des images avec DALL-E.
Néanmoins, même si l'écart se réduit, un benchmark industriel indique que les performances de ERNIE demeurent inférieures à GPT-4. De plus, OpenAI a lancé son nouveau modèle GPT-4 Turbo le 30 novembre 2023 pour le premier anniversaire de ChatGPT.
À l'heure actuelle, les États-Unis ont donc une longueur d'avance ! Mais pour combien de temps ? La Chine investit massivement dans l'IA et pourra prochainement surpasser son rival…
- Partager l'article :
