Après le record affiché par Claude Opus 5, OpenAI a rapidement répliqué avec un résultat encore plus élevé. Il aura suffi de deux simples réglages pour permettre à GPT-5.6 Sol de reprendre la tête.
Claude Opus 5 venait d’établir un record sur le benchmark ARC-AGI-3, un test réputé pour mesurer les capacités de raisonnement des intelligences artificielles. Quelques heures plus tard, OpenAI est revenu dans la course avec un chiffre encore plus impressionnant. Faut-il en conclure que GPT-5.6 Sol est meilleur ? Pas si vite. Cette nouvelle confrontation montre surtout que les benchmarks racontent rarement toute l’histoire.
OpenAI reprend l’avantage face à Claude Opus 5
Tout est parti d’une annonce officielle d’Anthropic. L’entreprise a célébré les 30,2 % obtenus par Claude Opus 5 sur ARC-AGI-3, un score validé par la fondation ARC Prize. Ce résultat représentait alors un record sur ce benchmark.
Contrairement à beaucoup d’autres tests, ARC-AGI-3 ne récompense pas la mémorisation. Les modèles affrontent des énigmes inédites présentées sous forme de petits jeux en deux dimensions. Sans la moindre consigne, ils doivent découvrir seuls les règles avant de trouver la solution.
À ce moment-là, GPT-5.6 Sol affichait seulement 13,3 %, voire près de 8 % selon certaines configurations utilisées pour les comparaisons. L’écart semblait énorme.
Mais OpenAI a rapidement publié sa propre analyse. Selon l’entreprise, le protocole officiel reposait sur un « harnais », l’interface qui relie le modèle au benchmark. Celui-ci effaçait le raisonnement après chaque action. GPT devait donc repartir de zéro à chaque étape.
En activant deux fonctions déjà utilisées dans ChatGPT et Codex, la conservation du raisonnement et sa compaction, GPT-5.6 Sol grimpe à 38,3 %. Mieux encore, il consomme environ six fois moins de jetons.
La bataille ne fait que commencer
Cette réponse n’a pas invalidé le score de Claude Opus 5. ARC Prize a d’ailleurs reconnu que les résultats publiés par OpenAI étaient réels.
La fondation rappelle toutefois que son harnais volontairement simple place tous les modèles dans les mêmes conditions. Son objectif reste de comparer les IA avec une méthodologie identique, sans privilégier les optimisations propres à chaque laboratoire.
Cette différence d’approche change la lecture des résultats. Un benchmark ne mesure jamais uniquement les qualités d’un modèle. Il évalue aussi les réglages choisis, les paramètres utilisés et l’environnement dans lequel le test s’exécute.
L’exemple partagé récemment par Composio illustre parfaitement ce phénomène. L’entreprise a exécuté le modèle Kimi K3 avec trois harnais différents. Les tâches aboutissaient presque au même résultat, mais la consommation de jetons variait fortement selon l’environnement employé. Le coût final pouvait donc changer de manière spectaculaire.
Au fond, cette passe d’armes montre que la course à l’IA ne se joue plus uniquement sur les modèles. Chaque nouveau benchmark devient un terrain de bataille où les réglages, les coûts et les protocoles comptent autant que les performances.
Mais ce qui est sûr c’est qu’OpenAI et Anthropic n’ont pas fini de se répondre à coups de records. La guerre des benchmarks, elle, ne fait sans doute que commencer.
- Partager l'article :
