Cette petite IA de Meta affiche les performances de Claude Haiku 5.5 pour presque trois fois moins cher 

Faire travailler une intelligence artificielle, c’est bien. Lui demander de recommencer des centaines de petites opérations sans faire grimper la facture, c’est encore mieux. Meta semble avoir compris le problème. L’entreprise vient de présenter Muse Ember, un modèle spécialement conçu pour cette mission. 

Muse Ember est le plus petit modèle d’IA de Meta à ce jour. Sa particularité ? Il est conçu pour accomplir les tâches répétitives des agents IA autonomes tout en réduisant considérablement les coûts. 

Malgré sa petite taille, il affiche des performances comparables à celles de Claude Haiku 5.5 sur certains tests. Et ce, pour un prix presque trois fois inférieur. 

Des performances proches de celles de Claude Haiku 5.5 ?

Selon les résultats présentés par le groupe et les estimations d’Artificial Analysis, Muse Ember obtient un score de 36 sur l’Intelligence Index. 

Il rejoint ainsi Claude Haiku 5.5 d’Anthropic, qui affiche le même résultat. GPT-6 Luna d’OpenAI se situe derrière avec un score de 28 dans cette comparaison.

Mais le chiffre le plus intéressant concerne le prix. Artificial Analysis estime le coût d’une tâche évaluée à environ 0,14 dollar pour Muse Ember, contre 0,41 dollar pour Claude Haiku 5.5.

La comparaison devient encore plus intéressante face à un modèle plus imposant de sa propre famille. Muse Spark 1.3 affiche un score de 37 sur le même indice, mais son coût estimé atteint 2,39 dollars par tâche.

Toutefois, ces résultats ne signifient pas que Muse Ember soit systématiquement meilleur que ses concurrents. Les performances varient selon les exercices et les capacités évaluées.

Par ailleurs, ces résultats doivent être interprétés avec prudence. Les benchmarks donnent une indication des capacités du modèle, mais ne suffisent pas à démontrer sa supériorité dans toutes les situations réelles. 

Que disent les autres benchmarks ?

Eh bien, sur AutomationBench-AA, qui mesure l’aptitude à réaliser des processus professionnels automatisés, Muse Ember atteint 37,8 %, contre 20,2 % pour GPT-6 Luna et 13,9 % pour Claude Haiku 5.5.

Il obtient également 61,6 % sur Agents’ Last Exam, devant Luna (57,1 %) et Haiku (57 %). Sur le Personal Superintelligence Index, une évaluation consacrée au travail personnel et aux connaissances, il affiche 46,8 %, contre respectivement 37 % et 36,1 % pour ses deux concurrents.

Ses performances sur les tâches impliquant l’utilisation d’un ordinateur sont également à noter. Sur OSWorld 2.1, un benchmark évaluant les interactions avec des applications de bureau, il obtient 69,5 % avec un système de notation à points partiels. 

Il atteint aussi 80,6 % sur PerceptionBench, consacré à la compréhension visuelle fine avec des outils.

La programmation révèle cependant une situation moins favorable à Meta. Sur Terminal-Bench 4.0, Muse Ember atteint 40,9 %, devant Haiku à 39,2 % et Luna à 16,4 %. En revanche, sur FrontierCode 2.0-AA, Claude Haiku reprend l’avantage avec 34,9 %, contre 27,2 % pour Muse Ember.

Muse Ember ne manque pas d’arguments 

Muse Ember est un modèle multimodal. Pour ceux qui ne le savent pas, cela signifie qu’il est capable de traiter des images, des flux audio et vidéo.

Le modèle peut donc interpréter des captures d’écran, des graphiques, des documents numérisés, des enregistrements vocaux et des contenus vidéo.

Meta lui attribue également une fenêtre de contexte d’un million de tokens. Pour simplifier, cette capacité détermine la quantité d’informations qu’un modèle peut prendre en compte au cours d’une interaction.

C’est particulièrement utile lorsqu’un agent doit travailler sur de gros volumes de données. Il peut ainsi traiter de vastes collections de documents ou des bases de code importantes sans devoir systématiquement découper les informations en petits morceaux.

Bref, Muse Ember est déjà accessible via Muse Code et la Meta Model API. Le modèle peut générer jusqu’à 512 000 tokens en sortie. 

Sa tarification commence à 0,10 dollar par million de tokens en entrée et 0,50 dollar par million de tokens en sortie. Les tokens d’entrée mis en cache sont facturés 0,004 dollar par million.

Côté sécurité, Meta indique avoir soumis Muse Ember à des évaluations portant notamment sur les risques chimiques et biologiques, la cybersécurité et les scénarios de perte de contrôle. 

Selon l’entreprise, le modèle est resté sous les seuils de risque élevé définis par son propre cadre d’évaluation.

ARTICLES SIMILAIRES