Pipette porte peut-être un nom surprenant, mais le benchmark de Liquid AI n’a rien d’un gadget. Open source, il mesure les performances réelles des modèles d’IA directement sur les smartphones et ordinateurs qui les exécutent. Impressionnant, non ?
Un modèle peut briller dans un benchmark et pourtant ralentir une fois installé sur un smartphone. Liquid AI veut justement mettre ce décalage en lumière avec Pipette, une nouvelle plateforme open source développée avec Artificial Analysis.
L’idée paraît simple. Au lieu de regarder uniquement les capacités théoriques d’un modèle, Pipette mesure son comportement sur le matériel qui l’exécute. Mémoire, latence, vitesse d’inférence et longueur du contexte entrent ainsi dans l’équation.
Pipette de Liquid AI veut tester les modèles dans leurs vraies conditions
Le benchmark propose déjà plus de 1 000 configurations testées en laboratoire. Elles associent modèles, quantifications, environnements d’exécution, appareils et contextes différents.
Les premiers résultats couvrent plus de 30 modèles. Liquid AI teste notamment des configurations sur un MacBook Pro équipé d’une puce M5 Max, un iPhone 17 Pro et un Galaxy S26 Ultra.
Pipette prend aussi en compte la quantification. Cette technique réduit la taille des modèles pour faciliter leur exécution sur des appareils moins puissants. Elle peut toutefois modifier leurs performances et leur qualité.
Le benchmark évalue notamment les modèles avec IFBench, GPQA Diamond et MATH-500. Il mesure ensuite plusieurs paramètres matériels, comme le débit, la latence et l’utilisation maximale de la mémoire.
Les écarts peuvent surprendre. Sur le Galaxy S26 Ultra, deux modèles Granite de 350 millions de paramètres affichent une évolution très différente lorsque le contexte s’allonge. Avec Q4_K_M, Granite-4.0-H-350M conserve 78,4 % de son débit entre 256 et 4 096 jetons. Granite-4.0-350M n’en conserve que 33,8 %.
Un benchmark Open source pensé pour la reproductibilité
Pipette ne se limite pas à publier un classement. Liquid AI fournit aussi les clients open source nécessaires pour exécuter les tests sur macOS, Windows, iOS et Android.
La plateforme repose sur trois composants open source. Ils gèrent les benchmarks, exécutent les tests sur les appareils et calculent les scores d’évaluation.
Chaque résultat conserve aussi les informations liées au modèle, à sa quantification, au logiciel utilisé et au matériel testé. Cette traçabilité doit évidemment faciliter les comparaisons et limiter les conclusions trop rapides.
Le projet possède toutefois quelques limites. Les résultats sur les NPU ne figurent pas encore dans cette première version. Liquid AI indique aussi que les comparaisons entre appareils restent délicates.
Pipette cherche donc moins à désigner « le meilleur modèle » qu’à montrer lequel fonctionne le mieux dans une configuration précise. Et pour les développeurs qui veulent faire tourner une IA localement, cette nuance pourrait rapidement devenir essentielle.
- Partager l'article :
