Créer, retoucher, détourer : cette IA d’Alibaba réunit presque tous les outils d’image

Création, retouche, détourage, transparence d’image… Pourquoi utiliser plusieurs outils d’IA quand un seul modèle peut déjà faire une bonne partie du travail ? Qwen-Image-2.1. Explications.

🔥 Nous recommandons Nano Banana

Vous souhaitez générer des illustrations artistiques, des visuels photoréalistes ou adapter vos créations pour vos projets ? Nano Banana s'impose comme l'un des générateurs les plus performants du moment. Cet outil d'intelligence artificielle permet de créer des images haute définition en quelques secondes, le tout avec une prise en main simple et rapide.

Tester Nano Banana gratuitement

Alibaba vient de lever le voile sur Qwen-Image-2.1. C’est un modèle d’image open weight qui réunit en une seule solution une série d’outils qui pourraient rendre la création beaucoup plus souple.

Qwen-Image-2.1 : Une image, dix références et pas mal de possibilités 

L’une des fonctions les plus pratiques concerne la gestion des images de référence. Qwen-Image-2.1 peut en accepter jusqu’à 10 à la fois.

Le principe est assez facile à comprendre. Plusieurs personnes peuvent être réunies dans une même composition à partir de leurs portraits individuels. Le modèle peut aussi combiner différentes pièces pour créer une tenue complète.

Vous pouvez par exemple intégrer dans une seule image un mannequin, des vêtements, des chaussures, un sac et un chapeau. Bref, au gré de vos envies !

La même logique fonctionne pour l’aménagement intérieur. Jusqu’à dix photos de meubles peuvent servir de références pour imaginer une pièce complète. Cela évite donc de demander au modèle de deviner ce qu’on souhaite. 

Et si vous voulez modifier un petit détail, Qwen-Image-2.1 permet de sélectionner une zone précise.

Comment ? Avec des cercles, des annotations dessinées ou des masques. Ce qui devrait vous aider à bien vous faire comprendre par l’IA et éviter de demander une nouvelle génération complète. 

Par ailleurs, le modèle accepte également une image d’origine et un masque séparé. Seule la zone correspondant au masque est alors modifiée. 

Jusqu’où cette IA générateur d’image d’Alibaba peut-elle aller ?

Auparavant, Qwen proposait Qwen-Image-Layered, un modèle consacré à la génération d’images transparentes. Cette fonction est désormais intégrée directement à Qwen-Image-2.1. 

Selon la demande formulée dans l’invite, le système peut générer une image classique ou produire directement un élément avec un canal de transparence. 

Et il ne s’agit pas seulement de détourer un objet posé au milieu d’un fond uni. Le modèle peut créer des compositions transparentes comprenant plusieurs éléments.

Il peut aussi modifier ces images par la suite. Une expression faciale peut être changée sans supprimer la transparence du fond. Même le texte présent sur un calque transparent peut être remplacé.

Vous pouvez même partir d’une photographie RGB classique pour en extraire un sujet sous forme de calque RGBA transparent. Une personne, un objet ou un élément visuel peut alors être récupéré pour être réutilisé ailleurs. 

Et ce n’est pas tout. Qwen-Image-2.1 vise également des usages plus créatifs et professionnels. Le modèle prend en charge la génération de panoramas, d’infographies et de storyboards.

À partir d’un selfie, il peut par exemple produire une image panoramique. Et le modèle promet de conserver les caractéristiques du visage afin que l’identité de la personne reste reconnaissable après l’édition. (Voir l’image ci-dessous)

Image panoramique produite à partir d’un selfie / Montage LeBigData

Il en va de même pour les produits. Le système tente de préserver leur forme, leurs textures et les textes présents dessus, même lorsqu’ils sont intégrés dans une nouvelle scène. 

Que faut-il savoir d’autres sur Qwen-Image-2.1 ?

Si vous voulez tout savoir, Qwen-Image-2.1 ne débarque pas seul. Le modèle bénéficie dès son lancement d’une intégration avec plusieurs outils et frameworks utilisés pour exécuter et servir des modèles d’IA. Parmi eux, ComfyUI, vLLM et Diffusers. 

Malgré toutes ces fonctions, Alibaba mise sur une architecture relativement compacte. Le composant chargé de la génération visuelle embarque 7 milliards de paramètres, avec 32 couches DiT à flux unique. L’objectif est de conserver une bonne qualité d’image tout en évitant de faire exploser les besoins en calcul.

Les premiers résultats publiés autour de son exécution montrent également qu’il peut fonctionner sur du matériel grand public haut de gamme. Une implémentation SGLang-Diffusion rapporte par exemple environ 18,7 secondes pour générer une image en 1024 × 1024.

Ce, sur une RTX 4090, avec environ 21,7 secondes pour une opération d’édition. Ces chiffres dépendent toutefois de l’implémentation et de la configuration utilisée. 

Et il y a toutefois un détail à ne pas laisser passer sous le tapis. Qwen-Image-2.1 est distribué sous une Qwen Research License. Ce qui limite son utilisation, sa distribution et sa modification aux usages non commerciaux liés à la recherche ou à l’évaluation. Une utilisation commerciale nécessite une autorisation distincte. 

ARTICLES SIMILAIRES