LEBIGDATA.FR I.A, Cloud & Cybersécurité
Des chercheurs de Google ont développé un nouvel outil d'IA appelé Chimera Painter. Celui-ci transforme les griffonnages en créatures fantastiques. Cet outil utilise l'apprentissage automatique pour créer une représentation basée sur les croquis approximatifs de l'utilisateur.
Chimera Painter, un assistant plus qu'un outil
Créer des illustrations d'art pour les jeux vidéo requiert un niveau élevé de connaissances techniques, artistiques et de créativité. Les créateurs de jeux doivent réitérer rapidement leurs idées et développer de nombreux atouts pour respecter des délais serrés. Les chercheurs ont donc cherché à créer un pinceau qui fonctionne plus comme un assistant qu'un outil.
Chimera Painter n'est qu'un prototype. Mais l'équipe déclare que ce logiciel peut réduire le temps nécessaire pour créer des œuvres d'art de haute qualité. Nvidia a utilisé un concept similaire avec les paysages. MIT et IBM ont pour leur part développé la même idée avec les bâtiments.
Un processus de génération d'image avec le GAN
Les GAN associent deux réseaux de neurones convolutifs. L'un est un réseau de générateurs pour créer de nouvelles images. Le second est un réseau de discriminateurs pour déterminer si les images sont des échantillons de l'ensemble de données d'apprentissage ou non.
Ils ont utilisé un GAN conditionnel, où le générateur prend une entrée séparée pour guider le processus de génération d'image. Pour entraîner les GAN, les chercheurs ont créé un ensemble de données d'images en couleur avec des contours de créatures monospécifiques habitués aux modèles de créatures 3D. Une fois le modèle formé, il a été chargé de générer des chimères multiespèces basées sur les dessins des artistes.
Quelques aléas constatés
L'utilisation de GAN pour créer des créatures pourrait entraîner une perte de cohérence anatomique et spatiale lorsque des parties d'images détaillées ou à faible contraste sont rendues. La génération de chimères nécessitait un nouvel ensemble de données de style fantastique non photographique avec différentes caractéristiques telles que la perspective dramatique, la composition et l'éclairage.
Les référentiels d'illustrations existants peuvent être soumis à des restrictions de licence, présenter des caractéristiques contradictoires ou manquer de la diversité nécessaire à cette tâche. Par conséquent, il n'était pas approprié de les utiliser comme ensembles de données pour entraîner un modèle ML.
Une méthode semi-automatisée dirigée par un artiste
Pour résoudre le problème, l'équipe a produit une nouvelle méthode semi-automatisée dirigée par un artiste pour créer un ensemble de données pour entraîner des modèles ML à partir de modèles de créatures 3D. Cela leur a permis de travailler à grande échelle et d'itérer rapidement comme demandé.
Dans cette méthode, les artistes créeraient ou obtiendraient des modèles de créatures 3D, un pour chaque type de créature. Ils ont formé le modèle ML sur une base de données de plus de 10 000 échantillons de monstres. Ces exemples de modèles ont été créés en partie de manière procédurale à l'aide de modèles 3D rendus dans Unreal Engine. Les artistes peuvent désormais travailler de manière itérative avec le modèle plutôt que de dessiner de nombreuses créatures similaires à partir de zéro.
- Partager l'article :
