LEBIGDATA.FR I.A, Cloud & Cybersécurité
C'est un nouveau palier de franchi avec Stable Video 3D en matière de création de vidéo par intelligence artificielle. Ce modèle révolutionnaire impressionne.
Stability AI élargit son catalogue d'intelligence artificielle générative avec Stable Video 3D (SV3D). Ce nouveau modèle transforme les images en vidéos en 3D de quelques secondes. À noter que SV3D n'a besoin que d'une seule image d'entrée pour la conversation. La start-up britannique impressionne une fois de plus.
Rappelons qu'en novembre dernier, Stability AI avait déjà surpris avec Stable Video Diffusion. Ce modèle peut générer une vidéo à partir d'un prompt ou une image d'entrée.
La vidéo générée dure de deux à cinq secondes. Par ailleurs, sa fréquence d'image est personnalisable. À noter également que SV3D se base sur cette précédente IA générative.
Démonstration du savoir-faire de Stability AI
SV3D ne repose pas uniquement sur la technologie de Stable Video Diffusion. Le nouveau modèle intègre également des éléments de Stable Zero123.
Il s'agit d'un autre modèle de la start-up londonienne, disponible depuis décembre dernier. Cette IA générative permet de facilement créer des images en 3D.
Néanmoins, SV3D et Stable Zero123 ne possèdent pas le même mécanisme. Le premier peut être considéré comme une amélioration du second, explique Varun Jampani.
Le chercheur de Stability AI explique que SV3D utilise « un nouveau réseau de synthèse de vues ». Celui-ci prend une seule image en entrée pour générer de nouvelles images de vue.
Par ailleurs, il détaille davantage le fonctionnement de Stable Video 3D dans un récent papier de recherche.
Le principal atout de Stable Video 3D
Des travaux récents sur la modélisation 3D par IA proposent des techniques pour adapter les modèles génératifs 2D pour la synthèse de nouvelles vues et l'optimisation 3D.
Cependant, ces techniques possèdent leurs limites. Cela a pour effet de brider les performances de la modélisation d'objets 3D avec l'intelligence artificielle.
Stable Video 3D possède la capacité de générer de manière cohérente des images multi-vues d'un objet. Cela permet d'obtenir des plans pertinents sous n'importe quel angle.
La nouvelle IA générative de Stability AI ne rencontre donc aucun problème de perspective pour générer des vidéos en 3D. Ce qui en fait un outil de modélisation 3D très efficace.
Deux versions disponibles de SV3D
Pour une utilisation à des fins commerciales, Stability AI propose son nouveau modèle à 20 dollars mensuels. Les utilisateurs avec un chiffre d'affaires inférieur à un million de dollars peuvent bénéficier de cette formule.
Pour un usage non commercial, Stable Video 3D est disponible en téléchargement gratuit sur Hugging Face.
D'autre part, la start-up britannique a prévu deux versions de sa nouvelle IA générative : SV3D_u et SV3D_p.
D'une part, SV3D_u permet d'obtenir des vidéos à vues orbitales ou circulaires à partir d'une seule image d'entrée. Cette version ne nécessite pas un conditionnement de caméra.
En termes d'IA générative, le conditionnement de caméra fait référence à une technique qui utilise une entrée supplémentaire pour guider le processus de génération de nouvelles images.
Cette entrée supplémentaire est souvent une seconde image ou des paramètres liés aux perspectives de la caméra.
D'autre part, SV3D_p étend cette capacité en prenant à la fois des images uniques et des vues circulaires.
- Partager l'article :
