LEBIGDATA.FR I.A, Cloud & Cybersécurité
OpenAI vient d'annoncer Sora : une intelligence artificielle capable de générer instantanément des vidéos réalistes d'une minute à partir de n'importe quel prompt. Découvrez pourquoi c'est une révolution et comment l'utiliser !
En vous réveillant ce matin, sans même le savoir, vous êtes devenu vidéaste et réalisateur de films. Le 15 février 2024, OpenAI a lancé par surprise Sora : une IA qui génère des vidéos instantanément à partir d'un prompt.
C'est sans aucun doute le plus grand choc IA depuis ChatGPT fin 2022. Et en réalité, en comparaison avec Sora, les outils comme ChatGPT et DALL-E font figure de gadgets.
Il existait déjà des générateurs de vidéo, comme nous vous les présentions dans notre dossier dédié à cette adresse, mais OpenAI joue dans une toute autre catégorie.
La qualité des vidéos produites par Sora est tout simplement impressionnante, et tout internet est en ébullition depuis que le voile est levé. Même les plus sceptiques à l'égard de l'intelligence artificielle avouent être sans voix.
Alors qu'est-ce que c'est ? Comment ça marche ? Qu'est-ce que ça va changer, et surtout comment l'utiliser ? On vous dit tout dans ce dossier !
Une IA qui génère des vidéos de 1 minute à partir de prompts
Le nom Sora provient du mot « ciel » en japonais. Cette intelligence artificielle peut créer une vidéo réaliste correspondant aux instructions de l'utilisateur.
Il suffit d'entrer un prompt. Une courte description de la vidéo que vous souhaitez créer. L'IA Sora s'occupe ensuite de générer la vidéo en quelques secondes, avec une fidélité impressionnante.
Il est notamment possible de décrire le style de l'image, le type de caméra et de plan, les détails de la vidéo, l'action qui s'y déroule… en bref, vous pouvez véritablement donner vie à tout ce que vous imaginez.
Même si l'outil n'est pas encore disponible publiquement, les réseaux sociaux sont déjà inondés d'exemples partagés par OpenAI ou par les premiers testeurs. Nous vous proposons de découvrir quelques vidéos par vous-même (n'hésitez pas à dérouler les threads).
Une autre possibilité est de générer des vidéos à partir d'une image ou d'une séquence d'images. Ceci va notamment permettre de donner vie aux images et aux photos.
Par ailleurs, Sora peut aussi modifier une vidéo en ajoutant ou en remplaçant des éléments. Les possibilités semblent totalement illimitées.
Suite à l'annonce par OpenAI, le CEO Sam Altman s'est prêté au jeu en générant des vidéos à partir des prompts proposés par les utilisateurs de X. Voici quelques exemples fascinants.
Le jour où l'IA a mis tout le monde d'accord ?
Il existe déjà de nombreux autres générateurs IA text-to-video. On peut notamment citer les projets de recherche comme Google VideoPoet, ou les produits déjà commercialisés comme Runway.
Toutefois, comme l'explique OpenAI, Sora se distingue par son photoréalisme bluffant. Il brille aussi par sa capacité à produire des clips d'une durée maximale de soixante secondes et non de brefs snippets.
Certes, le résultat n'est pas encore parfait. Après avoir visionné une vidéo plusieurs fois, on peut apercevoir des anomalies, des glitches. Certains personnages n'expriment aucune émotion.
Quoi qu'il en soit, les progrès réalisés en quelques mois par rapport aux outils existants sont à couper le souffle.
Sur les réseaux sociaux, même les personnes qui n'étaient pas convaincues par les précédents modèles IA s'avouent stupéfaites.
Un véritable bijou de technologie
Alors, comment ça fonctionne ? Selon Tim Brooks, l'un des principaux chercheurs du projet, Sora « apprend à propos de la cohérence et de la géométrie 3D ». Et cela uniquement en voyant de nombreuses données.
Les capacités les plus impressionnantes de Sora sont celles pour lesquelles elle n'a même pas été entraînée. Elle repose sur une nouvelle version du modèle de diffusion utilisé par le générateur d'images DALL-E 3 et le moteur de GPT-4 basé sur un Transformer.
Bien plus que de produire des vidéos répondant aux exigences des prompts, cette IA démontre une compréhension de la grammaire cinématographique.
Ceci lui confère un talent pour la narration. Par exemple, une vidéo a été créée à partir du prompt « un monde en papier magnifiquement rendu représentant un récif de corail, regorgeant de poissons colorés et de créatures marines ».
Comme le souligne Bill Peebles, autre chercheur du projet, Sora crée une poussée narrative grâce à ses angles de caméra et son rythme.
Le modèle génère de multiples changements de plan en une seule fois, sans assemblage. Et ce, de manière automatique, sans que l'utilisateur lui ait demandé dans le prompt !
Sur une autre vidéo, Sora avait pour consigne de faire visiter un zoo. Elle a commencé par présenter le nom du zoo sur un grand panneau, puis change plusieurs fois de plans pour présenter les différents animaux d'une façon cinématique. Là encore, elle n'avait pas reçu d'instructions explicites.
Un autre point mis en avant sur X par Tsarathustra est que la qualité des vidéos générées par Sora augmente avec la puissance de calcul.
Selon Jim Fan de Nvidia, Sora n'est pas un simple jouet créatif comme DALL-E. Il s'agit d'un moteur physique guidé par les données, d'une simulation de nombreux mondes réels ou fantastiques.
Il estime que l'IA est probablement entraînée à partir de nombreuses données synthétiques à l'aide de Unreal Engine 5.
Quels sont les cas d'usage ?
Une IA qui crée des vidéos, c'est bien beau… mais à quoi ça va servir ? Même si l'outil n'est même pas encore sorti, les premiers testeurs ont déjà trouvé de nombreux cas d'usage.
C'est certainement la preuve que Sora est loin d'être un gadget et va bel et bien avoir un impact révolutionnaire…
Comme le montre Martin Nebelong, Sora va permettre de générer des environnements 3D. En effet, Michael Rublof de Radiancefields a pris une vidéo créée par l'IA et l'a transformée en NeRF en utilisant Colmap et Nerfstudio.
Cette vidéo de gameplay Minecraft générée par Sora montre que l'IA va aussi bouleverser le monde du jeu vidéo. N'importe qui pourra bientôt créer un jeu complet à partir d'un prompt…
Les premiers utilisateurs ont déjà commencé à créer des clips musicaux avec Sora. Même la musique est entièrement générée par l'IA !
Et bien évidemment, comme vous pouvez vous en douter, certains petits coquins savent déjà la première chose qu'ils vont faire avec Sora et l'Apple Vision Pro…
OpenAI détruit toute une industrie en un tweet ?
Alors, s'agit-il d'un puissant assistant pour tous les métiers liés à la création de la vidéo, ou de la fin de ces professions ?
Les rôles de monteur vidéo, animateur graphique, créateur de contenu sur les réseaux, rédacteur publicitaire ou même journaliste vidéo seront profondément impactés par cette innovation.
À mesure que les performances vont s'améliorer, cette IA et celles qui suivront vont prendre une importance croissante dans ces domaines. Elles vont aussi s'étendre à d'autres domaines comme le cinéma et le jeu vidéo.
Alors que Pixar a souvent répété combien il est difficile de créer la texture complexe de la fourrure d'un monstre en mouvement, Sora est capable de le faire en un clin d'œil.
Pour Benjamin DEKR, Sora va anéantir l'industrie du cinéma. Alors qu'il s'attendait à une telle innovation d'ici la fin 2024, nous y sommes déjà et il estime que n'importe qui va pouvoir créer des films avec un réalisme indistinguable d'une série Netflix.
Il faudra patienter encore un peu avant que les IA comme Sora menacent le cinéma. Vous ne pouvez pas créer de film en assemblant 120 clips Sora d'une minute, car les personnages et les décors varieront d'une vidéo à l'autre.
En revanche, dans un premier temps, cet outil va transformer les plateformes sociales comme TikTok, Reels et YouTube Shorts.
Comme l'explique la firme, il n'est plus nécessaire d'investir dans un équipement hors de prix pour créer une vidéo professionnelle. Cette IA va donner à n'importe quelle personne créant des vidéos sur les réseaux la capacité de créer du contenu de très haute qualité.
Selon OpenAI, ce projet consiste à apprendre à l'IA à comprendre et simuler le monde physique en mouvement. La création de vidéo n'est donc qu'une étape.
L'objectif réel est de permettre à l'IA d'aider l'humain à résoudre des problèmes nécessitant une interaction dans le monde réel. On peut s'attendre à ce que cette avancée soit exploitée par les robots humanoïdes comme le Tesla Optimus ou le robot Eve financé par OpenAI !
À présent, le prochain objectif de l'entreprise américaine est la création d'une AGI : une IA générale capable d'effectuer n'importe quelle tâche en toute autonomie…
Trop dangereux pour le grand public ?
Afin d'éviter toutes les dérives imaginables, OpenAI préfère se montrer très prudent avant de relâcher cet outil auprès du grand public. Il sera minutieusement testé par des experts en sécurité pour mettre en place des garde-fous.
Par ailleurs, la firme compte faire très attention avant de déployer la fonctionnalité permettant d'animer une image. Elle est consciente qu'un tel outil a le potentiel de produire des DeepFakes ou de fausses informations.
Comme DALL-E 3, Sora aura des restrictions. Elle ne pourra pas générer de contenu violent, pornographique, représenter des personnes existantes ou s'approprier le style d'artistes connus.
Tout comme les images générées par DALL-E 3 peuvent désormais être identifiées par un filigrane, OpenAI compte implémenter une solution pour reconnaître les vidéos produites par Sora.
Néanmoins, d'autres outils similaires verront le jour et accorderont probablement moins d'importance à l'éthique.
Ainsi selon Aditya Ramesh, directeur de l'équipe DALL-E, « la solution à la désinformation impliquera un certain niveau de mitigation de notre part, mais nécessitera aussi une compréhension de la société et une adaptation des réseaux sociaux »…
L'IA qui prouve que nous vivons dans une simulation ?
Selon le chercheur Jim Fan de Nvidia, Sora pourrait être la preuve que nous vivons dans une simulation (comme le suggère la fameuse théorie du simulateur, notamment relayée par Elon Musk).
D'après lui, Sora ne compresse pas seulement notre monde, mais tous les mondes possibles. Ainsi, notre réalité n'est que l'une des simulations que cette IA est capable de calculer.
Il serait possible que certaines parties du monde physique n'existent pas jusqu'à ce qu'on les regarde, tout comme il n'est pas nécessaire de représenter chaque atome dans UE5 pour créer une scène réaliste…
Comment utiliser Sora ?
Pour l'heure, Sora est encore au stade de produit de recherche. Avant de relâcher un outil si puissant auprès du grand public, OpenAI veut bien évidemment prendre des mesures pour éviter les abus et les usages détournés.
Dans un premier temps, seul un panel de créateurs triés sur le volet va pouvoir y accéder. Plusieurs experts en sécurité vont également pouvoir le tester dans le but de trouver d'éventuelles vulnérabilités.
Par la suite, dans un avenir proche, l'outil sera mis à disposition de tout un chacun. Vous pourrez alors créer vos propres vidéos en un clin d'oeil, notamment à partir de ChatGPT !
- Partager l'article :
