Une nouvelle IA baptisée « Castle in the Sky » est capable de remplacer automatiquement le ciel dans des vidéos. Créé par un chercheur de l’université du Michigan, l’outil utilise l’apprentissage profond pour ajouter des éléments comme des vaisseaux spatiaux ou des châteaux volants, ou changer la météo.

Depuis quelques années, de nombreux outils s’appuient sur l’intelligence artificielle pour truquer les vidéos. Ces deepfakes consistent généralement à remplacer le visage d’une personne, ou à lui faire tenir des propos qu’elle n’a pas prononcés. Zhengxia Zou, un chercheur postdoctoral à l’université du Michigan, a mis au point un nouvel outil également basé sur l’apprentissage profond, mais qui remplace automatiquement le ciel.

Castle in the Sky est capable d’ajouter dans une vidéo un château volant, un vaisseau spatial ou d’autres éléments comme des planètes, des lunes ou un ciel étoilé. Toutefois, l’IA ne se contente pas de modifier le ciel, elle adapte aussi l’éclairage de la scène pour obtenir des résultats très réalistes. De plus, l’outil calcule automatiquement le déplacement du ciel d’une image à l’autre afin de suivre les mouvements de la caméra.

Les méthodes classiques pour remplacer le ciel se basent sur des images fixes ou nécessitent les données des capteurs des smartphones afin de placer le ciel correctement. Castle in the Sky utilise une technique purement visuelle, et fonctionne donc avec toutes les sources de vidéos. Plutôt qu’un réseau antagoniste génératif (GAN), habituellement utilisé dans ce genre d’outil, Castle in the Sky s’appuie sur un réseau neuronal convolutif (CNN). Sur un ordinateur équipé d’une carte graphique Nvidia Titan XP, l’IA peut changer le ciel en temps réel, à 24 images par seconde, sur une vidéo avec une définition de 640 x 320 pixels.

L’outil propose également une seconde fonction, puisqu’il est capable de changer la météo, passant d’un temps couvert à ensoleillé, ou en ajoutant de la pluie ou un orageCastle in the Sky ne nécessite aucune interaction de la part de l’utilisateur. L’IA détecte automatiquement les limites du ciel et préserve tout élément qui s’y superpose, comme un arbre ou un lampadaire.

Intéressé par ce que vous venez de lire ?

Abonnez-vous à la lettre d’information La quotidienne : nos dernières actualités du jour. 

LAISSER UN COMMENTAIRE

S'il vous plaît entrez votre commentaire!
S'il vous plaît entrez votre nom ici