Cette IA ajoute des châteaux volants et des vaisseaux spatiaux à vos vidéos

Depuis quelques années, de nombreux outils s’appuient sur l’intelligence artificielle pour truquer les vidéos. Ces deepfakes consistent généralement à remplacer le visage d’une personne, ou à lui faire tenir des propos qu’elle n’a pas prononcés. Zhengxia Zou, un chercheur postdoctoral à l’université du Michigan, a mis au point un nouvel outil également basé sur l’apprentissage profond, mais qui remplace automatiquement le ciel.

Castle in the Sky est capable d’ajouter dans une vidéo un château volant, un vaisseau spatial ou d’autres éléments comme des planètes, des lunes ou un ciel étoilé. Toutefois, l’IA ne se contente pas de modifier le ciel, elle adapte aussi l’éclairage de la scène pour obtenir des résultats très réalistes. De plus, l’outil calcule automatiquement le déplacement du ciel d’une image à l’autre afin de suivre les mouvements de la caméra.

Les méthodes classiques pour remplacer le ciel se basent sur des images fixes ou nécessitent les données des capteurs des smartphones afin de placer le ciel correctement. Castle in the Sky utilise une technique purement visuelle, et fonctionne donc avec toutes les sources de vidéos. Plutôt qu’un réseau antagoniste génératif (GAN), habituellement utilisé dans ce genre d’outil, Castle in the Sky s’appuie sur un réseau neuronal convolutif (CNN). Sur un ordinateur équipé d’une carte graphique Nvidia Titan XP, l’IA peut changer le ciel en temps réel, à 24 images par seconde, sur une vidéo avec une définition de 640 x 320 pixels.

L’outil propose également une seconde fonction, puisqu’il est capable de changer la météo, passant d’un temps couvert à ensoleillé, ou en ajoutant de la pluie ou un orage. Castle in the Sky ne nécessite aucune interaction de la part de l’utilisateur. L’IA détecte automatiquement les limites du ciel et préserve tout élément qui s’y superpose, comme un arbre ou un lampadaire.