Framer est un outil innovant d'interpolation de trames, combinant un modèle de diffusion pré-entraîné et un contrôle de trajectoire par points clés, offrant aux utilisateurs une capacité de personnalisation précise des transitions de mouvement. Il suffit de téléverser les images de première et dernière trames pour générer une vidéo de transition entre ces deux trames. Grâce à son contrôle interactif et à ses fonctions d'optimisation automatique, il produit des effets visuels naturels et de haute qualité dans des scènes de mouvement complexe et en cas de changements d'apparence marqués.
Remarque : ce modèle ne prend en charge que la génération de vidéos d'une résolution de 512×320.

Fonctionnalités du logiciel :
Interpolation de trames interactive : prise en charge de l'ajustement personnalisé par l'utilisateur via des points clés et des trajectoires, permettant un contrôle précis du mouvement local.
Mode de pilotage automatique : détection automatique de la position des points clés et optimisation des trajectoires de mouvement, générant des résultats naturels et temporellement cohérents.
Piloté par modèle de diffusion : utilisation du modèle pré-entraîné Stable Video Diffusion pour obtenir une haute résolution et une cohérence visuelle lors du processus d'interpolation de trames.
Traitement de scènes complexes : capacité à gérer efficacement les mouvements d'objets complexes, les changements de forme et les différences de style.
Visualisation efficace : interface interactive intuitive, ajustement en temps réel des points clés et des trajectoires, pour une optimisation des effets visible immédiatement.
Cas d'utilisation :
Production audiovisuelle : dans la production de films ou de vidéos, l'interpolation d'images améliore les effets de ralenti ou corrige les transitions d'images discontinues.
Création d'animation : aide les animateurs à générer rapidement des images de transition naturelles entre deux images.
Recherche académique : soutient la recherche en analyse temporelle et en simulation de mouvement dans le domaine de la vision par ordinateur.
Développement de jeux : optimise la fluidité des animations de personnages et améliore l'expérience de jeu.
Optimisation de contenu visuel : corrige les vidéos à faible fréquence d'images ou améliore l'expressivité dynamique des vidéos courtes, pour les réseaux sociaux et les scénarios de design créatif.
Configuration requise :
L'ordinateur doit satisfaire la configuration suivante :
Système d'exploitation : Windows 10/11 64 bits
Carte graphique : carte NVIDIA avec au moins 8 Go de mémoire vidéo
CUDA >= 12.1
Le package complet décompressé fait environ 41,9 Go, prévoyez suffisamment d'espace disque
Si CUDA n'est pas installé sur votre ordinateur, consultez le tutoriel d'installation :
Comment vérifier la marque, le modèle et la mémoire vidéo de sa carte graphique :
Ouvrez le Gestionnaire des tâches
Cliquez sur "Performance"
Cliquez sur "GPU"
Le modèle de carte graphique est visible en haut à droite, la taille de la mémoire vidéo en bas.

Tutoriel d'utilisation :
① Après avoir téléchargé le pack d'intégration, décompressez-le ;

Remarque : les chemins de dossiers et les noms de fichiers (y compris les noms de fichiers audio, image, vidéo, etc.) ne doivent pas contenir de caractères chinois, sinon certains logiciels signaleront une erreur faute de les reconnaître.

② Double-cliquez sur « 一键启动.bat », attendez un instant et l'interface d'utilisation s'ouvrira automatiquement dans le navigateur

③ Téléchargez les images d'image de début et de fin (les images seront automatiquement redimensionnées à 512×320 pixels), cliquez sur le bouton « Ajouter une nouvelle trajectoire » pour commencer à dessiner la trajectoire de mouvement, cliquez sur l'image pour ajouter des points de trajectoire (cliquez une fois sur « Ajouter une nouvelle trajectoire » pour chaque trajectoire ajoutée), ajustez les paramètres d'intensité de contrôle et d'amplitude de mouvement, puis cliquez sur « Exécuter » pour générer la vidéo
Remarque : ce modèle ne prend en charge que la génération de vidéos d'une résolution de 512×320.

④ Un aperçu du résultat sera généré en dessous

⑤ Les résultats générés se trouvent dans le dossier « outputs » du package de fichiers

Résultats générés :

Adresse open source : https://github.com/aim-uofa/Framer