Framer ist ein innovatives Frame-Interpolationswerkzeug, das vortrainierte Diffusionsmodelle mit Keypoint-Trajektoriensteuerung kombiniert und Benutzern präzise Anpassungsmöglichkeiten für Bewegungübergänge bietet. Laden Sie Bilder des ersten und letzten Frames hoch, und schon kann ein Übergangsvideo zwischen erstem und letztem Frame generiert werden. Durch interaktive Steuerung und automatische Optimierungsfunktionen erzielt es in komplexen Bewegungsszenarien und bei deutlichen Erscheinungsänderungen hochwertige, natürliche visuelle Effekte.
Hinweis: Dieses Modell unterstützt nur die Generierung von Videos mit einer Auflösung von 512×320 Breite×Höhe

Softwarefunktionen:
Interaktive Frame-Interpolation: Unterstützt Benutzer bei der benutzerdefinierten Anpassung über Keypoints und Trajektorien, um eine präzise lokale Bewegungssteuerung zu erreichen.
Automatischer Antriebsmodus: Erkennt Keypoint-Positionen automatisch und optimiert Bewegungstrajektorien, um natürliche und zeitlich konsistente Ergebnisse zu erzeugen.
Diffusionsmodell-gesteuert: Nutzt das vortrainierte Stable Video Diffusion-Modell, um hohe Auflösung und visuelle Konsistenz während der Frame-Interpolation zu erreichen.
Verarbeitung komplexer Szenarien: Kann effektiv mit komplexen Objektbewegungen, Formveränderungen und Stilunterschieden umgehen.
Effiziente Visualisierung: Bietet eine intuitive interaktive Oberfläche, in der Keypoints und Trajektorien in Echtzeit angepasst werden können, um eine sofort sichtbare Effektoptimierung zu ermöglichen.
Anwendungsbereiche:
Film- und Videoproduktion: Durch Frame-Interpolation werden Slow-Motion-Effekte verstärkt oder diskontinuierliche Frame-Übergänge repariert.
Animationserstellung: Animatoren können zwischen zwei Frames schnell natürliche Zwischenframes generieren.
Akademische Forschung: Unterstützt Forschung zu Zeitreihenanalyse und Bewegungssimulation im Bereich Computer Vision.
Spieleentwicklung: Optimiert die Flüssigkeit von Charakteranimationen und verbessert das Spielerlebnis.
Optimierung visueller Inhalte: Repariert Videos mit niedriger Bildrate oder verbessert die dynamische Ausdruckskraft von Kurzvideos für soziale Medien und kreatives Design.
Systemanforderungen:
Der Computer erfüllt die folgenden Anforderungen:
Betriebssystem: Windows 10/11 64 Bit
Grafikkarte: NVIDIA-Grafikkarte mit mindestens 8 GB VRAM
CUDA >= 12.1
Das gesamte Paket ist nach dem Entpacken etwa 41,9 GB groß, ausreichend Festplattenspeicher muss reserviert werden
Falls CUDA auf dem Computer nicht installiert ist, finden Sie die Installationsanleitung unter:
So prüfen Sie Marke, Modell und VRAM der Grafikkarte:
Task-Manager öffnen
Auf "Leistung" klicken
Auf "GPU" klicken
Oben rechts ist das Grafikkartenmodell zu sehen, darunter die Größe des VRAM

Anleitung:
① Integrationspaket herunterladen und anschließend entpacken;

Hinweis: Im Ordnerpfad und in Dateinamen (einschließlich der Namen von Audiodateien, Bildern, Videos usw.) dürfen keine chinesischen Zeichen vorkommen, da sonst manche Software sie nicht erkennt und Fehler meldet

② Doppelklick auf „一键启动.bat“, nach kurzer Wartezeit öffnet sich die Bedienoberfläche automatisch im Browser

③ Lade das Startframe- und Endframe-Bild hoch (die Bilder werden automatisch auf 512×320 Pixel angepasst), klicke auf die Schaltfläche „添加新轨迹“, um mit dem Zeichnen der Bewegungsbahn zu beginnen, klicke auf das Bild, um Bahnpunkte hinzuzufügen (für jede Bahn einmal auf „添加新轨迹“ klicken), passe die Parameter für Steuerungsstärke und Bewegungsamplitude an und klicke auf „运行“, um das Video zu generieren
Hinweis: Dieses Modell unterstützt nur die Generierung von Videos mit einer Auflösung von 512×320 Breite×Höhe

④ Unten wird eine Ergebnisvorschau generiert

⑤ Die generierten Ergebnisse befinden sich im Ordner „outputs“ im Dateipaket

Generierte Ergebnisse:

Open-Source-Adresse: https://github.com/aim-uofa/Framer