Framer — это инновационный инструмент интерполяции кадров, объединяющий предобученную диффузионную модель с управлением траекториями ключевых точек и предоставляющий пользователям возможность точной настройки движения при переходе. Загрузите изображения первого и последнего кадра — и можно генерировать видео перехода между ними. Благодаря интерактивному управлению и функции автоматической оптимизации он обеспечивает высококачественные и естественные визуальные эффекты в сложных сценах движения и при значительных изменениях внешнего вида.
Внимание: данная модель поддерживает генерацию видео только с разрешением 512×320.

Функции программы:
Интерактивная интерполяция кадров: поддерживает настройку пользователем ключевых точек и траекторий для точного локального управления движением.
Режим автоматического управления: автоматически определяет положение ключевых точек и оптимизирует траектории движения, создавая естественные и последовательные во времени результаты.
На основе диффузионной модели: использует предобученную модель Stable Video Diffusion для достижения высокого разрешения и визуальной согласованности в процессе интерполяции кадров.
Обработка сложных сцен: эффективно справляется со сложным движением объектов, изменением формы и различиями в стиле.
Эффективная визуализация: предоставляет интуитивный интерактивный интерфейс с настройкой ключевых точек и траекторий в реальном времени для оптимизации результата сразу после изменения.
Сценарии применения:
Производство кино и видео: повышение эффекта замедленной съёмки или исправление прерывистых переходов между кадрами с помощью интерполяции кадров.
Создание анимации: помогает аниматорам быстро генерировать естественные промежуточные кадры между двумя кадрами.
Академические исследования: поддержка исследований временного анализа и моделирования движения в области компьютерного зрения.
Разработка игр: оптимизация плавности анимации персонажей и улучшение игрового опыта.
Оптимизация визуального контента: исправление видео с низкой частотой кадров или усиление динамической выразительности коротких видео для социальных сетей и креативного дизайна.
Требования к конфигурации:
Компьютер должен соответствовать следующей конфигурации:
Операционная система: Windows 10/11 64-бит
Видеокарта: видеокарта NVIDIA с объёмом видеопамяти не менее 8 ГБ
CUDA >= 12.1
Весь пакет после распаковки занимает около 41,9 ГБ, необходимо оставить достаточно места на диске
Если на компьютере не установлена CUDA, можно посмотреть руководство по установке:
Как узнать бренд, модель видеокарты и объём видеопамяти:
Откройте диспетчер задач
Нажмите «Производительность»
Нажмите «GPU»
В правом верхнем углу видно модель видеокарты, а ниже — объём видеопамяти

Инструкция по использованию:
① После скачивания пакета распакуйте его;

Внимание: в пути к папкам и в именах файлов (включая имена аудио, изображений, видео и других файлов) не должно быть китайских символов, иначе некоторые программы не смогут их распознать и выдадут ошибку

② Дважды щёлкните «一键启动.bat», подождите немного — в браузере автоматически откроется интерфейс управления

③ Загрузите изображения начального и конечного кадров (изображения автоматически приводятся к размеру 512×320 пикселей), нажмите кнопку «添加新轨迹», чтобы начать рисование траектории движения, щёлкайте по изображению для добавления точек траектории (для каждой траектории один раз нажимайте «添加新轨迹»), настройте параметры силы управления и амплитуды движения, нажмите «运行» для генерации видео
Внимание: данная модель поддерживает генерацию видео только с разрешением 512×320.

④ Ниже будет сгенерирован предварительный просмотр результата

⑤ Результат генерации находится в папке «outputs» в пакете файлов

Результат генерации:

Адрес открытого исходного кода: https://github.com/aim-uofa/Framer