Framer — гэта інавацыйны інструмент інтэрпаляцыі кадраў, які спалучае папярэдне навучаныя дыфузійныя мадэлі з кіраваннем траекторыямі ключавых пунктаў, прадастаўляючы карыстальнікам магчымасць дакладнай кастымізацыі руху пераходу. Загрузіце выявы пачатковага і канцавога кадраў — і можна згенераваць відэа пераходу паміж імі. Дзякуючы інтэрактыўнаму кіраванню і функцыям аўтаматычнай аптымізацыі ён дасягае высакаякасных, натуральных візуальных эфектаў у складаных сцэнарыях руху і пры значны́х зменах знешняга выгляду.
Увага: гэтая мадэль падтрымлівае генерацыю відэа толькі з разрозненнем 512×320

Функцыі праграмы:
Інтэрактыўная інтэрпаляцыя кадраў: падтрымлівае карыстальніцкую наладку ключавых пунктаў і траекторый для дакладнага лакальнага кіравання рухам.
Аўтаматычны рэжым кіравання: аўтаматычна выяўляе становішча ключавых пунктаў і аптымізуе траекторыі руху, генераючы натуральныя і паслядоўныя ў часе вынікі.
Кіраванне дыфузійнай мадэллю: выкарыстоўвае папярэдне навучаную мадэль Stable Video Diffusion для дасягнення высокага разрознення і візуальнай узгодненасці ў працэсе інтэрпаляцыі кадраў.
Апрацоўка складаных сцэн: эфектыўна спраўляецца з складаным рухам аб'ектаў, змяненнем формы і адрозненнямі ў стылі.
Эфектыўная візуалізацыя: прадастаўляе інтуітыўны інтэрактыўны інтэрфейс, дазваляе ў рэжыме рэальнага часу наладжваць ключавыя пункты і траекторыі, дасягаючы аптымізацыі эфекту па прынцыпе «наладзіў — убачыў».
Сцэнарыі выкарыстання:
Кіна- і відэавытворчасць: у кіно або відэавытворчасці павышае эфект запаволенай здымкі праз інтэрпаляцыю кадраў або выпраўляе перарывістыя пераходы паміж кадрамі.
Стварэнне анімацыі: дапамагае аніматарам хутка ствараць натуральныя прамежкавыя кадры паміж двума кадрамі.
Акадэмічныя даследаванні: падтрымлівае даследаванні часовага аналізу і мадэлявання руху ў галіне камп'ютарнага зроку.
Распрацоўка гульняў: аптымізуе плыўнасць анімацыі персанажаў і паляпшае гульнявы вопыт.
Аптымізацыя візуальнага кантэнту: выпраўляе відэа з нізкай частатой кадраў або ўзмацняе дынамічную выразнасць кароткіх відэа для сацыяльных сетак і крэатыўнага дызайну.
Патрабаванні да канфігурацыі:
Камп'ютар адпавядае наступным патрабаванням:
Аперацыйная сістэма: Windows 10/11, 64-бітная
Відэакарта: відэакарта NVIDIA з аб'ёмам відэапамяці не менш за 8G
CUDA >= 12.1
Пасля распакоўкі ўвесь пакет займае каля 41.9G, трэба пакінуць дастаткова месца на дыску
Калі на камп'ютары не ўсталявана CUDA, глядзіце інструкцыю па ўсталяванні:
Як паглядзець брэнд, мадэль і відэапамяць відэакарты:
Адкрыйце дыспетчар задач
Націсніце "Прадукцыйнасць"
Націсніце "GPU"
У правым верхнім куце ўбачыце мадэль відэакарты, а ніжэй — аб'ём відэапамяці

Інструкцыя па выкарыстанні:
① Спампаваўшы зборку, распакуйце яе;

Увага: у шляху да папкі і ў назвах файлаў (уключаючы назвы аўдыя, малюнкаў, відэа і г.д.) не павінна быць кітайскіх сімвалаў, інакш некаторыя праграмы не распазнаюць іх і выдадуць памылку

② Двойчы пстрыкніце "一键启动.bat", пачакайце крыху — у браўзеры аўтаматычна адкрыецца інтэрфейс кіравання

③ Запампуйце выявы пачатковага і канцавога кадраў (выявы аўтаматычна зменяцца да памеру 512×320 пікселяў), націсніце кнопку "添加新轨迹", каб пачаць маляваць траекторыю руху, пстрыкайце па выяве, каб дадаць пункты траекторыі (для кожнай траекторыі націсніце "添加新轨迹" адзін раз), наладзьце параметры сілы кантролю і амплітуды руху, націсніце "运行", каб згенераваць відэа
Увага: гэтая мадэль падтрымлівае генерацыю відэа толькі з разрозненнем 512×320

④ Ніжэй з'явіцца папярэдні прагляд выніку

⑤ Вынік генерацыі знаходзіцца ў тэчцы "outputs" у пакеце файлаў

Вынік генерацыі:

Адрас з адкрытым зыходным кодам: https://github.com/aim-uofa/Framer