LatentSync — гэта перадавая тэхналогія сінхранізацыі губ, прадстаўленая ByteDance. Яна заснавана на аўдыяўмовах і выкарыстоўвае скразны падыход, што дазваляе праз мадэль латэнтнай дыфузіі і тэхналогію выраўноўвання часавых прадстаўленняў (TREPA) дасягаць высокаякаснай, часава ўзгодненай генерацыі дынамічнага відэа. Гэта тэхналогія таксама аптымізуе SyncNet, павышаючы дакладнасць і збежнасць сінхранізацыі губ, асабліва выдатна праяўляючы сябе ў складаных сцэнарыях.
Аднак пасля фактычных тэстаў сінхранізацыя губ для англійскай мовы даволі ідэальная, а для кітайскай — некалькі недастатковая. Хаця ёй можна з цяжкасцю карыстацца, калі ваша мэта — дасягнуць ідэальнай сінхранізацыі кітайскіх губ, магчыма, прыйдзецца разгледзець іншыя рашэнні. Ніжэй прыведзены вынікі тэстаў для англійскай і кітайскай моў, вы можаце звярнуцца да іх па меры неабходнасці.
- Арыгінальнае відэа:
- Вынік генерацыі для кітайскай мовы:
- Вынік генерацыі для англійскай мовы:
Асноўныя функцыі:
- Скразная структура сінхранізацыі губ:
Гэтая тэхналогія дазваляе генераваць сінхранізаваныя з аўдыё рухі вуснаў непасрэдна з аўдыё, без прамежкавых крокаў, што спрашчае ўвесь працэс.
- Генерацыя відэа высокай якасці:
Дзякуючы тэхналогіі Stable Diffusion, LatentSync можа ствараць дынамічныя, рэалістычныя відэа з гаворачым чалавекам, што шырока прымяняецца ў розных сцэнарыях стварэння відэа.
- Аптымізацыя SyncNet:
Дзякуючы аптымізацыі працэсу навучання палепшана збежнасць і дакладнасць SyncNet у складаных сцэнарыях, што павысіла агульную прадукцыйнасць.
- Гнуткае мадэляванне шуму:
Выкарыстанне змяшанай мадэлі шуму забяспечвае часавую ўзгодненасць уваходнага шуму, што павышае стабільнасць вынікаў генерацыі відэа.
Сцэнарыі выкарыстання:
- Кіна- і тэлевытворчасць і постпрадакшн:
Забяспечвае рашэнні для відэа з агучваннем у кіна- і тэлевытворчасці, дазваляючы лёгка сінхранізаваць рухі вуснаў персанажаў з гукам.
- Віртуальныя персанажы і лічбавыя людзі:
У такіх праграмах, як віртуальныя вядучыя і разумныя памочнікі, стварае натуральную анімацыю сінхранізацыі вуснаў, павышаючы эфект пагружэння.
- Адукацыйныя і навучальныя відэа:
Стварае высокаякаснае агучванне і сінхранізацыю вуснаў для навучальнага кантэнту або відэа анлайн-навучання, паляпшаючы вопыт навучання.
- Сацыяльныя сеткі і стварэнне кароткіх відэа:
Забяспечвае функцыю анімацыі пад кіраваннем аўдыё, дапамагаючы аўтарам больш натуральна дэманстраваць свае ідэі.
- Даследаванні і тэхнічная распрацоўка:
Забяспечвае новыя тэхнічныя рашэнні для такіх галін, як аўдыёвізуальнае спалучэнне, генератыўнае мадэляванне і ўзаемадзеянне чалавека і камп'ютара, спрыяючы інавацыям у гэтых галінах.
Патрабаванні да канфігурацыі:
Каб запусціць LatentSync, ваш камп'ютар павінен адпавядаць наступным патрабаванням да канфігурацыі:
- Аперацыйная сістэма: Windows 10/11 64-біт
- Відэакарта: Патрабуецца відэакарта NVIDIA з аб'ёмам відэапамяці не менш за 8 ГБ
- Версія CUDA: >= 12.1
- Месца на дыску: Пасля распакоўкі ўвесь пакет займае каля 18,7 ГБ, таму пераканайцеся, што ў вас дастаткова месца на дыску.
Калі на камп'ютары не ўсталявана CUDA, вы можаце звярнуцца даінструкцыі па ўсталяваннідля ўсталявання.
Як паглядзець брэнд, мадэль і відэапамяць відэакарты:
- Адкрыйце дыспетчар задач
- Націсніце "Прадукцыйнасць"
- Выберыце "GPU", у правым верхнім куце можна ўбачыць мадэль відэакарты, а ўнізе — аб'ём відэапамяці.
Заўвагі па ўсталяванні:
Пераканайцеся, што шлях да папкі і імёны файлаў (уключаючы імёны аўдыя-, выява-, відэафайлаў і г.д.) не ўтрымліваюць кітайскіх сімвалаў, інакш праграма можа не распазнаць іх і выдаць памылку.
Інструкцыя па ўсталяванні:
У камплект уключаны падрабязны відэаўрок, які дапаможа вам лёгка ўсталяваць і выкарыстоўваць праграму.
Адрас з адкрытым зыходным кодам:
Адрас зыходнага коду LatentSync