AI-генерацыя гаворачага лічбавага чалавека з фота, падтрымка пагрудных здымкаў — EchoMimic V2 ад Alibaba DAMO Academy, бясплатна і з адкрытым кодам, запуск адной кнопкай, без разгортвання і аўтарызацыі [Праграмная цацка·R2279]



📚Відэакурс
🕒Апошняе абнаўленне: 27.11.2024
👥Прадпрымальнікі / Аўтары самастойных медыя / Спецыялісты трансгранічнага электроннага гандлю / Тыя, хто шукае дадатковы заробак

Даведачны матэрыял — уключаны ў членства
Адкрыйце курс з сяброўствам
🔓
Атрымайце гэты курс для азнаёмлення з членствам
📦
Станце членам — вывучыце 16742 курсаў і праграмных інструментаў у якасці даведкі
🔄
Курсы пастаянна абнаўляюцца — члены вывучаюць новыя матэрыялы па меры іх паступлення
Делиться:
Папулярныя курсы
Папулярныя праграмныя інструменты

EchoMimic — гэта перадавая AI-тэхналогія, распрацаваная Alibaba DAMO Academy, якая здольна па аўдыяфайле і адной фатаграфіі твару аўтаматычна ствараць відэа з анімацыяй губаў, ідэальна сінхранізаванай з аўдыякантэнтам. Гэта тэхналогія шырока выкарыстоўваецца ў забавах, адукацыі, віртуальнай рэальнасці і анлайн-сустрэчах, даючы карыстальнікам інавацыйны вопыт.

На дадзены момант ужо выпушчана версія EchoMimic V2: новая версія падтрымлівае загрузку пагрудных фотаздымкаў і можа ствараць больш жывых пагрудных лічбавых людзей, робячы сцэнарыі ўжывання больш разнастайнымі.

Асноўныя функцыі

– Дакладная сінхранізацыя губаў
Аналізуючы аўдыякантэнт і пункты рысаў твару, ствараецца відэаэфект, які цалкам адпавядае рытму і зместу голасу.

– Натуральная і рэалістычная анімацыя
Тэхналогія падтрымлівае натуральныя рухі твару і змены мімікі; створаная анімацыя вельмі рэалістычная і блізкая да жывога выканання.

– Падтрымка некалькіх моў і стыляў
Няхай гэта путунхуа, англійская ці спеўны стыль — EchoMimic здольны дасягнуць высокаякаснай сінхранізацыі, задавальняючы разнастайныя патрэбы.

Сцэнарыі выкарыстання

– Сфера забаў
Стварэнне сінхранізаванай анімацыі дыялогаў для персанажаў фільмаў, тэлебачання і гульняў, павышэнне пагружанасці гледачоў.
– Сфера адукацыі
Стварэнне інтэрактыўных навучальных відэа, каб навучанне стала жывым і цікавым, а якасць адукацыі павысілася.
– Віртуальная рэальнасць (VR)
Стварэнне рэалістычнай анімацыі віртуальных персанажаў, узмацненне пагружанасці карыстальнікаў у асяроддзе VR.
– Анлайн-канферэнцыі
Стварэнне сінхранізаванай анімацыі губаў для аддаленых канферэнцый, павышэнне рэалістычнасці зносін.
– Дапоўненая рэальнасць (AR)
Стварэнне жывых віртуальных персанажаў у AR-праграмах, узбагачэнне інтэрактыўнага вопыту.

Патрабаванні да сістэмы

– Аперацыйная сістэма: Windows 10/11 64-біт
– Патрабаванні да відэакарты:
– Версія V1: відэакарта NVIDIA з аб'ёмам відэапамяці не менш за 8G
– Версія V2: не менш за 12G відэапамяці, рэкамендуецца 16G і больш для стабільнай працы (чым магутнейшая відэакарта, тым хутчэй генерацыя)
– Праграмныя залежнасці: CUDA ≥ 12.4
– Дыскавая прастора: пасля распакоўкі спатрэбіцца каля 19.8G
– Як паглядзець інфармацыю пра відэакарту:
1. Адкрыйце дыспетчар задач
2. Націсніце ўкладку «Прадукцыйнасць»
3. У раздзеле "GPU" паглядзіце мадэль відэакарты і аб'ём відэапамяці

Падрабязная інструкцыя па ўсталёўцы CUDA: [

Інструкцыя па выкарыстанні

Кіраўніцтва па рабоце з версіяй V2

1. Распакуйце спампаваны інтэграваны пакет і пераканайцеся, што ў назвах папак і файлаў няма кітайскіх сімвалаў (уключаючы выявы, аўдыя і іншыя файлы).


2. Двойчы пстрыкніце "一键启动.exe" і крыху пачакайце — браўзер аўтаматычна адкрые інтэрфейс праграмы.


3. Загрузіце квадратнае фота анфас чалавека ў прапорцыі 1:1; пераканайцеся, што рысы твару выразныя, а матэрыял адпавядае патрабаванням (гл. прыклад унізе старонкі).
4. Загрузіце аўдыяфайл; рэкамендуецца выкарыстоўваць чысты галасавы аўдыя без фонавай музыкі.


5. Націсніце "Пачаць генерацыю" і пачакайце завяршэння (напрыклад: відэакарта 4060Ti 16G — каля 5 хвілін на 1 секунду відэа).


6. Пасля завяршэння генерацыі можна прагледзець і захаваць відэа.

Кіраўніцтва па рабоце з версіяй V1

1. Пасля распакоўкі двойчы пстрыкніце "一键启动.exe", каб адкрыць інтэрфейс у браўзеры.


2. Загрузіце фота твару і аўдыяфайл, наладзьце параметры (напрыклад, даўжыня відэа — па змаўчанні да 50 секунд) або выкарыстоўвайце налады па змаўчанні.


3. Націсніце "Адправіць" — вынік генерацыі з'явіцца справа, яго можна прагледзець і спампаваць.

Увага: незалежна ад версіі пераканайцеся, што шляхі і назвы файлаў не ўтрымліваюць кітайскіх сімвалаў, каб пазбегнуць памылак распазнавання праграмай.

Афіцыйныя прыклады:

Адрас з адкрытым зыходным кодам

– Версія V1: [https://github.com/BadToBest/EchoMimic](https://github.com/BadToBest/EchoMimic)
– Версія V2: [https://github.com/antgroup/echomimic_v2](https://github.com/antgroup/echomimic_v2)

Падобныя курсы