EchoMimic — гэта перадавая AI-тэхналогія, распрацаваная Alibaba DAMO Academy, якая здольна па аўдыяфайле і адной фатаграфіі твару аўтаматычна ствараць відэа з анімацыяй губаў, ідэальна сінхранізаванай з аўдыякантэнтам. Гэта тэхналогія шырока выкарыстоўваецца ў забавах, адукацыі, віртуальнай рэальнасці і анлайн-сустрэчах, даючы карыстальнікам інавацыйны вопыт.
На дадзены момант ужо выпушчана версія EchoMimic V2: новая версія падтрымлівае загрузку пагрудных фотаздымкаў і можа ствараць больш жывых пагрудных лічбавых людзей, робячы сцэнарыі ўжывання больш разнастайнымі.
– Дакладная сінхранізацыя губаў
Аналізуючы аўдыякантэнт і пункты рысаў твару, ствараецца відэаэфект, які цалкам адпавядае рытму і зместу голасу.
– Натуральная і рэалістычная анімацыя
Тэхналогія падтрымлівае натуральныя рухі твару і змены мімікі; створаная анімацыя вельмі рэалістычная і блізкая да жывога выканання.
– Падтрымка некалькіх моў і стыляў
Няхай гэта путунхуа, англійская ці спеўны стыль — EchoMimic здольны дасягнуць высокаякаснай сінхранізацыі, задавальняючы разнастайныя патрэбы.
– Сфера забаў
Стварэнне сінхранізаванай анімацыі дыялогаў для персанажаў фільмаў, тэлебачання і гульняў, павышэнне пагружанасці гледачоў.
– Сфера адукацыі
Стварэнне інтэрактыўных навучальных відэа, каб навучанне стала жывым і цікавым, а якасць адукацыі павысілася.
– Віртуальная рэальнасць (VR)
Стварэнне рэалістычнай анімацыі віртуальных персанажаў, узмацненне пагружанасці карыстальнікаў у асяроддзе VR.
– Анлайн-канферэнцыі
Стварэнне сінхранізаванай анімацыі губаў для аддаленых канферэнцый, павышэнне рэалістычнасці зносін.
– Дапоўненая рэальнасць (AR)
Стварэнне жывых віртуальных персанажаў у AR-праграмах, узбагачэнне інтэрактыўнага вопыту.
– Аперацыйная сістэма: Windows 10/11 64-біт
– Патрабаванні да відэакарты:
– Версія V1: відэакарта NVIDIA з аб'ёмам відэапамяці не менш за 8G
– Версія V2: не менш за 12G відэапамяці, рэкамендуецца 16G і больш для стабільнай працы (чым магутнейшая відэакарта, тым хутчэй генерацыя)
– Праграмныя залежнасці: CUDA ≥ 12.4
– Дыскавая прастора: пасля распакоўкі спатрэбіцца каля 19.8G
– Як паглядзець інфармацыю пра відэакарту:
1. Адкрыйце дыспетчар задач
2. Націсніце ўкладку «Прадукцыйнасць»
3. У раздзеле "GPU" паглядзіце мадэль відэакарты і аб'ём відэапамяці

Падрабязная інструкцыя па ўсталёўцы CUDA: [
1. Распакуйце спампаваны інтэграваны пакет і пераканайцеся, што ў назвах папак і файлаў няма кітайскіх сімвалаў (уключаючы выявы, аўдыя і іншыя файлы).

2. Двойчы пстрыкніце "一键启动.exe" і крыху пачакайце — браўзер аўтаматычна адкрые інтэрфейс праграмы.

3. Загрузіце квадратнае фота анфас чалавека ў прапорцыі 1:1; пераканайцеся, што рысы твару выразныя, а матэрыял адпавядае патрабаванням (гл. прыклад унізе старонкі).
4. Загрузіце аўдыяфайл; рэкамендуецца выкарыстоўваць чысты галасавы аўдыя без фонавай музыкі.

5. Націсніце "Пачаць генерацыю" і пачакайце завяршэння (напрыклад: відэакарта 4060Ti 16G — каля 5 хвілін на 1 секунду відэа).

6. Пасля завяршэння генерацыі можна прагледзець і захаваць відэа.
1. Пасля распакоўкі двойчы пстрыкніце "一键启动.exe", каб адкрыць інтэрфейс у браўзеры.

2. Загрузіце фота твару і аўдыяфайл, наладзьце параметры (напрыклад, даўжыня відэа — па змаўчанні да 50 секунд) або выкарыстоўвайце налады па змаўчанні.

3. Націсніце "Адправіць" — вынік генерацыі з'явіцца справа, яго можна прагледзець і спампаваць.

Увага: незалежна ад версіі пераканайцеся, што шляхі і назвы файлаў не ўтрымліваюць кітайскіх сімвалаў, каб пазбегнуць памылак распазнавання праграмай.
– Версія V1: [https://github.com/BadToBest/EchoMimic](https://github.com/BadToBest/EchoMimic)
– Версія V2: [https://github.com/antgroup/echomimic_v2](https://github.com/antgroup/echomimic_v2)