Готовый пакет для озвучивания AI-видео MMAudio - бесплатный, с открытым исходным кодом, запуск в один клик, без развёртывания и авторизации [Софт-молоток·R2347]



📚Видеокурс
🕒Последнее обновление: 18.12.2024
👥Предприниматели / Создатели контента / Продавцы трансграничной электронной коммерции / Люди с подработкой

Справочный учебный материал — включён в подписку
Открыть курс по подписке
🔓
Получите этот курс для ознакомительного изучения с подпиской
📦
Оформите подписку — изучайте все 16742 курсов и программных инструментов в качестве справочника
🔄
Курсы постоянно обновляются — участники изучают новые материалы по мере их поступления
Поделиться:
Бестселлеры курсов
Бестселлеры программных инструментов

MMAudio - это технология на основе мультимодального совместного обучения, поддерживающая точный синтез видео-в-аудио и текст-в-аудио, озвучивание звуковых эффектов для видео. Широко применяется в кино- и видеопроизводстве, разработке игр и других областях, обеспечивая высокосинхронизированный аудиовизуальный опыт.

Результат:

Функции программы:

Синтез видео-в-аудио: автоматическое создание аудио, точно соответствующего содержанию видео.
Синтез текст-в-аудио: создание соответствующего аудио по текстовому описанию, подходит для чисто текстовых сценариев.
Мультимодальное совместное обучение: обучение на аудиовизуальных, аудио- и текстовых наборах данных, повышающее способность обработки данных разных модальностей.
Модуль синхронизации: обеспечивает точное выравнивание аудио с видеокадрами или текстовым описанием.

Сценарии применения:

Кино- и видеопроизводство: автоматическое создание звуковых эффектов или озвучивания, повышение эффективности производства.
Разработка игр: динамическое создание звуковых эффектов и фоновой музыки в соответствии с игровыми сценами.
Создание контента: быстрое добавление подходящего аудио для коротких видео или мультимедийных проектов.
Образование и вспомогательные инструменты: создание комментариев или звуковых подсказок по учебным видео или текстовому содержанию.
Виртуальная и дополненная реальность: обеспечение звуковых эффектов в реальном времени, точно соответствующих сцене.

Требования к конфигурации:

Компьютер должен соответствовать следующей конфигурации:

Операционная система: Windows 10/11 64-бит
Видеокарта: видеокарта NVIDIA с объёмом видеопамяти не менее 12 ГБ
CUDA >= 12.4
После полной распаковки весь пакет занимает около 23.6G, нужно оставить достаточно места на диске
Если на компьютере не установлена CUDA, можно ознакомиться с руководством по установке:

Как узнать бренд, модель видеокарты и объём видеопамяти:

Откройте диспетчер задач
Нажмите «Производительность»
Нажмите «GPU»
В правом верхнем углу видно модель видеокарты, а ниже — объём видеопамяти

Инструкция по использованию:

① После скачивания пакета распакуйте его;
Внимание: в пути к папкам и в именах файлов (включая имена аудио, изображений, видео и других файлов) не должно быть китайских символов, иначе некоторые программы не смогут их распознать и выдадут ошибку

② Дважды щёлкните «Запуск в один клик.exe», и через некоторое время в браузере автоматически откроется интерфейс управления

③ Поддержка генерации аудио из видео и генерации аудио из текста

1. Генерация аудио из видео

Выберите "Озвучивание видео", загрузите видео, введите подсказку (например, waves, морские волны), задайте длительность (если нужно озвучить всё видео, нужно задать значение не меньше длительности видео), затем нажмите "Отправить", результат появится справа

Можно воспроизвести для просмотра, нажав кнопку загрузки в правом верхнем углу, можно сохранить в указанную папку

Результат генерации

Видеоплеер

2. Генерация аудио из текста

Выберите «Генерация звуковых эффектов из текста», введите подсказку (например, waves, морские волны), задайте длительность, нажмите «Отправить» — результат появится справа

Можно воспроизвести для прослушивания, нажав кнопку загрузки в правом верхнем углу, можно сохранить в указанную папку

Звуковые эффекты

 

Адрес открытого исходного кода:https://github.com/hkchengrex/MMAudio

Похожие курсы

Эл. почта