MMAudio - это технология на основе мультимодального совместного обучения, поддерживающая точный синтез видео-в-аудио и текст-в-аудио, озвучивание звуковых эффектов для видео. Широко применяется в кино- и видеопроизводстве, разработке игр и других областях, обеспечивая высокосинхронизированный аудиовизуальный опыт.
Результат:
Синтез видео-в-аудио: автоматическое создание аудио, точно соответствующего содержанию видео.
Синтез текст-в-аудио: создание соответствующего аудио по текстовому описанию, подходит для чисто текстовых сценариев.
Мультимодальное совместное обучение: обучение на аудиовизуальных, аудио- и текстовых наборах данных, повышающее способность обработки данных разных модальностей.
Модуль синхронизации: обеспечивает точное выравнивание аудио с видеокадрами или текстовым описанием.
Кино- и видеопроизводство: автоматическое создание звуковых эффектов или озвучивания, повышение эффективности производства.
Разработка игр: динамическое создание звуковых эффектов и фоновой музыки в соответствии с игровыми сценами.
Создание контента: быстрое добавление подходящего аудио для коротких видео или мультимедийных проектов.
Образование и вспомогательные инструменты: создание комментариев или звуковых подсказок по учебным видео или текстовому содержанию.
Виртуальная и дополненная реальность: обеспечение звуковых эффектов в реальном времени, точно соответствующих сцене.
Компьютер должен соответствовать следующей конфигурации:
Операционная система: Windows 10/11 64-бит
Видеокарта: видеокарта NVIDIA с объёмом видеопамяти не менее 12 ГБ
CUDA >= 12.4
После полной распаковки весь пакет занимает около 23.6G, нужно оставить достаточно места на диске
Если на компьютере не установлена CUDA, можно ознакомиться с руководством по установке:
Как узнать бренд, модель видеокарты и объём видеопамяти:
Откройте диспетчер задач
Нажмите «Производительность»
Нажмите «GPU»
В правом верхнем углу видно модель видеокарты, а ниже — объём видеопамяти

① После скачивания пакета распакуйте его;
Внимание: в пути к папкам и в именах файлов (включая имена аудио, изображений, видео и других файлов) не должно быть китайских символов, иначе некоторые программы не смогут их распознать и выдадут ошибку

② Дважды щёлкните «Запуск в один клик.exe», и через некоторое время в браузере автоматически откроется интерфейс управления

③ Поддержка генерации аудио из видео и генерации аудио из текста
1. Генерация аудио из видео
Выберите "Озвучивание видео", загрузите видео, введите подсказку (например, waves, морские волны), задайте длительность (если нужно озвучить всё видео, нужно задать значение не меньше длительности видео), затем нажмите "Отправить", результат появится справа

Можно воспроизвести для просмотра, нажав кнопку загрузки в правом верхнем углу, можно сохранить в указанную папку

Результат генерации
Видеоплеер
2. Генерация аудио из текста
Выберите «Генерация звуковых эффектов из текста», введите подсказку (например, waves, морские волны), задайте длительность, нажмите «Отправить» — результат появится справа

Можно воспроизвести для прослушивания, нажав кнопку загрузки в правом верхнем углу, можно сохранить в указанную папку

Звуковые эффекты
Адрес открытого исходного кода:https://github.com/hkchengrex/MMAudio