MMAudio es una tecnología basada en entrenamiento conjunto multimodal que admite la síntesis precisa de vídeo a audio y de texto a audio, y permite doblar efectos de sonido para vídeos. Puede aplicarse ampliamente en campos como la producción audiovisual y el desarrollo de videojuegos, ofreciendo una experiencia audiovisual altamente sincronizada.
Efecto:
Síntesis de vídeo a audio: genera automáticamente audio que coincide en alto grado con el contenido del vídeo.
Síntesis de texto a audio: genera el audio correspondiente según la descripción de texto; es adecuado para escenarios de solo texto.
Entrenamiento conjunto multimodal: se entrena con conjuntos de datos audiovisuales, de audio y de texto, lo que mejora la capacidad de procesar datos de distintas modalidades.
Módulo de sincronización: garantiza la alineación precisa entre el audio y los fotogramas de vídeo o las descripciones de texto.
Producción audiovisual: genera automáticamente efectos de sonido o doblaje, mejorando la eficiencia de producción.
Desarrollo de videojuegos: genera dinámicamente efectos de sonido y música de fondo según la situación del juego.
Creación de contenido: añade rápidamente audio adecuado a vídeos cortos o proyectos multimedia.
Educación y herramientas de asistencia: genera narraciones o tonos de aviso según vídeos didácticos o contenido de texto.
Realidad virtual y realidad aumentada: ofrece efectos de sonido en tiempo real altamente coherentes con la escena.
El ordenador debe cumplir la siguiente configuración:
Sistema operativo: Windows 10/11 de 64 bits
Tarjeta gráfica: tarjeta gráfica NVIDIA con al menos 12 GB de memoria de vídeo
CUDA >= 12.4
El paquete completo ocupa aproximadamente 23,6G tras descomprimirlo, hay que dejar suficiente espacio en el disco
Si el equipo no tiene CUDA instalado, puede consultar el tutorial de instalación:
Cómo consultar la marca, el modelo y la memoria de la tarjeta gráfica:
Abre el Administrador de tareas
Haz clic en "Rendimiento"
Haz clic en "GPU"
En la esquina superior derecha se ve el modelo de la tarjeta gráfica y, debajo, el tamaño de la memoria de vídeo

① Descarga el paquete integrado y descomprímelo;
Nota: la ruta de las carpetas y los nombres de archivo (incluidos los nombres de archivos de audio, imágenes, vídeos, etc.) no deben contener caracteres chinos; de lo contrario, algunos programas darán error al no poder reconocerlos

② Haz doble clic en "一键启动.exe" y, tras unos instantes, la interfaz de operación se abrirá automáticamente en el navegador

③ Compatible con la generación de audio a partir de vídeo y de texto
1. Generación de audio a partir de vídeo
Selecciona "Doblaje de vídeo", sube el vídeo, escribe el prompt (por ejemplo, waves, olas), establece la duración (si quieres doblar todo el vídeo, debe ser mayor o igual a la duración del vídeo) y, por último, haz clic en enviar; el resultado generado aparece a la derecha

Puedes reproducirlo para verlo; haz clic en el botón de descarga de la esquina superior derecha para guardarlo en la carpeta que elijas

Resultado generado
Reproductor de vídeo
2. Generación de audio a partir de texto
Selecciona "Generar efecto de sonido a partir de texto", introduce el prompt (por ejemplo, waves, olas de mar), establece la duración y haz clic en enviar; el resultado generado aparecerá a la derecha

Puedes reproducirlo para escucharlo; haz clic en el botón de descarga de la esquina superior derecha para guardarlo en la carpeta que elijas

Efecto de sonido
Dirección del código abierto:https://github.com/hkchengrex/MMAudio