Paquete todo en uno para doblar vídeos de IA MMAudio, gratis y de código abierto, inicio con un clic, sin necesidad de despliegue ni autorización [Software Gechuzi · R2347]



📚Curso en video
🕒Última actualización: 18/12/2024
👥Emprendedores / Creadores de contenido / Vendedores de comercio transfronterizo / Trabajadores secundarios

Material de estudio de referencia — incluido con la membresía
Desbloquear curso con membresía
🔓
Consigue este curso para tu estudio de referencia con la membresía
📦
Únase a la membresía — estudie los 16742 cursos y herramientas de software como referencia
🔄
Los cursos se actualizan constantemente — los miembros estudian el material nuevo en cuanto llega
Compartir:

MMAudio es una tecnología basada en entrenamiento conjunto multimodal que admite la síntesis precisa de vídeo a audio y de texto a audio, y permite doblar efectos de sonido para vídeos. Puede aplicarse ampliamente en campos como la producción audiovisual y el desarrollo de videojuegos, ofreciendo una experiencia audiovisual altamente sincronizada.

Efecto:

Funciones del software:

Síntesis de vídeo a audio: genera automáticamente audio que coincide en alto grado con el contenido del vídeo.
Síntesis de texto a audio: genera el audio correspondiente según la descripción de texto; es adecuado para escenarios de solo texto.
Entrenamiento conjunto multimodal: se entrena con conjuntos de datos audiovisuales, de audio y de texto, lo que mejora la capacidad de procesar datos de distintas modalidades.
Módulo de sincronización: garantiza la alineación precisa entre el audio y los fotogramas de vídeo o las descripciones de texto.

Casos de uso:

Producción audiovisual: genera automáticamente efectos de sonido o doblaje, mejorando la eficiencia de producción.
Desarrollo de videojuegos: genera dinámicamente efectos de sonido y música de fondo según la situación del juego.
Creación de contenido: añade rápidamente audio adecuado a vídeos cortos o proyectos multimedia.
Educación y herramientas de asistencia: genera narraciones o tonos de aviso según vídeos didácticos o contenido de texto.
Realidad virtual y realidad aumentada: ofrece efectos de sonido en tiempo real altamente coherentes con la escena.

Requisitos de configuración:

El ordenador debe cumplir la siguiente configuración:

Sistema operativo: Windows 10/11 de 64 bits
Tarjeta gráfica: tarjeta gráfica NVIDIA con al menos 12 GB de memoria de vídeo
CUDA >= 12.4
El paquete completo ocupa aproximadamente 23,6G tras descomprimirlo, hay que dejar suficiente espacio en el disco
Si el equipo no tiene CUDA instalado, puede consultar el tutorial de instalación:

Cómo consultar la marca, el modelo y la memoria de la tarjeta gráfica:

Abre el Administrador de tareas
Haz clic en "Rendimiento"
Haz clic en "GPU"
En la esquina superior derecha se ve el modelo de la tarjeta gráfica y, debajo, el tamaño de la memoria de vídeo

Tutorial de uso:

① Descarga el paquete integrado y descomprímelo;
Nota: la ruta de las carpetas y los nombres de archivo (incluidos los nombres de archivos de audio, imágenes, vídeos, etc.) no deben contener caracteres chinos; de lo contrario, algunos programas darán error al no poder reconocerlos

② Haz doble clic en "一键启动.exe" y, tras unos instantes, la interfaz de operación se abrirá automáticamente en el navegador

③ Compatible con la generación de audio a partir de vídeo y de texto

1. Generación de audio a partir de vídeo

Selecciona "Doblaje de vídeo", sube el vídeo, escribe el prompt (por ejemplo, waves, olas), establece la duración (si quieres doblar todo el vídeo, debe ser mayor o igual a la duración del vídeo) y, por último, haz clic en enviar; el resultado generado aparece a la derecha

Puedes reproducirlo para verlo; haz clic en el botón de descarga de la esquina superior derecha para guardarlo en la carpeta que elijas

Resultado generado

Reproductor de vídeo

2. Generación de audio a partir de texto

Selecciona "Generar efecto de sonido a partir de texto", introduce el prompt (por ejemplo, waves, olas de mar), establece la duración y haz clic en enviar; el resultado generado aparecerá a la derecha

Puedes reproducirlo para escucharlo; haz clic en el botón de descarga de la esquina superior derecha para guardarlo en la carpeta que elijas

Efecto de sonido

 

Dirección del código abierto:https://github.com/hkchengrex/MMAudio

Cursos relacionados

Correo electrónico