MMAudio é uma tecnologia baseada em treinamento conjunto multimodal, que suporta síntese precisa de vídeo para áudio e texto para áudio, realizando dublagem de efeitos sonoros para vídeos. Pode ser amplamente aplicada em produção cinematográfica e televisiva, desenvolvimento de jogos e outras áreas, proporcionando uma experiência audiovisual altamente sincronizada.
Efeito:
Síntese de vídeo para áudio: gera automaticamente áudio altamente compatível com o conteúdo do vídeo.
Síntese de texto para áudio: gera áudio correspondente com base na descrição de texto, adequado para cenários de texto puro.
Treinamento conjunto multimodal: treinado em conjuntos de dados audiovisuais, de áudio e de texto, aumentando a capacidade de processar diferentes modalidades de dados.
Módulo de sincronização: garante alinhamento preciso entre o áudio e os frames de vídeo ou a descrição de texto.
Produção cinematográfica e televisiva: gera automaticamente efeitos sonoros ou dublagem, aumentando a eficiência de produção.
Desenvolvimento de jogos: gera dinamicamente efeitos sonoros e música de fundo de acordo com a situação do jogo.
Criação de conteúdo: adiciona rapidamente áudio adequado para vídeos curtos ou projetos multimídia.
Educação e ferramentas auxiliares: gera narração ou sons de aviso com base em vídeos educativos ou conteúdo de texto.
Realidade virtual e realidade aumentada: fornece efeitos sonoros em tempo real altamente consistentes com a cena.
O computador deve atender à seguinte configuração:
Sistema operacional: Windows 10/11 64 bits
Placa de vídeo: placa NVIDIA com pelo menos 12G de memória de vídeo
CUDA >= 12.4
O pacote completo, depois de descompactado, ocupa cerca de 23,6G, portanto reserve espaço suficiente no disco
Se o computador não tiver o CUDA instalado, consulte o tutorial de instalação:
Como verificar a marca e o modelo da placa de vídeo e a VRAM:
Abra o Gerenciador de Tarefas
Clique em "Desempenho"
Clique em "GPU"
No canto superior direito é possível ver o modelo da placa de vídeo e, na parte inferior, o tamanho da VRAM

① Baixe o pacote integrado e descompacte;
Atenção: caminhos de pastas e nomes de arquivos (incluindo nomes de arquivos de áudio, imagem, vídeo etc.) não devem conter caracteres chineses, caso contrário alguns softwares podem apresentar erro por não reconhecê-los

② Dê um duplo clique em "Inicialização com um clique.exe" e, após alguns instantes, a interface de operação será aberta automaticamente no navegador

③ Suporta geração de áudio a partir de vídeo e geração de áudio a partir de texto
1. Geração de áudio a partir de vídeo
Selecione "Dublagem de vídeo", carregue o vídeo, preencha o prompt (por exemplo, waves, ondas do mar), defina a duração (se quiser dublar o vídeo inteiro, é preciso definir um valor maior ou igual à duração do vídeo) e, por fim, clique em enviar; o resultado gerado aparece à direita

Você pode reproduzir para visualizar; clicando no botão de download no canto superior direito, é possível salvar na pasta desejada

Resultado gerado
Reprodutor de vídeo
2. Geração de áudio a partir de texto
Selecione "Gerar efeito sonoro a partir de texto", preencha o prompt (por exemplo, waves, ondas do mar), defina a duração e clique em enviar; o resultado gerado aparece à direita

É possível reproduzir para ouvir, e clicar no botão de download no canto superior direito para salvar na pasta desejada

Efeito sonoro
Endereço do código aberto:https://github.com/hkchengrex/MMAudio