Pacote integrado MMAudio para dublagem automática de vídeos com IA, gratuito e de código aberto, inicialização com um clique, sem necessidade de implantação ou autorização [Software Ge Chuizi · R2347]



📚Curso em vídeo
🕒Última atualização: 18/12/2024
👥Empreendedores / Criadores de conteúdo / Vendedores de comércio transfronteiriço / Renda extra

Material de estudo de referência — incluído com a assinatura
Desbloquear curso com assinatura
🔓
Obtenha este curso para seu estudo de referência com a assinatura
📦
Junte-se à assinatura — estude os 16742 cursos e ferramentas de software como referência
🔄
Os cursos são atualizados constantemente — os membros estudam o novo material assim que chega
Compartilhar:

MMAudio é uma tecnologia baseada em treinamento conjunto multimodal, que suporta síntese precisa de vídeo para áudio e texto para áudio, realizando dublagem de efeitos sonoros para vídeos. Pode ser amplamente aplicada em produção cinematográfica e televisiva, desenvolvimento de jogos e outras áreas, proporcionando uma experiência audiovisual altamente sincronizada.

Efeito:

Funções do software:

Síntese de vídeo para áudio: gera automaticamente áudio altamente compatível com o conteúdo do vídeo.
Síntese de texto para áudio: gera áudio correspondente com base na descrição de texto, adequado para cenários de texto puro.
Treinamento conjunto multimodal: treinado em conjuntos de dados audiovisuais, de áudio e de texto, aumentando a capacidade de processar diferentes modalidades de dados.
Módulo de sincronização: garante alinhamento preciso entre o áudio e os frames de vídeo ou a descrição de texto.

Cenários de aplicação:

Produção cinematográfica e televisiva: gera automaticamente efeitos sonoros ou dublagem, aumentando a eficiência de produção.
Desenvolvimento de jogos: gera dinamicamente efeitos sonoros e música de fundo de acordo com a situação do jogo.
Criação de conteúdo: adiciona rapidamente áudio adequado para vídeos curtos ou projetos multimídia.
Educação e ferramentas auxiliares: gera narração ou sons de aviso com base em vídeos educativos ou conteúdo de texto.
Realidade virtual e realidade aumentada: fornece efeitos sonoros em tempo real altamente consistentes com a cena.

Requisitos de configuração:

O computador deve atender à seguinte configuração:

Sistema operacional: Windows 10/11 64 bits
Placa de vídeo: placa NVIDIA com pelo menos 12G de memória de vídeo
CUDA >= 12.4
O pacote completo, depois de descompactado, ocupa cerca de 23,6G, portanto reserve espaço suficiente no disco
Se o computador não tiver o CUDA instalado, consulte o tutorial de instalação:

Como verificar a marca e o modelo da placa de vídeo e a VRAM:

Abra o Gerenciador de Tarefas
Clique em "Desempenho"
Clique em "GPU"
No canto superior direito é possível ver o modelo da placa de vídeo e, na parte inferior, o tamanho da VRAM

Tutorial de uso:

① Baixe o pacote integrado e descompacte;
Atenção: caminhos de pastas e nomes de arquivos (incluindo nomes de arquivos de áudio, imagem, vídeo etc.) não devem conter caracteres chineses, caso contrário alguns softwares podem apresentar erro por não reconhecê-los

② Dê um duplo clique em "Inicialização com um clique.exe" e, após alguns instantes, a interface de operação será aberta automaticamente no navegador

③ Suporta geração de áudio a partir de vídeo e geração de áudio a partir de texto

1. Geração de áudio a partir de vídeo

Selecione "Dublagem de vídeo", carregue o vídeo, preencha o prompt (por exemplo, waves, ondas do mar), defina a duração (se quiser dublar o vídeo inteiro, é preciso definir um valor maior ou igual à duração do vídeo) e, por fim, clique em enviar; o resultado gerado aparece à direita

Você pode reproduzir para visualizar; clicando no botão de download no canto superior direito, é possível salvar na pasta desejada

Resultado gerado

Reprodutor de vídeo

2. Geração de áudio a partir de texto

Selecione "Gerar efeito sonoro a partir de texto", preencha o prompt (por exemplo, waves, ondas do mar), defina a duração e clique em enviar; o resultado gerado aparece à direita

É possível reproduzir para ouvir, e clicar no botão de download no canto superior direito para salvar na pasta desejada

Efeito sonoro

 

Endereço do código aberto:https://github.com/hkchengrex/MMAudio

Cursos relacionados

E-mail