MMAudio est une technologie basée sur l'entraînement conjoint multimodal, prenant en charge la synthèse précise de vidéo vers audio et de texte vers audio, pour le doublage sonore des vidéos. Elle peut être largement utilisée dans la production cinématographique et télévisuelle, le développement de jeux, etc., offrant une expérience audiovisuelle hautement synchronisée.
Effet :
Synthèse vidéo vers audio : génère automatiquement un audio hautement correspondant au contenu de la vidéo.
Synthèse texte vers audio : génère l'audio correspondant selon la description textuelle, adapté aux scénarios purement textuels.
Entraînement conjoint multimodal : entraîné sur des jeux de données audiovisuelles, audio et textuelles, renforçant la capacité de traitement de différentes modalités de données.
Module de synchronisation : assure un alignement précis entre l'audio et les images vidéo ou les descriptions textuelles.
Production cinématographique et télévisuelle : génère automatiquement des effets sonores ou des doublages, améliorant l'efficacité de production.
Développement de jeux : génère dynamiquement des effets sonores et des musiques de fond selon les situations du jeu.
Création de contenu : ajoute rapidement un audio approprié aux vidéos courtes ou aux projets multimédias.
Éducation et outils d'assistance : génère des commentaires ou des sons d'indication selon les vidéos pédagogiques ou le contenu textuel.
Réalité virtuelle et réalité augmentée : fournit des effets sonores en temps réel hautement cohérents avec la scène.
L'ordinateur doit satisfaire la configuration suivante :
Système d'exploitation : Windows 10/11 64 bits
Carte graphique : carte NVIDIA avec au moins 12 Go de mémoire vidéo
CUDA >= 12.4
Le paquet complet fait environ 23,6 Go une fois décompressé, prévoyez suffisamment d'espace disque
Si CUDA n'est pas installé sur l'ordinateur, consultez le tutoriel d'installation :
Comment vérifier la marque, le modèle et la mémoire vidéo de sa carte graphique :
Ouvrez le Gestionnaire des tâches
Cliquez sur "Performance"
Cliquez sur "GPU"
Le modèle de carte graphique est visible en haut à droite, la taille de la mémoire vidéo en bas.

① Après avoir téléchargé le pack d'intégration, décompressez-le ;
Remarque : les chemins de dossiers et les noms de fichiers (y compris les noms de fichiers audio, image, vidéo, etc.) ne doivent pas contenir de caractères chinois, sinon certains logiciels signaleront une erreur faute de les reconnaître.

② Double-cliquez sur "一键启动.exe" ; après un instant, l'interface s'ouvrira automatiquement dans le navigateur.

③ Prend en charge la génération d'audio à partir de vidéo ainsi que la génération d'audio à partir de texte
1. Génération d'audio à partir de vidéo
Sélectionnez "Doublage vidéo", téléchargez une vidéo, saisissez le prompt (par exemple waves, vagues), définissez la durée (pour doubler toute la vidéo, la durée doit être supérieure ou égale à celle de la vidéo), puis cliquez enfin sur Soumettre ; le résultat généré apparaît à droite

Vous pouvez le lire pour le vérifier, et cliquer sur le bouton de téléchargement en haut à droite pour l'enregistrer dans le dossier de votre choix

Résultat généré
Lecteur vidéo
2. Génération d'audio à partir de texte
Sélectionnez "Générer un effet sonore à partir de texte", remplissez le prompt (par exemple waves, vagues), définissez la durée, cliquez sur Soumettre, le résultat généré se trouve à droite

Vous pouvez le lire pour l'écouter, cliquez sur le bouton de téléchargement en haut à droite pour l'enregistrer dans le dossier souhaité

Effets sonores
Adresse open source :https://github.com/hkchengrex/MMAudio