All-in-One-Paket zur KI-Vertonung von Videos, MMAudio, kostenlos und Open Source, Ein-Klick-Start, keine Bereitstellung oder Autorisierung nötig [Software Gechui·R2347]

MMAudio ist eine Technologie, die auf multimodalem gemeinsamen Training basiert und präzise Video-zu-Audio- sowie Text-zu-Audio-Synthese unterstützt. Sie vertont Videos mit Soundeffekten und kann in Bereichen wie Film- und Fernsehproduktion sowie Spieleentwicklung breit eingesetzt werden, um ein hochsynchrones audiovisuelles Erlebnis zu bieten.

Effekt:

Softwarefunktionen:

Video-zu-Audio-Synthese: Erzeugt automatisch Audio, das hervorragend zum Videoinhalt passt.
Text-zu-Audio-Synthese: Erzeugt entsprechend der Textbeschreibung passendes Audio, geeignet für reine Text-Szenarien.
Multimodales gemeinsames Training: Training auf audiovisuellen, Audio- und Textdatensätzen, um die Verarbeitungsfähigkeit für verschiedene Modalitäten zu verbessern.
Synchronisationsmodul: Stellt die präzise Ausrichtung von Audio mit Videoframes oder Textbeschreibungen sicher.

Anwendungsbereiche:

Film- und Fernsehproduktion: Automatische Erzeugung von Soundeffekten oder Vertonung, um die Produktionseffizienz zu steigern.
Spieleentwicklung: Dynamische Erzeugung von Soundeffekten und Hintergrundmusik je nach Spielsituation.
Content-Erstellung: Schnelles Hinzufügen passenden Audios für Kurzvideos oder Multimedia-Projekte.
Bildung und Hilfsmittel: Erzeugung von Kommentaren oder Hinweistönen basierend auf Lehrvideos oder Textinhalten.
Virtuelle Realität und erweiterte Realität: Bereitstellung von Echtzeit-Soundeffekten, die perfekt zur Szene passen.

Systemanforderungen:

Der Computer erfüllt die folgenden Anforderungen:

Betriebssystem: Windows 10/11 64 Bit
Grafikkarte: NVIDIA-Grafikkarte mit mindestens 12 GB VRAM
CUDA >= 12.4
Das gesamte Paket ist nach dem Entpacken etwa 23,6 G groß, es muss genügend Festplattenspeicher freigehalten werden
Falls CUDA auf dem Computer nicht installiert ist, kann die Installationsanleitung eingesehen werden:

So prüfen Sie Marke, Modell und VRAM der Grafikkarte:

Task-Manager öffnen
Auf "Leistung" klicken
Auf "GPU" klicken
Oben rechts ist das Grafikkartenmodell zu sehen, darunter die Größe des VRAM

Anleitung:

① Integrationspaket herunterladen und anschließend entpacken;
Hinweis: Im Ordnerpfad und in Dateinamen (einschließlich der Namen von Audiodateien, Bildern, Videos usw.) dürfen keine chinesischen Zeichen vorkommen, da sonst manche Software sie nicht erkennt und Fehler meldet

② Doppelklick auf "Ein-Klick-Start.exe", kurz warten, dann öffnet sich die Bedienoberfläche automatisch im Browser

③ Unterstützt die Generierung von Audio aus Video sowie die Generierung von Audio aus Text

1. Audio aus Video generieren

Wähle "Videovertonung", lade das Video hoch, gib den Prompt ein (zum Beispiel waves, Meereswellen), stelle die Dauer ein (wenn das gesamte Video vertont werden soll, muss die Dauer größer oder gleich der Videodauer eingestellt werden), klicke abschließend auf Absenden, das generierte Ergebnis befindet sich auf der rechten Seite

Du kannst es abspielen und ansehen, ein Klick auf die Download-Schaltfläche oben rechts speichert es in einem angegebenen Ordner

Generiertes Ergebnis

Videoplayer

2. Text-zu-Audio

Wählen Sie "Text-zu-Soundeffekt", geben Sie den Prompt ein (z. B. waves, Meereswellen), stellen Sie die Dauer ein, klicken Sie auf Absenden, das Ergebnis erscheint rechts

Sie können es zur Probe abspielen; klicken Sie auf die Download-Schaltfläche oben rechts, um es in einem bestimmten Ordner zu speichern

Soundeffekt

Open-Source-Adresse:https://github.com/hkchengrex/MMAudio