MMAudio ialah teknologi berdasarkan latihan bersama multimodal, menyokong sintesis tepat video ke audio dan teks ke audio, untuk alih suara kesan bunyi bagi video. Ia boleh digunakan secara meluas dalam bidang seperti penerbitan filem dan televisyen, pembangunan permainan, menyediakan pengalaman audiovisual yang sangat segerak.
Kesan:
Sintesis video ke audio: menjana audio secara automatik yang sangat sepadan dengan kandungan video.
Sintesis teks ke audio: menjana audio yang sepadan berdasarkan penerangan teks, sesuai untuk senario teks tulen.
Latihan bersama multimodal: dilatih pada set data audiovisual, audio dan teks, meningkatkan keupayaan pemprosesan data pelbagai modal.
Modul penyegerakan: memastikan penjajaran tepat antara audio dengan bingkai video atau penerangan teks.
Penerbitan filem dan televisyen: menjana kesan bunyi atau alih suara secara automatik, meningkatkan kecekapan penerbitan.
Pembangunan permainan: menjana kesan bunyi dan muzik latar secara dinamik mengikut senario permainan.
Penciptaan kandungan: menambah audio yang sesuai dengan pantas untuk video pendek atau projek multimedia.
Pendidikan dan alat bantuan: menjana narasi atau bunyi isyarat berdasarkan video pengajaran atau kandungan teks.
Realiti maya dan realiti tambahan: menyediakan kesan bunyi masa nyata yang sangat konsisten dengan senario.
Komputer memenuhi konfigurasi berikut:
Sistem pengendalian: Windows 10/11 64-bit
Kad grafik: Kad grafik NVIDIA dengan sekurang-kurangnya 12G memori video
CUDA >= 12.4
Selepas mengekstrak keseluruhan pakej, saiznya kira-kira 23.6G, pastikan ruang cakera mencukupi
Jika komputer belum memasang CUDA, boleh rujuk tutorial pemasangan:
Cara menyemak jenama, model kad grafik dan memori video:
Buka Pengurus Tugasan
Klik "Prestasi"
Klik "GPU"
Di penjuru kanan atas dapat dilihat model kad grafik, di bawah dapat dilihat saiz memori video

① Muat turun pakej integrasi kemudian ekstrak;
Perhatian: laluan folder dan nama fail (termasuk nama fail audio, imej, video dan lain-lain) tidak boleh mengandungi aksara Cina, jika tidak sebahagian perisian akan melaporkan ralat kerana tidak dapat mengenalinya

② Klik dua kali "Mula Satu Klik.exe", tunggu sebentar dan antara muka operasi akan terbuka secara automatik dalam pelayar

③ Menyokong penjanaan audio daripada video serta penjanaan audio daripada teks
1. Penjanaan audio daripada video
Pilih "Dubbing video", muat naik video, isi prompt (contohnya waves, ombak laut), tetapkan tempoh (jika mahu dubbing untuk keseluruhan video, tetapkan tempoh yang lebih besar atau sama dengan tempoh video), akhir sekali klik hantar, hasil penjanaan terletak di sebelah kanan

Boleh mainkan untuk melihat, klik butang muat turun di penjuru kanan atas untuk menyimpan ke folder yang ditetapkan

Hasil dijana
Pemain video
2. Penjanaan audio daripada teks
Pilih "Jana kesan bunyi daripada teks", isi perkataan petunjuk (contohnya waves, ombak laut), tetapkan tempoh, klik hantar, hasil penjanaan terletak di sebelah kanan

Boleh mainkan untuk mendengar pratonton, klik butang muat turun di penjuru kanan atas untuk menyimpan ke folder yang ditetapkan

Kesan bunyi
Alamat sumber terbuka:https://github.com/hkchengrex/MMAudio