MMAudioはマルチモーダル共同トレーニングに基づく技術で、動画から音声、テキストから音声への精密な合成をサポートし、動画に効果音や吹き替えを付けられます。映像制作、ゲーム開発などの分野で広く活用でき、高度に同期した視聴体験を提供します
効果:
動画から音声への合成:動画内容と高度に一致する音声を自動生成します
テキストから音声への合成:テキスト記述に基づいて対応する音声を生成し、純粋なテキストの場面に適しています
マルチモーダル共同トレーニング:視聴覚、音声、テキストのデータセットでトレーニングし、異なるモダリティのデータに対する処理能力を強化します
同期モジュール:音声と動画フレームまたはテキスト記述の精密な位置合わせを保証します
映像制作:効果音や吹き替えを自動生成し、制作効率を向上させます
ゲーム開発:ゲームの状況に応じて効果音やBGMを動的に生成します
コンテンツ制作:ショート動画やマルチメディアプロジェクトに適切な音声を素早く追加します
教育と支援ツール:教学動画やテキスト内容に基づいて解説や通知音を生成します
仮想現実と拡張現実:シーンと高度に一致するリアルタイム効果音を提供します
パソコンが以下の構成を満たしていること:
OS: Windows 10/11 64ビット
グラフィックカード:少なくとも12GのVRAMを搭載したNVIDIAグラフィックカード
CUDA >= 12.4
パッケージ全体を解凍すると約23.6Gになるので、十分なハードディスク容量を確保してください
パソコンにCUDAがインストールされていない場合は、インストールチュートリアルをご覧ください:
グラフィックカードのブランド·型番とビデオメモリを確認する方法:
タスクマネージャーを開く
"パフォーマンス"をクリック
"GPU"をクリック
右上にグラフィックカードの型番, 下部にビデオメモリの容量が表示されます

① 統合パッケージをダウンロードして解凍;
注意: フォルダーのパスとファイル名(音声, 画像, 動画などのファイル名を含む)に中国語の文字を使わないでください. 一部のソフトが認識できずエラーになります

(2) "ワンクリック起動.exe"をダブルクリックし, しばらく待つとブラウザで操作画面が自動的に開きます

③ 動画からの音声生成およびテキストからの音声生成に対応
1、動画からの音声生成
「動画吹き替え」を選択し、動画をアップロードし、プロンプトを入力し(例:waves、波)、長さを設定し(動画全体を吹き替える場合は動画の長さ以上に設定する必要があります)、最後に送信をクリックすると、生成結果が右側に表示されます

再生して確認でき、右上のダウンロードボタンをクリックすると指定したフォルダに保存できます

生成結果
動画プレーヤー
2 テキストから音声を生成
テキストから効果音を生成 を選択し プロンプト(例:waves 波)を入力し 長さを設定して送信をクリックすると 生成結果が右側に表示されます

再生して試聴でき 右上のダウンロードボタンをクリックすると指定フォルダに保存できます

効果音
オープンソースアドレス:https://github.com/hkchengrex/MMAudio