MMAudio เป็นเทคโนโลยีที่ใช้การฝึกอบรมร่วมแบบหลายรูปแบบ รองรับการสังเคราะห์ที่แม่นยำจากวิดีโอเป็นเสียงและข้อความเป็นเสียง สำหรับการพากย์เสียงเอฟเฟกต์ให้วิดีโอ สามารถนำไปใช้อย่างกว้างขวางในด้านการผลิตภาพยนตร์ การพัฒนาเกม และอื่นๆ มอบประสบการณ์ภาพและเสียงที่ซิงค์กันอย่างสูง
ผลลัพธ์:
การสังเคราะห์จากวิดีโอเป็นเสียง: สร้างเสียงที่ตรงกับเนื้อหาวิดีโอโดยอัตโนมัติ
การสังเคราะห์จากข้อความเป็นเสียง: สร้างเสียงตามคำอธิบายข้อความ เหมาะสำหรับสถานการณ์ที่เป็นข้อความล้วน
การฝึกอบรมร่วมแบบหลายรูปแบบ: ฝึกอบรมบนชุดข้อมูลภาพและเสียง เสียง และข้อความ เพื่อเพิ่มความสามารถในการประมวลผลข้อมูลรูปแบบต่างๆ
โมดูลการซิงค์: รับประกันการจัดตำแหน่งที่แม่นยำระหว่างเสียงกับเฟรมวิดีโอหรือคำอธิบายข้อความ
การผลิตภาพยนตร์: สร้างเอฟเฟกต์เสียงหรือการพากย์เสียงโดยอัตโนมัติ เพิ่มประสิทธิภาพการผลิต
การพัฒนาเกม: สร้างเอฟเฟกต์เสียงและเพลงประกอบแบบไดนามิกตามสถานการณ์ในเกม
การสร้างเนื้อหา: เพิ่มเสียงที่เหมาะสมให้กับวิดีโอสั้นหรือโปรเจกต์มัลติมีเดียได้อย่างรวดเร็ว
การศึกษาและเครื่องมือช่วยเหลือ: สร้างคำบรรยายหรือเสียงแจ้งเตือนตามวิดีโอการสอนหรือเนื้อหาข้อความ
ความเป็นจริงเสมือนและความเป็นจริงเสริม: มอบเอฟเฟกต์เสียงแบบเรียลไทม์ที่สอดคล้องกับฉากอย่างสูง
คอมพิวเตอร์ต้องมีคุณสมบัติดังต่อไปนี้:
ระบบปฏิบัติการ: Windows 10/11 64 บิต
การ์ดจอ: การ์ดจอ NVIDIA ที่มีหน่วยความจำอย่างน้อย 12G
CUDA >= 12.4
หลังแตกไฟล์แพ็กเกจทั้งหมดจะกินพื้นที่ประมาณ 23.6G ต้องเผื่อพื้นที่ฮาร์ดดิสก์ให้เพียงพอ
หากคอมพิวเตอร์ยังไม่ได้ติดตั้ง CUDA สามารถดูบทแนะนำการติดตั้งได้ที่
วิธีดูยี่ห้อ รุ่น และหน่วยความจำการ์ดจอ:
เปิด Task Manager
คลิก "Performance"
คลิก "GPU"
มุมขวาบนจะเห็นรุ่นการ์ดจอ ด้านล่างจะเห็นขนาดหน่วยความจำการ์ดจอ

① ดาวน์โหลดชุดรวมแล้วแตกไฟล์;
หมายเหตุ: เส้นทางโฟลเดอร์และชื่อไฟล์ (รวมถึงชื่อไฟล์เสียง รูปภาพ วิดีโอ ฯลฯ) ไม่ควรมีอักษรจีน มิฉะนั้นซอฟต์แวร์บางตัวอาจอ่านไม่ได้และเกิดข้อผิดพลาด

② ดับเบิลคลิก "一键启动.exe" รอสักครู่ หน้าจอการใช้งานจะเปิดในเบราว์เซอร์โดยอัตโนมัติ

③ รองรับการสร้างเสียงจากวิดีโอและการสร้างเสียงจากข้อความ
1. การสร้างเสียงจากวิดีโอ
เลือก "พากย์เสียงวิดีโอ" อัปโหลดวิดีโอ กรอกพรอมป์ต์ (เช่น waves, คลื่นทะเล) ตั้งค่าระยะเวลา (หากต้องการพากย์เสียงทั้งวิดีโอ ต้องตั้งค่าให้มากกว่าหรือเท่ากับความยาวของวิดีโอ) สุดท้ายคลิกส่ง ผลลัพธ์ที่ได้จะอยู่ทางด้านขวา

สามารถเล่นเพื่อดูได้ คลิกปุ่มดาวน์โหลดที่มุมขวาบนเพื่อบันทึกไปยังโฟลเดอร์ที่กำหนด

ผลลัพธ์ที่สร้าง
โปรแกรมเล่นวิดีโอ
2、สร้างเสียงจากข้อความ
เลือก "สร้างเสียงเอฟเฟกต์จากข้อความ" กรอกคำสั่ง (เช่น waves, คลื่นทะเล) ตั้งค่าระยะเวลา คลิกส่ง ผลลัพธ์จะอยู่ทางด้านขวา

สามารถเล่นเพื่อฟังตัวอย่างได้ คลิกปุ่มดาวน์โหลดที่มุมขวาบนเพื่อบันทึกไปยังโฟลเดอร์ที่กำหนด

เอฟเฟกต์เสียง
ที่อยู่โอเพนซอร์ส:https://github.com/hkchengrex/MMAudio