LatentSync เป็นเทคโนโลยี lip sync ขั้นสูงที่เปิดตัวโดย ByteDance โดยอาศัยเงื่อนไขจากเสียง ใช้วิธีการประมวลผลแบบ end-to-end สามารถสร้างวิดีโอแบบไดนามิกที่มีคุณภาพสูงและมีความสอดคล้องทางเวลาผ่านโมเดล latent diffusion และเทคโนโลยีการจัดตำแหน่งการแสดงแทนทางเวลา (TREPA) เทคโนโลยีนี้ยังปรับปรุง SyncNet ให้ดีขึ้น เพิ่มความแม่นยำและความลู่เข้าของ lip sync โดยเฉพาะในฉากที่ซับซ้อนซึ่งมีประสิทธิภาพดียิ่งขึ้น
อย่างไรก็ตาม จากการทดสอบจริง พบว่าผลลัพธ์ lip sync ภาษาอังกฤษค่อนข้างดี แต่ผลลัพธ์ภาษาจีนยังด้อยอยู่ แม้จะใช้งานได้แบบพอใช้ แต่หากเป้าหมายของคุณคือการทำ lip sync ภาษาจีนให้สมบูรณ์แบบ อาจต้องพิจารณาแนวทางอื่นเพิ่มเติม ต่อไปนี้คือผลการทดสอบภาษาอังกฤษและภาษาจีน คุณสามารถอ้างอิงได้ตามความต้องการ
- วิดีโอต้นฉบับ:
- ผลลัพธ์ที่สร้างเป็นภาษาจีน:
- ผลลัพธ์ที่สร้างเป็นภาษาอังกฤษ:
ฟังก์ชันหลัก:
- กรอบงาน lip sync แบบ end-to-end:
เทคโนโลยีนี้สามารถสร้างการเคลื่อนไหวริมฝีปากที่ซิงค์กับเสียงโดยตรงจากเสียงโดยไม่ต้องมีขั้นตอนกลาง ทำให้กระบวนการทั้งหมดง่ายขึ้น
- การสร้างวิดีโอคุณภาพสูง:
ด้วยเทคโนโลยี Stable Diffusion LatentSync สามารถสร้างวิดีโอพูดที่มีชีวิตชีวาและสมจริง ใช้ได้อย่างกว้างขวางในสถานการณ์การสร้างวิดีโอต่างๆ
- การปรับแต่ง SyncNet:
ด้วยการปรับปรุงกระบวนการฝึกอบรม ช่วยเพิ่มความสามารถในการลู่เข้าและความแม่นยำของ SyncNet ในสถานการณ์ที่ซับซ้อน ยกระดับประสิทธิภาพโดยรวม
- การสร้างแบบจำลองสัญญาณรบกวนที่ยืดหยุ่น:
ใช้แบบจำลองสัญญาณรบกวนแบบผสม เพื่อให้มั่นใจในความสอดคล้องทางเวลาของสัญญาณรบกวนอินพุต จึงเพิ่มเสถียรภาพของผลลัพธ์การสร้างวิดีโอ
สถานการณ์การใช้งาน:
- การผลิตภาพยนตร์และโทรทัศน์และการตัดต่อ:
มอบโซลูชันวิดีโอพากย์เสียงสำหรับการผลิตภาพยนตร์และโทรทัศน์ ช่วยให้ซิงค์การเคลื่อนไหวริมฝีปากของตัวละครกับเสียงได้อย่างง่ายดาย
- ตัวละครเสมือนและมนุษย์ดิจิทัล:
ในการประยุกต์ใช้เช่น VTuber และผู้ช่วยอัจฉริยะ สร้างแอนิเมชันซิงค์ริมฝีปากที่เป็นธรรมชาติ เพิ่มความรู้สึกสมจริง
- วิดีโอการศึกษาและการฝึกอบรม:
สร้างการพากย์เสียงและเอฟเฟกต์ซิงค์ริมฝีปากคุณภาพสูงสำหรับเนื้อหาการสอนหรือวิดีโอฝึกอบรมออนไลน์ เพิ่มประสบการณ์การเรียนรู้
- การสร้างสื่อสังคมออนไลน์และวิดีโอสั้น:
มอบฟังก์ชันแอนิเมชันที่ขับเคลื่อนด้วยเสียง ช่วยให้นักสร้างสรรค์แสดงไอเดียของตนได้อย่างเป็นธรรมชาติมากขึ้น
- การวิจัยและการพัฒนาเทคโนโลยี:
มอบโซลูชันเทคโนโลยีใหม่สำหรับสาขาการผสมผสานภาพและเสียง การสร้างแบบจำลองเชิงกำเนิด และปฏิสัมพันธ์ระหว่างมนุษย์กับคอมพิวเตอร์ ผลักดันนวัตกรรมในสาขาที่เกี่ยวข้อง
ข้อกําหนดของระบบ:
ในการรัน LatentSync คอมพิวเตอร์ของคุณต้องมีคุณสมบัติตามข้อกำหนดดังต่อไปนี้:
- ระบบปฏิบัติการ: Windows 10/11 64 บิต
- การ์ดจอ: ต้องมีการ์ดจอ NVIDIA ที่มีหน่วยความจำอย่างน้อย 8GB
- เวอร์ชัน CUDA: >= 12.1
- พื้นที่ฮาร์ดดิสก์: หลังจากแตกไฟล์แพ็กเกจทั้งหมดจะมีขนาดประมาณ 18.7GB โปรดตรวจสอบให้แน่ใจว่ามีพื้นที่ฮาร์ดดิสก์เพียงพอ
หากคอมพิวเตอร์ยังไม่ได้ติดตั้ง CUDA คุณสามารถดูได้ที่คู่มือการติดตั้งเพื่อทำการติดตั้ง
วิธีดูยี่ห้อ รุ่น และหน่วยความจำการ์ดจอ:
- เปิด Task Manager
- คลิก "Performance"
- เลือก "GPU" ที่มุมขวาบนสามารถดูรุ่นการ์ดจอ ด้านล่างสามารถดูขนาดหน่วยความจำการ์ดจอ
ข้อควรระวังในการติดตั้ง:
โปรดตรวจสอบให้แน่ใจว่าเส้นทางโฟลเดอร์และชื่อไฟล์ (รวมถึงชื่อไฟล์เสียง รูปภาพ วิดีโอ ฯลฯ) ไม่มีตัวอักษรภาษาจีน มิฉะนั้นอาจทำให้ซอฟต์แวร์ไม่สามารถจดจำได้และเกิดข้อผิดพลาด
บทแนะนำการติดตั้ง:
แพ็กเกจรวมมีวิดีโอสอนอย่างละเอียดอยู่ภายใน ช่วยให้คุณติดตั้งและใช้งานได้อย่างง่ายดาย
ที่อยู่โอเพนซอร์ส:
ที่อยู่โอเพนซอร์สของ LatentSync