IndexTTS เป็นโมเดลแปลงข้อความเป็นเสียง (TTS) ล่าสุดที่เปิดตัวโดย Bilibili สามารถใช้พินอินแก้ไขการออกเสียงของตัวอักษรจีน และควบคุมการหยุดพักในตำแหน่งใดก็ได้ผ่านเครื่องหมายวรรคตอน ในสถานการณ์ภาษาจีนมันแสดงประสิทธิภาพที่ยอดเยี่ยมและสร้างสถิติใหม่ของอุตสาหกรรม IndexTTS ผ่านเทคโนโลยีขั้นสูงเช่นการสร้างโมเดลแบบผสมตัวอักษรจีน-พินอิน การควบคุมการหยุดพักที่แม่นยำ และการปรับแต่งข้ามโมดัล ช่วยเพิ่มความแม่นยำและความเป็นธรรมชาติของการสร้างเสียงอย่างมีนัยสำคัญ

ระบบ IndexTTS ผ่านการฝึกฝนด้วยข้อมูลหลายหมื่นชั่วโมง บรรลุประสิทธิภาพระดับแนวหน้าของอุตสาหกรรม เหนือกว่าระบบ TTS ยอดนิยมในปัจจุบันเช่น XTTS, CosyVoice2, Fish-Speech และ F5-TTS เป็นต้น โมดูลหลายส่วนของระบบได้รับการเสริมความแข็งแกร่งด้วยการปรับปรุงเชิงลึกในการแสดงลักษณะเงื่อนไขของลำโพงและการปรับคุณภาพเสียง ด้วยการนำวิธีการสร้างโมเดลแบบผสมมาใช้ IndexTTS สามารถแก้ไขตัวอักษรจีนที่อ่านผิดได้อย่างรวดเร็ว เพิ่มประสบการณ์การใช้งานของผู้ใช้
เวอร์ชัน V3 ที่แชร์วันนี้ อัปเดตโมเดล IndexTTS-1.5 ที่ทรงพลังยิ่งขึ้น เพิ่มเสถียรภาพของโมเดลและประสิทธิภาพด้านภาษาอังกฤษอย่างมีนัยสำคัญ เวอร์ชันนี้ไม่เพียงโดดเด่นในการสร้างเสียงภาษาจีน ยังขยายการรองรับภาษาถิ่น ทำให้ขอบเขตการใช้งานกว้างขึ้น
ความสำเร็จของ IndexTTS อยู่ที่ความเข้าใจอย่างลึกซึ้งต่อลักษณะเฉพาะของภาษาจีนและการประยุกต์ใช้อย่างสร้างสรรค์ เหมาะสำหรับสถานการณ์ที่ต้องการการสร้างเสียงที่มีความแม่นยำและเป็นธรรมชาติสูง เช่น การศึกษา ความบันเทิง การอ่านข่าว เป็นต้น ความสามารถในการควบคุมการหยุดพักที่แม่นยำและการจัดการอักษรพหุเสียงทำให้它具有ข้อได้เปรียบที่ชัดเจนในด้านการอ่านภาษาจีนและการสังเคราะห์เสียง
ขั้นตอนการใช้ IndexTTS มีดังนี้ แนะนำให้ใช้การ์ด N หน่วยความจำ GPU เริ่มต้น 4G รองรับการ์ดซีรีส์ 50 ใช้ CUDA 12.8
อัปโหลดเสียงอ้างอิงเพื่อช่วยให้โมเดลสร้างเสียงได้ดียิ่งขึ้น
ป้อนเนื้อหาข้อความที่ต้องการแปลงเป็นเสียงในช่องป้อนข้อความ
เลือก "การอนุมานปกติ" และ "การอนุมานแบบแบตช์" ตามความยาวของข้อความ จากการทดสอบจริง "การอนุมานแบบแบตช์" ใช้หน่วยความจำ GPU อย่างเต็มที่ ความเร็วในการสร้างเพิ่มขึ้นกว่า 10 เท่า แต่เสถียรภาพด้อยกว่า "การอนุมานปกติ" เล็กน้อย ทุกคนสามารถปรับได้ตามความต้องการ