Fish Speech เป็นเทคโนโลยี Text-to-Speech (TTS) ใหม่ล่าสุดที่พัฒนาโดยทีม Fish Audio โดยมีเป้าหมายที่จะแปลงข้อความเป็นเสียงพูดที่เป็นธรรมชาติและลื่นไหลด้วยเทคโนโลยีแมชชีนเลิร์นนิงและดีพเลิร์นนิงที่ทันสมัยที่สุด โปรเจกต์นี้เผยแพร่ภายใต้สัญญาอนุญาต CC-BY-NC-SA-4.0 ซึ่งหมายความว่าผู้ใช้สามารถใช้ แก้ไข และแชร์โค้ดและโมเดลได้ฟรีภายใต้เงื่อนไขที่กำหนด
โปรเจกต์ Fish Speech ใช้เทคโนโลยี AI ชั้นนำมากมาย รวมถึงสถาปัตยกรรม Transformer, VQ-GAN, Llama และ VITS การผสมผสานเทคโนโลยีเหล่านี้ทำให้โมเดลสามารถเข้าใจและสร้างเสียงจากลำดับข้อความยาวๆ ได้ดีขึ้น เพิ่มความแม่นยำและประสิทธิภาพในการสร้างเสียง โดยเฉพาะกลไก self-attention ของสถาปัตยกรรม Transformer ที่ทำให้การสังเคราะห์เสียงมีความละเอียดอ่อนมากขึ้นและเพิ่มความเร็วในการสร้างอย่างมาก นอกจากนี้ Fish Speech ยังผสมผสานการเรียนรู้แบบ multi-task และเทคโนโลยี neural network vocoder ที่มีประสิทธิภาพ ทำให้สามารถจัดการงานสังเคราะห์เสียงที่ซับซ้อนได้อย่างง่ายดาย ให้ผลลัพธ์เสียงที่ลื่นไหลและเป็นธรรมชาติ

ฟีเจอร์ที่ทรงพลังและความยืดหยุ่นของ Fish Speech ทำให้เหมาะสำหรับหลายด้าน รวมถึงผู้ช่วยอัจฉริยะ แชทบอท เทคโนโลยีเพื่อการเข้าถึง การศึกษา การสร้างเนื้อหา การพัฒนาเกม และบริการลูกค้า ไม่ว่าจะเป็นการสนทนาประจำวันหรือการใช้งานระดับมืออาชีพ ก็สามารถมอบประสบการณ์เสียงที่แม่นยำและเป็นธรรมชาติได้

Fish Speech เป็นโอเพนซอร์สเต็มรูปแบบ ผู้ใช้ไม่เพียงแต่สามารถใช้และแก้ไขโค้ดโปรเจกต์ได้อย่างอิสระ แต่ยังสามารถพัฒนาต่อยอดตามความต้องการส่วนบุคคลได้ ทีม Fish Audio และชุมชนโอเพนซอร์สก็ยังคงพยายามอย่างต่อเนื่องในการปรับปรุงโปรเจกต์ เพื่อมอบประสบการณ์ที่ดีขึ้นให้กับผู้ใช้ทั่วโลก
โดยสรุป Fish Speech เป็นเครื่องมือ Text-to-Speech แบบโอเพนซอร์สที่มีประสิทธิภาพ ทรงพลัง และใช้งานง่าย มีศักยภาพการใช้งานที่กว้างขวาง หากคุณสนใจเทคโนโลยีการสังเคราะห์เสียง ลองไปที่ GitHub ติดตามและทดลองใช้โปรเจกต์ Fish Speech ดูสิ!
ผมทดสอบด้วยการ์ดจอ 4070ti Super ของผมเป็นเวลาหนึ่งบ่าย การสร้างไฟล์เสียง 29 วินาทีใช้เวลาประมาณ 130 วินาที การใช้ VRAM ต่ำมาก คาดว่าการ์ดจอที่มี VRAM 6GB ก็สามารถรันได้อย่างราบรื่น ในระหว่างการทดสอบ พัดลมการ์ดจอแทบไม่ทำงานเลย ทำงานได้เสถียรมาก
ด้านล่างนี้แนบตัวอย่างเสียงสาธิต ไม่รู้ว่าทุกคนจะเดาออกไหมว่าใช้โมเดลเสียงอะไรเป็นตัวอย่างอ้างอิง