Fish Speech ialah teknologi teks ke ucapan (TTS) baharu yang diperkenalkan oleh pasukan Fish Audio, bertujuan menggunakan teknologi pembelajaran mesin dan pembelajaran mendalam termaju untuk menukar teks kepada output ucapan yang semula jadi dan lancar. Projek ini diterbitkan di bawah lesen CC-BY-NC-SA-4.0, bermakna pengguna boleh menggunakan, mengubah suai dan berkongsi kod serta modelnya secara percuma dengan syarat mematuhi terma yang berkaitan.
Projek Fish Speech menggunakan banyak teknologi AI terkemuka, termasuk seni bina Transformer, VQ-GAN, Llama dan VITS. Gabungan teknologi ini membolehkan model lebih memahami dan menjana ucapan bagi urutan teks yang panjang, meningkatkan ketepatan dan kecekapan penjanaan ucapan. Mekanisme perhatian kendiri dalam seni bina Transformer menjadikan prestasi sintesis ucapan lebih halus, sekali gus meningkatkan kelajuan penjanaan secara mendadak. Selain itu, Fish Speech juga menggabungkan pembelajaran pelbagai tugas dan teknologi vokoder rangkaian neural yang cekap, membolehkannya mengendalikan tugas sintesis ucapan yang kompleks dengan mudah, memberikan kesan ucapan yang lancar dan semula jadi.

Fungsi dan fleksibiliti Fish Speech yang berkuasa menjadikannya sesuai untuk pelbagai bidang, termasuk pembantu pintar, chatbot, teknologi kebolehcapaian, pendidikan, penciptaan kandungan, pembangunan permainan dan perkhidmatan pelanggan. Sama ada perbualan harian atau aplikasi profesional, ia boleh memberikan pengalaman ucapan yang tepat dan semula jadi.

Fish Speech adalah sumber terbuka sepenuhnya, pengguna bukan sahaja boleh menggunakan dan mengubah suai kod projek dengan bebas, malah boleh melakukan pembangunan sekunder mengikut keperluan peribadi. Pasukan Fish Audio dan komuniti sumber terbuka juga terus berusaha, sentiasa mengoptimumkan projek untuk membawa pengalaman yang lebih baik kepada pengguna global.
Ringkasnya, Fish Speech ialah alat teks ke ucapan sumber terbuka yang cekap, berkuasa dan mudah digunakan, dengan prospek aplikasi yang luas. Jika anda berminat dengan teknologi sintesis ucapan, apa kata lawati GitHub, ikuti dan cuba projek Fish Speech!
Saya menguji dengan kad grafik 4070ti Super saya selama satu petang, menjana fail ucapan 29 saat mengambil masa kira-kira 130 saat, penggunaan memori video sangat rendah, dianggarkan kad grafik dengan 6GB memori video sudah cukup untuk berjalan dengan lancar. Semasa ujian, kipas kad grafik hampir tidak bergerak langsung, operasi sangat stabil.
Di bawah disertakan demo audio, tidak tahu sama ada semua orang boleh meneka model suara rujukan yang mana.