IndexTTS ialah model teks ke pertuturan (TTS) terbaharu yang diperkenalkan oleh Bilibili, ia mampu menggunakan pinyin untuk membetulkan sebutan aksara Cina, dan mengawal jeda pada mana-mana kedudukan melalui tanda baca. Dalam senario bahasa Cina, ia menunjukkan prestasi cemerlang dan memecahkan rekod industri. IndexTTS melalui teknologi canggih seperti pemodelan hibrid aksara Cina-pinyin, kawalan jeda yang tepat dan pengoptimuman merentas modal, meningkatkan ketepatan dan keaslian penjanaan pertuturan dengan ketara.

Sistem IndexTTS telah dilatih dengan puluhan ribu jam data, telah mencapai prestasi terkemuka dalam industri, melebihi sistem TTS popular semasa seperti XTTS, CosyVoice2, Fish-Speech dan F5-TTS. Beberapa modul sistem telah dipertingkatkan, dengan penambahbaikan mendalam dalam perwakilan ciri keadaan pembesar suara dan pengoptimuman kualiti audio. Dengan memperkenalkan kaedah pemodelan hibrid, IndexTTS dapat membetulkan aksara Cina yang salah baca dengan pantas, meningkatkan pengalaman penggunaan pengguna.
Versi V3 yang dikongsi hari ini, telah mengemas kini model IndexTTS-1.5 yang lebih berkuasa, meningkatkan kestabilan model dan prestasi bahasa Inggeris dengan ketara. Versi ini bukan sahaja cemerlang dalam penjanaan pertuturan bahasa Cina, malah memperluaskan sokongan bahasa, menjadikan senario aplikasi lebih luas.
Kejayaan IndexTTS terletak pada pemahaman mendalam tentang ciri bahasa Cina dan aplikasi inovatif, sesuai untuk senario yang memerlukan penjanaan pertuturan berketepatan tinggi dan semula jadi, seperti pendidikan, hiburan, pembacaan berita dan lain-lain. Keupayaan kawalan jeda yang tepat dan pemprosesan aksara pelbagai sebutan menjadikannya mempunyai kelebihan ketara dalam bidang pembacaan bahasa Cina dan sintesis pertuturan.
Tutorial penggunaan IndexTTS adalah seperti berikut, disyorkan menggunakan kad N, memori video bermula 4G, menyokong kad siri 50, berdasarkan CUDA 12.8.
Muat naik audio rujukan untuk membantu model menjana pertuturan dengan lebih baik.
Masukkan kandungan teks yang perlu ditukar kepada pertuturan dalam kotak input teks.
Pilih "Penaakulan biasa" dan "Penaakulan kelompok" berdasarkan panjang teks. Ujian sebenar menunjukkan "Penaakulan kelompok" menggunakan memori video sepenuhnya, kelajuan penjanaan meningkat lebih 10 kali ganda, tetapi kestabilannya sedikit kurang berbanding "Penaakulan biasa". Semua boleh melaraskan sendiri mengikut keperluan.