IndexTTS è il più recente modello di sintesi vocale (TTS) lanciato da Bilibili; è in grado di correggere la pronuncia dei caratteri cinesi tramite pinyin e di controllare le pause in qualsiasi posizione tramite la punteggiatura. In ambito cinese mostra prestazioni eccezionali e ha stabilito nuovi record del settore. IndexTTS, attraverso tecnologie avanzate come la modellazione mista carattere cinese-pinyin, il controllo preciso delle pause e l'ottimizzazione cross-modale, migliora significativamente la precisione e la naturalezza della generazione vocale.

Il sistema IndexTTS è stato addestrato con decine di migliaia di ore di dati e ha raggiunto prestazioni leader del settore, superando gli attuali sistemi TTS popolari come XTTS, CosyVoice2, Fish-Speech e F5-TTS. Diversi moduli del sistema sono stati potenziati, con profondi miglioramenti nella rappresentazione delle caratteristiche condizionate dal parlante e nell'ottimizzazione della qualità audio. Introducendo la modellazione mista, IndexTTS è in grado di correggere rapidamente i caratteri cinesi letti erroneamente, migliorando l'esperienza d'uso.
La versione V3 condivisa oggi aggiorna il modello IndexTTS-1.5 più potente, migliorando significativamente la stabilità del modello e le prestazioni in lingua inglese. Questa versione non solo eccelle nella generazione vocale in cinese, ma estende anche il supporto ad altre lingue, ampliando ulteriormente gli scenari applicativi.
Il successo di IndexTTS risiede nella profonda comprensione delle caratteristiche della lingua cinese e nell'applicazione innovativa, adatto a scenari che richiedono una generazione vocale ad alta precisione e naturalezza, come istruzione, intrattenimento, lettura di notizie, ecc. Il suo controllo preciso delle pause e la capacità di gestione dei caratteri polifonici gli conferiscono un vantaggio significativo nel campo della lettura in cinese e della sintesi vocale.
Il tutorial d'uso di IndexTTS è il seguente; si consiglia di utilizzare una GPU N, con memoria video da 4G in su, supporta le schede della serie 50, basato su CUDA 12.8.
Carica l'audio di riferimento per aiutare il modello a generare meglio la voce.
Inserisci nel campo di testo il contenuto testuale da convertire in voce.
In base alla lunghezza del testo, scegli tra "inferenza normale" e "inferenza batch". Nei test, l'"inferenza batch" sfrutta appieno la memoria video, con una velocità di generazione aumentata di oltre 10 volte, ma con stabilità leggermente inferiore all'"inferenza normale". Ognuno può regolare secondo le proprie esigenze.