IndexTTS é o mais recente modelo de conversão de texto em fala (TTS) lançado pela Bilibili, capaz de usar pinyin para corrigir a pronúncia de caracteres chineses e controlar pausas em qualquer posição por meio de sinais de pontuação. Em cenários em chinês, apresenta desempenho excepcional e bateu recordes do setor. O IndexTTS, por meio de tecnologias avançadas como modelagem mista de caracteres chineses e pinyin, controle preciso de pausas e otimização multimodal, melhora significativamente a precisão e a naturalidade da geração de fala.

O sistema IndexTTS foi treinado com dezenas de milhares de horas de dados e já alcançou desempenho líder no setor, superando sistemas TTS atualmente populares, como XTTS, CosyVoice2, Fish-Speech e F5-TTS, etc. Vários módulos do sistema foram aprimorados, com melhorias profundas na representação de características condicionadas pelo locutor e na otimização da qualidade de áudio. Ao introduzir a modelagem mista, o IndexTTS consegue corrigir rapidamente caracteres chineses lidos incorretamente, melhorando a experiência de uso do usuário.
A versão V3 compartilhada hoje atualiza o modelo IndexTTS-1.5 mais poderoso, melhorando significativamente a estabilidade do modelo e o desempenho no idioma inglês. Esta versão não só se destaca na geração de fala em chinês, como também amplia o suporte a idiomas, tornando os cenários de aplicação mais abrangentes.
O sucesso do IndexTTS reside na compreensão profunda das características da língua chinesa e na aplicação inovadora, sendo adequado para cenários que exigem geração de fala com alta precisão e naturalidade, como educação, entretenimento, locução de notícias, etc. Seu controle preciso de pausas e capacidade de processamento de caracteres polifônicos conferem-lhe vantagens significativas na leitura em chinês e na síntese de fala.
O tutorial de uso do IndexTTS é o seguinte, recomenda-se usar placa N, com memória de vídeo a partir de 4G, suporta placas da série 50, baseado em CUDA 12.8.
Envie o áudio de referência para ajudar o modelo a gerar fala melhor.
Insira na caixa de entrada de texto o conteúdo de texto que precisa ser convertido em fala.
De acordo com o comprimento do texto, escolha "inferência normal" e "inferência em lote". Em testes reais, a "inferência em lote" aproveita totalmente a memória de vídeo, com velocidade de geração mais de 10 vezes superior, mas com estabilidade ligeiramente inferior à "inferência normal". Cada um pode ajustar conforme necessário.