IndexTTS es el modelo más reciente de conversión de texto a voz (TTS) lanzado por Bilibili; puede usar pinyin para corregir la pronunciación de caracteres chinos y controlar las pausas en cualquier posición mediante signos de puntuación. En escenarios en chino, muestra un rendimiento sobresaliente y ha batido récords del sector. IndexTTS, mediante tecnologías avanzadas como el modelado mixto de caracteres chinos y pinyin, el control preciso de pausas y la optimización multimodal, mejora significativamente la precisión y naturalidad de la generación de voz.

El sistema IndexTTS ha sido entrenado con decenas de miles de horas de datos y ha alcanzado un rendimiento líder en el sector, superando a los sistemas TTS populares actuales como XTTS, CosyVoice2, Fish-Speech y F5-TTS, entre otros. Varios módulos del sistema han sido mejorados, con avances profundos en la representación de características condicionadas por el hablante y la optimización de la calidad de audio. Mediante la introducción del modelado mixto, IndexTTS puede corregir rápidamente caracteres chinos mal leídos, mejorando la experiencia de uso del usuario.
La versión V3 compartida hoy actualiza el modelo más potente IndexTTS-1.5, mejorando notablemente la estabilidad del modelo y el rendimiento en inglés. Esta versión no solo destaca en la generación de voz en chino, sino que también amplía el soporte de idiomas, haciendo que los escenarios de aplicación sean más amplios.
El éxito de IndexTTS radica en su profunda comprensión de las características del idioma chino y su aplicación innovadora; es adecuado para escenarios que requieren generación de voz con alta precisión y naturalidad, como educación, entretenimiento, locución de noticias, etc. Su control preciso de pausas y su capacidad de procesamiento de caracteres polifónicos le otorgan una ventaja significativa en la lectura en chino y la síntesis de voz.
El tutorial de uso de IndexTTS es el siguiente; se recomienda usar una tarjeta N, con 4 GB de memoria de video como mínimo, compatible con tarjetas de la serie 50, basado en CUDA 12.8.
Sube un audio de referencia para ayudar al modelo a generar mejor la voz.
Introduce en el cuadro de texto el contenido que necesita convertirse a voz.
Según la longitud del texto, elige "inferencia normal" o "inferencia por lotes". En pruebas reales, la "inferencia por lotes" aprovecha plenamente la memoria de video y aumenta la velocidad de generación más de 10 veces, pero su estabilidad es ligeramente inferior a la de la "inferencia normal". Cada usuario puede ajustarlo según sus necesidades.