IndexTTS — это новейшая модель преобразования текста в речь (TTS), представленная Bilibili. Она способна использовать пиньинь для исправления произношения китайских иероглифов и управлять паузами в любом месте с помощью знаков препинания. В китайскоязычных сценариях она демонстрирует выдающиеся результаты и обновляет отраслевые рекорды. IndexTTS за счет таких передовых технологий, как гибридное моделирование китайских иероглифов и пиньиня, точное управление паузами и кросс-модальная оптимизация, значительно повышает точность и естественность генерации речи.

Система IndexTTS обучена на десятках тысяч часов данных и достигла ведущей в отрасли производительности, превзойдя популярные TTS-системы, такие как XTTS, CosyVoice2, Fish-Speech и F5-TTS. Многие модули системы были усовершенствованы — проведены глубокие улучшения в представлении характеристик условий динамика и оптимизации качества аудио. Благодаря внедрению гибридного моделирования IndexTTS способна быстро исправлять ошибочно прочитанные китайские иероглифы, повышая удобство использования.
В версии V3, которой мы делимся сегодня, обновлена более мощная модель IndexTTS-1.5, что значительно повысило стабильность модели и производительность в английском языке. Эта версия не только отлично показывает себя в генерации китайской речи, но и расширила поддержку языков, делая сценарии применения более широкими.
Успех IndexTTS заключается в глубоком понимании особенностей китайского языка и инновационном применении, подходит для сценариев, требующих высокоточной и естественной генерации речи, таких как образование, развлечения, новостное вещание и другие. Точное управление паузами и обработка многозначных иероглифов дают ему значительные преимущества в области чтения на китайском и синтеза речи.
Руководство по использованию IndexTTS приведено ниже. Рекомендуется использовать видеокарту N, от 4 ГБ видеопамяти, поддерживаются видеокарты 50-й серии, на базе CUDA 12.8.
Загрузите референсное аудио, чтобы помочь модели лучше генерировать речь.
Введите в текстовое поле текст, который нужно преобразовать в речь.
В зависимости от длины текста выберите «Обычный вывод» или «Пакетный вывод». По результатам тестирования «Пакетный вывод» полностью использует видеопамять, скорость генерации возрастает более чем в 10 раз, но стабильность немного уступает «Обычному выводу». Вы можете调整 по своему усмотрению.