Fish Speech - это новая технология преобразования текста в речь (TTS), представленная командой Fish Audio, цель которой - использование самых передовых технологий машинного обучения и глубокого обучения для преобразования текста в естественный и плавный речевой вывод. Этот проект выпущен под лицензией CC-BY-NC-SA-4.0, что означает, что пользователи могут бесплатно использовать, изменять и распространять его код и модели при соблюдении соответствующих условий.
Проект Fish Speech использует множество передовых технологий ИИ, включая архитектуру Transformer, VQ-GAN, Llama и VITS. Сочетание этих технологий позволяет модели лучше понимать и генерировать речь для длинных текстовых последовательностей, повышая точность и эффективность генерации речи. Именно механизм самовнимания архитектуры Transformer делает синтез речи более детальным и значительно увеличивает скорость генерации. Кроме того, Fish Speech сочетает многозадачное обучение с эффективной технологией нейросетевого вокодера, что позволяет ему легко справляться со сложными задачами синтеза речи, обеспечивая плавный и естественный речевой эффект.

Мощные функции и гибкость Fish Speech делают его применимым во многих областях, включая умных помощников, чат-ботов, технологии доступности, образование, создание контента, разработку игр и обслуживание клиентов и т. д. Будь то повседневный диалог или профессиональное применение, он обеспечивает точный и естественный речевой опыт.

Fish Speech полностью открыт, пользователи могут не только свободно использовать и изменять код проекта, но и дорабатывать его под свои нужды. Команда Fish Audio и сообщество открытого исходного кода также постоянно работают над оптимизацией проекта, чтобы предоставить пользователям по всему миру лучший опыт.
В целом, Fish Speech - это эффективный, мощный и простой в использовании инструмент преобразования текста в речь с открытым исходным кодом, имеющий широкие перспективы применения. Если вам интересна технология синтеза речи, загляните на GitHub, чтобы следить за проектом Fish Speech и попробовать его!
Я тестировал со своей видеокартой 4070ti Super целый день, генерация 29-секундного аудиофайла занимает около 130 секунд, потребление видеопамяти очень низкое, предположительно видеокарты с 6 ГБ видеопамяти будет достаточно для плавной работы. В процессе тестирования вентиляторы видеокарты почти не реагировали, работа очень стабильная.
Ниже прилагается аудиодемонстрация, интересно, сможете ли вы угадать, какая голосовая модель использовалась в качестве референса.