Fish Speech est une nouvelle technologie de synthèse vocale (TTS) lancée par l'équipe Fish Audio, visant à convertir du texte en une sortie vocale naturelle et fluide grâce aux technologies les plus avancées d'apprentissage automatique et d'apprentissage profond. Ce projet est publié sous licence CC-BY-NC-SA-4.0, ce qui signifie que les utilisateurs peuvent utiliser, modifier et partager gratuitement son code et ses modèles, à condition de respecter les clauses associées.
Le projet Fish Speech adopte de nombreuses technologies d'IA de pointe, notamment l'architecture Transformer, VQ-GAN, Llama et VITS. La combinaison de ces technologies permet au modèle de mieux comprendre et de générer la parole pour de longues séquences de texte, améliorant la précision et l'efficacité de la génération vocale. C'est le mécanisme d'auto-attention de l'architecture Transformer qui rend la synthèse vocale plus fine et augmente considérablement la vitesse de génération. En outre, Fish Speech combine l'apprentissage multitâche et une technologie efficace de vocodeur neuronal, ce qui lui permet de traiter facilement des tâches complexes de synthèse vocale et d'offrir un rendu vocal fluide et naturel.

Les fonctionnalités puissantes et la flexibilité de Fish Speech le rendent applicable à de nombreux domaines, notamment les assistants intelligents, les chatbots, les technologies d'accessibilité, l'éducation, la création de contenu, le développement de jeux et le service client, etc. Qu'il s'agisse de conversations quotidiennes ou d'applications professionnelles, il offre une expérience vocale précise et naturelle.

Fish Speech est entièrement open source ; les utilisateurs peuvent non seulement utiliser et modifier librement le code du projet, mais aussi le développer davantage selon leurs besoins personnels. L'équipe Fish Audio et la communauté open source travaillent également en continu pour optimiser le projet et offrir une meilleure expérience aux utilisateurs du monde entier.
En résumé, Fish Speech est un outil de synthèse vocale open source efficace, puissant et facile à utiliser, avec de larges perspectives d'application. Si la technologie de synthèse vocale vous intéresse, n'hésitez pas à vous rendre sur GitHub pour suivre et découvrir le projet Fish Speech !
J'ai testé pendant tout un après-midi avec ma carte graphique 4070ti Super : générer un fichier audio de 29 secondes prend environ 130 secondes, et l'occupation de la mémoire vidéo est très faible ; j'estime qu'une carte graphique avec 6 Go de mémoire vidéo peut fonctionner sans problème. Pendant les tests, le ventilateur de la carte graphique n'a pratiquement pas réagi, et le fonctionnement était très stable.
Ci-dessous une démonstration audio ; je ne sais pas si vous pourrez deviner quel modèle vocal a servi de référence.