Fish Speech é uma nova tecnologia de conversão de texto em fala (TTS) lançada pela equipe Fish Audio, com o objetivo de usar as mais avançadas tecnologias de aprendizado de máquina e aprendizado profundo para converter texto em saída de fala natural e fluente. Este projeto é publicado sob a licença CC-BY-NC-SA-4.0, o que significa que os usuários podem usar, modificar e compartilhar gratuitamente seu código e modelos, desde que cumpram os termos relevantes.
O projeto Fish Speech adota inúmeras tecnologias de IA líderes, incluindo a arquitetura Transformer, VQ-GAN, Llama e VITS, entre outras. A combinação dessas tecnologias permite que o modelo compreenda e gere melhor a fala de sequências de texto longas, melhorando a precisão e a eficiência da geração de fala. É o mecanismo de autoatenção da arquitetura Transformer que torna o desempenho da síntese de fala mais refinado e aumenta significativamente a velocidade de geração. Além disso, o Fish Speech também combina aprendizado multitarefa com tecnologia eficiente de vocoder de rede neural, permitindo que ele lide facilmente com tarefas complexas de síntese de fala, proporcionando efeitos de fala fluidos e naturais.

As poderosas funções e flexibilidade do Fish Speech o tornam aplicável em diversas áreas, incluindo assistentes inteligentes, chatbots, tecnologia de acessibilidade, educação, criação de conteúdo, desenvolvimento de jogos e atendimento ao cliente, entre outras. Seja em conversas cotidianas ou aplicações profissionais, ele oferece uma experiência de fala precisa e natural.

O Fish Speech é totalmente de código aberto; os usuários não só podem usar e modificar livremente o código do projeto, como também podem fazer desenvolvimento secundário de acordo com suas necessidades pessoais. A equipe Fish Audio e a comunidade de código aberto também continuam se esforçando para otimizar constantemente o projeto, trazendo uma experiência melhor para usuários globais.
Em resumo, o Fish Speech é uma ferramenta de conversão de texto em fala de código aberto eficiente, poderosa e fácil de usar, com amplas perspectivas de aplicação. Se você tem interesse em tecnologia de síntese de fala, vale a pena ir ao GitHub, seguir e experimentar o projeto Fish Speech!
Testei com minha placa de vídeo 4070ti Super durante uma tarde inteira; gerar um arquivo de fala de 29 segundos leva cerca de 130 segundos, e o uso de memória de vídeo é muito baixo, estimo que uma placa com 6GB de memória de vídeo consiga rodar sem problemas. Durante o teste, a ventoinha da placa de vídeo quase não reagiu, funcionando de forma muito estável.
Abaixo segue a demonstração de áudio; não sei se vocês conseguem adivinhar qual modelo de voz foi usado como referência.