Fish Speech es una nueva tecnología de texto a voz (TTS) presentada por el equipo de Fish Audio, cuyo objetivo es convertir texto en una salida de voz natural y fluida mediante las técnicas más avanzadas de aprendizaje automático y aprendizaje profundo. Este proyecto se publica bajo la licencia CC-BY-NC-SA-4.0, lo que significa que los usuarios pueden usar, modificar y compartir su código y sus modelos de forma gratuita siempre que cumplan las condiciones correspondientes.
El proyecto Fish Speech emplea numerosas tecnologías de IA líderes, entre ellas la arquitectura Transformer, VQ-GAN, Llama y VITS. La combinación de estas tecnologías permite al modelo comprender mejor y generar secuencias largas de texto con voz, mejorando la precisión y la eficiencia de la generación de voz. Es el mecanismo de autoatención de la arquitectura Transformer el que hace más refinada la expresión de la síntesis de voz y aumenta en gran medida la velocidad de generación. Además, Fish Speech combina el aprendizaje multitarea con una eficiente tecnología de vocoder de red neuronal, lo que le permite manejar con facilidad tareas complejas de síntesis de voz y ofrecer resultados fluidos y naturales.

La potencia y la flexibilidad de Fish Speech lo hacen aplicable a múltiples campos, como asistentes inteligentes, chatbots, tecnologías de accesibilidad, educación, creación de contenido, desarrollo de videojuegos y atención al cliente, entre otros. Ya sea en una conversación cotidiana o en una aplicación profesional, ofrece una experiencia de voz precisa y natural.

Fish Speech es totalmente de código abierto; los usuarios no solo pueden usar y modificar libremente el código del proyecto, sino también desarrollar variantes según sus necesidades personales. El equipo de Fish Audio y la comunidad de código abierto también trabajan continuamente para optimizar el proyecto y ofrecer una mejor experiencia a usuarios de todo el mundo.
En resumen, Fish Speech es una herramienta de texto a voz de código abierto eficiente, potente y fácil de usar, con amplias perspectivas de aplicación. Si te interesa la tecnología de síntesis de voz, ¡no dudes en visitar GitHub y conocer y probar el proyecto Fish Speech!
Estuve probando durante toda una tarde con mi tarjeta gráfica 4070ti Super: generar un archivo de voz de 29 segundos tarda aproximadamente 130 segundos, y el consumo de memoria de vídeo es muy bajo; calculo que una tarjeta con 6 GB de memoria de vídeo puede funcionar sin problemas. Durante las pruebas, el ventilador de la tarjeta gráfica casi no reaccionó y el funcionamiento fue muy estable.
A continuación se adjunta una demostración de audio; no sé si podrán adivinar qué modelo de voz se usó como referencia.