Fish Speech هو تقنية جديدة لتحويل النص إلى كلام (TTS) أطلقها فريق Fish Audio، ويهدف إلى استخدام أحدث تقنيات التعلم الآلي والتعلم العميق لتحويل النص إلى إخراج صوتي طبيعي وسلس. تم إصدار هذا المشروع بموجب رخصة CC-BY-NC-SA-4.0، مما يعني أنه يمكن للمستخدمين استخدام وتعديل ومشاركة الكود والنماذج مجاناً مع الالتزام بالشروط ذات الصلة.
يعتمد مشروع Fish Speech على العديد من تقنيات الذكاء الاصطناعي الرائدة، بما في ذلك بنية Transformer و VQ-GAN و Llama و VITS وغيرها. هذا المزيج من التقنيات يمكّن النموذج من فهم وإنتاج صوت لتسلسلات نصية طويلة بشكل أفضل، مما يحسّن دقة وكفاءة توليد الصوت. وتحديداً آلية الانتباه الذاتي في بنية Transformer، التي تجعل أداء تركيب الصوت أكثر دقة وترفع سرعة التوليد بشكل كبير. بالإضافة إلى ذلك، يدمج Fish Speech التعلم متعدد المهام وتقنية مرمّز صوتي عصبي عالي الكفاءة، مما يمكّنه من التعامل بسهولة مع مهام تركيب الصوت المعقدة وتقديم تأثيرات صوتية سلسة وطبيعية.

تجعل وظائف Fish Speech القوية ومرونته مناسباً للعديد من المجالات، بما في ذلك المساعدون الأذكياء وروبوتات الدردشة وتقنيات إمكانية الوصول والتعليم وإنشاء المحتوى وتطوير الألعاب وخدمة العملاء وغيرها. سواء كان محادثة يومية أو تطبيقاً احترافياً، فإنه يوفر تجربة صوتية دقيقة وطبيعية.

Fish Speech مفتوح المصدر بالكامل، حيث يمكن للمستخدمين ليس فقط استخدام وتعديل كود المشروع بحرية، بل أيضاً إجراء تطوير ثانوي وفقاً لاحتياجاتهم الشخصية. كما يواصل فريق Fish Audio ومجتمع المصدر المفتوح جهودهما المستمرة لتحسين المشروع باستمرار وتقديم تجربة أفضل للمستخدمين حول العالم.
باختصار، Fish Speech هو أداة تحويل النص إلى كلام مفتوحة المصدر عالية الكفاءة وقوية وسهلة الاستخدام، ولها آفاق تطبيقية واسعة. إذا كنت مهتماً بتقنية تركيب الصوت، فلا تتردد في زيارة GitHub ومتابعة مشروع Fish Speech وتجربته!
اختبرته ببطاقة الرسوميات 4070ti Super الخاصة بي طوال فترة بعد الظهر، ويستغرق توليد ملف صوتي مدته 29 ثانية حوالي 130 ثانية، واستهلاك ذاكرة الرسوميات منخفض جداً، وأقدّر أن بطاقة رسوميات بذاكرة 6GB يمكنها التشغيل بسلاسة. خلال الاختبار، لم تتحرك مروحة بطاقة الرسوميات تقريباً إطلاقاً، وكان التشغيل مستقراً جداً.
فيما يلي عرض صوتي مرفق، لا أعرف إن كان بإمكانكم تخمين نموذج الصوت المرجعي المستخدم.