【R2341】حزمة تحويل النص إلى كلام المتكاملة بنقرة واحدة، تدعم استنساخ الصوت Fish Speech v1.5.0 مجاني ومفتوح المصدر



📚دورة فيديو
🕒آخر تحديث: 16/12/2024
👥رواد الأعمال / صناع المحتوى على وسائل التواصل / العاملون في التجارة الإلكترونية العابرة للحدود / الباحثون عن دخل إضافي

مادة دراسية مرجعية — مشمولة بالعضوية
افتح الدورة بالعضوية
🔓
احصل على هذه الدورة للدراسة المرجعية مع العضوية
📦
انضم للعضوية — ادرس 16742 دورة وأداة برمجية كمرجع
🔄
الدورات تتحدث باستمرار — يدرس الأعضاء المواد الجديدة فور وصولها
شارك:
الدورات الأكثر مبيعاً

Fish Speech هو تقنية جديدة لتحويل النص إلى كلام (TTS) أطلقها فريق Fish Audio، ويهدف إلى استخدام أحدث تقنيات التعلم الآلي والتعلم العميق لتحويل النص إلى إخراج صوتي طبيعي وسلس. تم إصدار هذا المشروع بموجب رخصة CC-BY-NC-SA-4.0، مما يعني أنه يمكن للمستخدمين استخدام وتعديل ومشاركة الكود والنماذج مجاناً مع الالتزام بالشروط ذات الصلة.

أبرز المزايا التقنية

يعتمد مشروع Fish Speech على العديد من تقنيات الذكاء الاصطناعي الرائدة، بما في ذلك بنية Transformer و VQ-GAN و Llama و VITS وغيرها. هذا المزيج من التقنيات يمكّن النموذج من فهم وإنتاج صوت لتسلسلات نصية طويلة بشكل أفضل، مما يحسّن دقة وكفاءة توليد الصوت. وتحديداً آلية الانتباه الذاتي في بنية Transformer، التي تجعل أداء تركيب الصوت أكثر دقة وترفع سرعة التوليد بشكل كبير. بالإضافة إلى ذلك، يدمج Fish Speech التعلم متعدد المهام وتقنية مرمّز صوتي عصبي عالي الكفاءة، مما يمكّنه من التعامل بسهولة مع مهام تركيب الصوت المعقدة وتقديم تأثيرات صوتية سلسة وطبيعية.

الميزات الأساسية

  • دعم اللغات
    يدعم Fish Speech لغات متعددة مثل الصينية واليابانية والإنجليزية، ويتمتع بقدرة قوية على تركيب الصوت عبر اللغات، مما يلبي احتياجات المستخدمين حول العالم.
  • التعبير العاطفي
    لا تقتصر هذه التقنية على تركيب الكلام باللغة الصينية الفصحى فحسب، بل يمكنها أيضاً توليد صوت مليء بالمشاعر، مثل: الفرح والحزن والغضب وغيرها، مما يجعل الصوت أكثر حيوية ويعزز التعبيرية.
  • استنساخ الصوت
    يتمتع Fish Speech بوظيفة استنساخ الصوت، حيث يمكنه من خلال التدريب على عدد قليل من عينات الصوت تقليد الخصائص الصوتية لمتحدث معين بدقة، وتحقيق تركيب صوتي مخصص.
  • تركيب الصوت في الوقت الفعلي
    يدعم توليد الصوت في الوقت الفعلي بزمن استجابة منخفض، وهو مناسب جداً لسيناريوهات التطبيقات التي تتطلب ردوداً فورية، مثل خدمة العملاء عبر الإنترنت وروبوتات الدردشة وغيرها.
  • كفاءة وخفّة
    على الرغم من قوته الكبيرة، فإن متطلبات تشغيل Fish Speech ليست عالية. يكفي وحدة معالجة رسومات (GPU) بذاكرة 4GB لتشغيله بسلاسة، مما يقلل بشكل كبير من عتبة متطلبات الأجهزة.

حالات الاستخدام

تجعل وظائف Fish Speech القوية ومرونته مناسباً للعديد من المجالات، بما في ذلك المساعدون الأذكياء وروبوتات الدردشة وتقنيات إمكانية الوصول والتعليم وإنشاء المحتوى وتطوير الألعاب وخدمة العملاء وغيرها. سواء كان محادثة يومية أو تطبيقاً احترافياً، فإنه يوفر تجربة صوتية دقيقة وطبيعية.

المصدر المفتوح والمجتمع

Fish Speech مفتوح المصدر بالكامل، حيث يمكن للمستخدمين ليس فقط استخدام وتعديل كود المشروع بحرية، بل أيضاً إجراء تطوير ثانوي وفقاً لاحتياجاتهم الشخصية. كما يواصل فريق Fish Audio ومجتمع المصدر المفتوح جهودهما المستمرة لتحسين المشروع باستمرار وتقديم تجربة أفضل للمستخدمين حول العالم.

الخلاصة

باختصار، Fish Speech هو أداة تحويل النص إلى كلام مفتوحة المصدر عالية الكفاءة وقوية وسهلة الاستخدام، ولها آفاق تطبيقية واسعة. إذا كنت مهتماً بتقنية تركيب الصوت، فلا تتردد في زيارة GitHub ومتابعة مشروع Fish Speech وتجربته!

حول الأداء

اختبرته ببطاقة الرسوميات 4070ti Super الخاصة بي طوال فترة بعد الظهر، ويستغرق توليد ملف صوتي مدته 29 ثانية حوالي 130 ثانية، واستهلاك ذاكرة الرسوميات منخفض جداً، وأقدّر أن بطاقة رسوميات بذاكرة 6GB يمكنها التشغيل بسلاسة. خلال الاختبار، لم تتحرك مروحة بطاقة الرسوميات تقريباً إطلاقاً، وكان التشغيل مستقراً جداً.

مرفق عرض صوتي

فيما يلي عرض صوتي مرفق، لا أعرف إن كان بإمكانكم تخمين نموذج الصوت المرجعي المستخدم.

دورات ذات صلة

البريد الإلكتروني