IndexTTS هو أحدث نموذج لتحويل النص إلى كلام (TTS) أطلقته B站، يمكنه استخدام Pinyin لتصحيح نطق الأحرف الصينية، والتحكم في التوقف عند أي موضع من خلال علامات الترقيم. في السياقات الصينية، أظهر أداءً متميزاً وحطم الأرقام القياسية في المجال. من خلال تقنيات متقدمة مثل النمذجة المختلطة بين الأحرف الصينية وPinyin، والتحكم الدقيق في التوقف، والتحسين متعدد الوسائط، حسّن IndexTTS بشكل ملحوظ دقة توليد الكلام وطبيعيته.

تم تدريب نظام IndexTTS على عشرات الآلاف من الساعات من البيانات، وحقق أداءً رائداً في المجال، متجاوزاً أنظمة TTS الشائعة حالياً مثل XTTS وCosyVoice2 وFish-Speech وF5-TTS وغيرها. تم تعزيز عدة وحدات في النظام، مع تحسينات عميقة في تمثيل خصائص حالة المتحدث وتحسين جودة الصوت. من خلال إدخال أسلوب النمذجة المختلطة، يمكن لـ IndexTTS تصحيح الأحرف الصينية المقروءة خطأً بسرعة، مما يحسن تجربة المستخدم.
إصدار V3 الذي نشاركه اليوم، حدّث نموذج IndexTTS-1.5 الأقوى، مما حسّن بشكل ملحوظ استقرار النموذج وأداء اللغة الإنجليزية. هذا الإصدار لا يتميز فقط في توليد الكلام الصيني، بل وسّع أيضاً دعم اللغات، مما جعل سيناريوهات التطبيق أكثر اتساعاً.
يكمن نجاح IndexTTS في الفهم العميق لخصائص اللغة الصينية والتطبيق المبتكر، وهو مناسب للسيناريوهات التي تتطلب توليد كلام عالي الدقة والطبيعية، مثل التعليم والترفيه وبث الأخبار وغيرها. قدرته على التحكم الدقيق في التوقف ومعالجة الأحرف متعددة النطق تمنحه ميزة واضحة في مجال القراءة الصينية وتركيب الكلام.
دليل استخدام IndexTTS كما يلي، يُنصح باستخدام بطاقة N، بذاكرة رسوميات من 4G فما فوق، يدعم سلسلة 50 من بطاقات الرسوميات، بناءً على CUDA 12.8.
ارفع الصوت المرجعي لمساعدة النموذج على توليد الكلام بشكل أفضل.
أدخل محتوى النص المراد تحويله إلى كلام في مربع إدخال النص.
اختر "الاستدلال العادي" أو "الاستدلال بالدفعات" وفقاً لطول النص. أظهرت الاختبارات أن "الاستدلال بالدفعات" يستفيد بشكل كامل من ذاكرة الرسوميات، ويزيد سرعة التوليد أكثر من 10 أضعاف، لكن استقراره أقل قليلاً من "الاستدلال العادي". يمكن للجميع الضبط حسب الحاجة.