B站 द्वारा निर्मित अत्यंत शक्तिशाली टेक्स्ट-टू-स्पीच और वॉइस क्लोनिंग ऑफ़लाइन इंटीग्रेटेड पैकेज IndexTTS 26

IndexTTS B站 द्वारा जारी नवीनतम टेक्स्ट-टू-स्पीच (TTS) मॉडल है, यह पिनयिन का उपयोग करके चीनी अक्षरों के उच्चारण को सुधार सकता है, और विराम चिह्नों के माध्यम से किसी भी स्थान पर ठहराव को नियंत्रित कर सकता है। चीनी परिदृश्यों में, इसने उत्कृष्ट प्रदर्शन दिखाया है, और उद्योग रिकॉर्ड तोड़ दिया है। IndexTTS चीनी अक्षर-पिनयिन हाइब्रिड मॉडलिंग, सटीक ठहराव नियंत्रण और क्रॉस-मोडल अनुकूलन जैसी उन्नत तकनीकों के माध्यम से, वाक् निर्माण की सटीकता और प्राकृतिकता को उल्लेखनीय रूप से बढ़ाता है।

शक्तिशाली तकनीक और प्रदर्शन

IndexTTS सिस्टम को दसियों हज़ार घंटों के डेटा पर प्रशिक्षित किया गया है, इसने उद्योग-अग्रणी प्रदर्शन प्राप्त किया है, वर्तमान लोकप्रिय TTS सिस्टम जैसे XTTS, CosyVoice2, Fish-Speech और F5-TTS आदि को पीछे छोड़ दिया है। सिस्टम के कई मॉड्यूल को बढ़ाया गया है, स्पीकर कंडीशन फ़ीचर प्रतिनिधित्व और ऑडियो गुणवत्ता अनुकूलन में गहन सुधार किया गया है। हाइब्रिड मॉडलिंग की विधि शुरू करके, IndexTTS गलत पढ़े गए चीनी अक्षरों को तेज़ी से सुधार सकता है, जिससे उपयोगकर्ता का अनुभव बेहतर होता है।

नवीनतम संस्करण द्वारा लाए गए सुधार

आज साझा किया गया V3 संस्करण, अधिक शक्तिशाली IndexTTS-1.5 मॉडल को अपडेट करता है, मॉडल की स्थिरता और अंग्रेज़ी भाषा प्रदर्शन को उल्लेखनीय रूप से बढ़ाता है। यह संस्करण न केवल चीनी वाक् निर्माण में उत्कृष्ट प्रदर्शन करता है, बल्कि भाषा समर्थन का भी विस्तार करता है, जिससे अनुप्रयोग परिदृश्य और भी व्यापक हो जाते हैं।

उपयोग परिदृश्य

IndexTTS की सफलता चीनी भाषा की विशेषताओं की गहन समझ और नवीन अनुप्रयोग में निहित है, यह उच्च सटीकता और प्राकृतिकता वाले वाक् निर्माण की आवश्यकता वाले परिदृश्यों के लिए उपयुक्त है, जैसे शिक्षा, मनोरंजन, समाचार प्रसारण आदि। इसका सटीक ठहराव नियंत्रण और बहु-उच्चारण अक्षर प्रसंस्करण क्षमता इसे चीनी पठन और वाक् संश्लेषण के क्षेत्र में उल्लेखनीय लाभ देती है।

उपयोग ट्यूटोरियल

IndexTTS उपयोग ट्यूटोरियल निम्नलिखित है, N कार्ड का उपयोग करने की सलाह दी जाती है, VRAM 4G से शुरू, 50 सीरीज़ ग्राफ़िक्स कार्ड का समर्थन करता है, CUDA 12.8 पर आधारित।

चरण 1: संदर्भ ऑडियो अपलोड करें

मॉडल को वाक् बेहतर ढंग से उत्पन्न करने में मदद करने के लिए संदर्भ ऑडियो अपलोड करें।

चरण 2: टेक्स्ट इनपुट करें

टेक्स्ट इनपुट बॉक्स में वह टेक्स्ट सामग्री दर्ज करें जिसे वाक् में परिवर्तित करना है।

चरण 3: वाक् उत्पन्न करें

टेक्स्ट की लंबाई के अनुसार "सामान्य इन्फ़रेंस" और "बैच इन्फ़रेंस" चुनें। व्यावहारिक परीक्षण में "बैच इन्फ़रेंस" VRAM का पूरा उपयोग करता है, निर्माण गति 10 गुना से अधिक बढ़ जाती है, लेकिन स्थिरता "सामान्य इन्फ़रेंस" से थोड़ी कम है। आप अपनी आवश्यकता के अनुसार स्वयं समायोजित कर सकते हैं।