IndexTTS হলো B站-এর সর্বশেষ টেক্সট টু স্পিচ (TTS) মডেল, এটি পিনয়িন ব্যবহার করে চীনা অক্ষরের উচ্চারণ সংশোধন করতে পারে, এবং বিরামচিহ্নের মাধ্যমে যেকোনো স্থানে বিরতি নিয়ন্ত্রণ করতে পারে। চীনা প্রেক্ষাপটে এটি অসাধারণ পারফরম্যান্স দেখিয়েছে এবং শিল্পের রেকর্ড ভেঙেছে। IndexTTS চীনা অক্ষর-পিনয়িন হাইব্রিড মডেলিং, সুনির্দিষ্ট বিরতি নিয়ন্ত্রণ ও ক্রস-মোডাল অপটিমাইজেশন ইত্যাদি উন্নত প্রযুক্তির মাধ্যমে উল্লেখযোগ্যভাবে ভয়েস জেনারেশনের নির্ভুলতা ও স্বাভাবিকতা বাড়িয়েছে।

IndexTTS সিস্টেম কয়েক হাজার ঘণ্টার ডেটা দিয়ে প্রশিক্ষিত, শিল্পে শীর্ষস্থানীয় পারফরম্যান্স অর্জন করেছে, বর্তমানে জনপ্রিয় TTS সিস্টেম যেমন XTTS, CosyVoice2, Fish-Speech ও F5-TTS ইত্যাদিকে ছাড়িয়ে গেছে। সিস্টেমের একাধিক মডিউল উন্নত করা হয়েছে, স্পিকার কন্ডিশন ফিচার রিপ্রেজেন্টেশন ও অডিও কোয়ালিটি অপটিমাইজেশনে গভীর উন্নতি করা হয়েছে। হাইব্রিড মডেলিং পদ্ধতি প্রবর্তনের মাধ্যমে IndexTTS দ্রুত ভুল পড়া চীনা অক্ষর সংশোধন করতে পারে, ব্যবহারকারীর অভিজ্ঞতা উন্নত করেছে।
আজ শেয়ার করা V3 ভার্সনে আপডেট করা হয়েছে আরও শক্তিশালী IndexTTS-1.5 মডেল, উল্লেখযোগ্যভাবে মডেলের স্থিতিশীলতা ও ইংরেজি ভাষার পারফরম্যান্স বাড়িয়েছে। এই ভার্সন শুধু চীনা ভয়েস জেনারেশনে দুর্দান্ত পারফরম্যান্সই দেখায়নি, বরং ভাষার সাপোর্টও বাড়িয়েছে, প্রয়োগের ক্ষেত্র আরও বিস্তৃত করেছে।
IndexTTS-এর সাফল্য চীনা ভাষার বৈশিষ্ট্যের গভীর উপলব্ধি ও উদ্ভাবনী প্রয়োগে নিহিত, উচ্চ নির্ভুলতা ও স্বাভাবিকতা প্রয়োজন এমন ভয়েস জেনারেশন ক্ষেত্রে উপযুক্ত, যেমন শিক্ষা, বিনোদন, সংবাদ পাঠ ইত্যাদি। এর সুনির্দিষ্ট বিরতি নিয়ন্ত্রণ ও বহু-উচ্চারণ অক্ষর প্রক্রিয়াকরণ ক্ষমতা চীনা পাঠ ও ভয়েস সিন্থেসিস ক্ষেত্রে উল্লেখযোগ্য সুবিধা দেয়।
IndexTTS ব্যবহারের টিউটোরিয়াল নিচে দেওয়া হলো, N কার্ড ব্যবহার করার পরামর্শ দেওয়া হচ্ছে, ভিডিও মেমোরি 4G থেকে শুরু, 50 সিরিজের গ্রাফিক্স কার্ড সমর্থিত, CUDA 12.8-এর উপর ভিত্তি করে।
মডেলকে আরও ভালোভাবে ভয়েস তৈরি করতে সহায়তা করার জন্য রেফারেন্স অডিও আপলোড করুন।
টেক্সট ইনপুট বক্সে ভয়েসে রূপান্তরিত করার জন্য প্রয়োজনীয় টেক্সট বিষয়বস্তু লিখুন।
টেক্সটের দৈর্ঘ্য অনুযায়ী "সাধারণ ইনফারেন্স" এবং "ব্যাচ ইনফারেন্স" নির্বাচন করুন। পরীক্ষায় দেখা গেছে "ব্যাচ ইনফারেন্স" ভিডিও মেমোরি সম্পূর্ণভাবে ব্যবহার করে, তৈরির গতি 10 গুণেরও বেশি বৃদ্ধি পায়, তবে স্থিতিশীলতা "সাধারণ ইনফারেন্স"-এর চেয়ে সামান্য কম। প্রয়োজন অনুযায়ী নিজেরাই সমন্বয় করতে পারেন।