Fish Speech হলো Fish Audio টিমের তৈরি একটি সম্পূর্ণ নতুন টেক্সট-টু-স্পিচ (TTS) প্রযুক্তি, যার লক্ষ্য সর্বাধুনিক মেশিন লার্নিং ও ডিপ লার্নিং প্রযুক্তি ব্যবহার করে লেখাকে স্বাভাবিক ও সাবলীল ভয়েস আউটপুটে রূপান্তর করা. এই প্রকল্পটি CC-BY-NC-SA-4.0 লাইসেন্সের অধীনে প্রকাশিত, অর্থাৎ ব্যবহারকারীরা সংশ্লিষ্ট শর্ত মেনে বিনামূল্যে এর কোড ও মডেল ব্যবহার, পরিবর্তন ও শেয়ার করতে পারেন.
Fish Speech প্রকল্পে Transformer আর্কিটেকচার, VQ-GAN, Llama ও VITS ইত্যাদি অনেক অগ্রণী AI প্রযুক্তি ব্যবহার করা হয়েছে. এই প্রযুক্তিগুলোর সমন্বয়ে মডেল দীর্ঘ টেক্সট সিকোয়েন্সের ভয়েস আরও ভালোভাবে বুঝতে ও তৈরি করতে পারে, যা ভয়েস জেনারেশনের নির্ভুলতা ও দক্ষতা বাড়ায়. Transformer আর্কিটেকচারের সেলফ-অ্যাটেনশন মেকানিজম ভয়েস সিন্থেসিসের প্রকাশ আরও সূক্ষ্ম করে এবং জেনারেশনের গতি ব্যাপকভাবে বাড়ায়. এছাড়া Fish Speech মাল্টি-টাস্ক লার্নিং ও দক্ষ নিউরাল নেটওয়ার্ক ভোকোডার প্রযুক্তি একত্রিত করে, যার ফলে জটিল ভয়েস সিন্থেসিস কাজ সহজে সামলাতে পারে এবং সাবলীল ও স্বাভাবিক ভয়েস ইফেক্ট দেয়.

Fish Speech-এর শক্তিশালী ফিচার ও নমনীয়তা এটিকে অনেক ক্ষেত্রে উপযোগী করে, যার মধ্যে স্মার্ট অ্যাসিস্ট্যান্ট, চ্যাটবট, অ্যাকসেসিবিলিটি প্রযুক্তি, শিক্ষা, কনটেন্ট ক্রিয়েশন, গেম ডেভেলপমেন্ট ও কাস্টমার সার্ভিস ইত্যাদি আছে. প্রতিদিনের কথাবার্তা হোক বা পেশাদার অ্যাপ্লিকেশন, এটি নির্ভুল ও স্বাভাবিক ভয়েস অভিজ্ঞতা দিতে পারে.

Fish Speech সম্পূর্ণ ওপেন সোর্স, ব্যবহারকারীরা শুধু স্বাধীনভাবে প্রকল্পের কোড ব্যবহার ও পরিবর্তনই করতে পারেন না, বরং নিজের চাহিদা অনুযায়ী দ্বিতীয়বার ডেভেলপও করতে পারেন. Fish Audio টিম ও ওপেন সোর্স কমিউনিটি নিরন্তর পরিশ্রম করে প্রকল্প আরও উন্নত করছে, বিশ্বজুড়ে ব্যবহারকারীদের আরও ভালো অভিজ্ঞতা দিতে.
সংক্ষেপে, Fish Speech একটি দক্ষ, শক্তিশালী ও ব্যবহারে সহজ ওপেন সোর্স টেক্সট-টু-স্পিচ টুল, যার প্রয়োগের সম্ভাবনা ব্যাপক. যদি ভয়েস সিন্থেসিস প্রযুক্তিতে আগ্রহ থাকে, তাহলে GitHub-এ গিয়ে Fish Speech প্রকল্প দেখে ও ব্যবহার করে দেখতে পারেন!
আমি আমার 4070ti Super গ্রাফিক্স কার্ড দিয়ে এক বিকেল ধরে টেস্ট করেছি, 29 সেকেন্ডের একটি ভয়েস ফাইল তৈরি করতে প্রায় 130 সেকেন্ড লাগে, ভিডিও মেমরি ব্যবহার খুবই কম, মনে হয় 6GB ভিডিও মেমরির কার্ড দিয়েই সাবলীলভাবে চলবে. টেস্টের সময় গ্রাফিক্স কার্ডের ফ্যান প্রায় কোনো সাড়া দেয়নি, চালানো খুবই স্থিতিশীল ছিল.
নিচে অডিও ডেমো দেওয়া হলো, জানি না সবাই অনুমান করতে পারেন কি না কোন ভয়েস মডেলকে রেফারেন্স করা হয়েছে.