MMAudio হলো মাল্টিমোডাল যৌথ প্রশিক্ষণের উপর ভিত্তি করে তৈরি একটি প্রযুক্তি, যা ভিডিও থেকে অডিও এবং টেক্সট থেকে অডিও নির্ভুলভাবে সংশ্লেষণ করতে সমর্থন করে, ভিডিওর জন্য সাউন্ড এফেক্ট ও ডাবিং তৈরি করে, চলচ্চিত্র নির্মাণ, গেম ডেভেলপমেন্ট ইত্যাদি ক্ষেত্রে ব্যাপকভাবে ব্যবহৃত হতে পারে এবং অত্যন্ত সামঞ্জস্যপূর্ণ দৃশ্য-শ্রবণ অভিজ্ঞতা প্রদান করে।
ফলাফল:
ভিডিও থেকে অডিও সংশ্লেষণ: ভিডিওর বিষয়বস্তুর সাথে অত্যন্ত মানানসই অডিও স্বয়ংক্রিয়ভাবে তৈরি করে।
টেক্সট থেকে অডিও সংশ্লেষণ: টেক্সটের বিবরণ অনুযায়ী সংশ্লিষ্ট অডিও তৈরি করে, শুধু টেক্সটভিত্তিক ক্ষেত্রে উপযুক্ত।
মাল্টিমোডাল যৌথ প্রশিক্ষণ: দৃশ্য-শ্রবণ, অডিও ও টেক্সট ডেটাসেটে প্রশিক্ষণ দিয়ে বিভিন্ন মোডালের ডেটা প্রক্রিয়াকরণের সক্ষমতা বাড়ায়।
সিঙ্ক মডিউল: অডিও এবং ভিডিও ফ্রেম বা টেক্সট বিবরণের নির্ভুল সমন্বয় নিশ্চিত করে।
চলচ্চিত্র ও টিভি নির্মাণ: স্বয়ংক্রিয়ভাবে সাউন্ড এফেক্ট বা ডাবিং তৈরি করে, নির্মাণের দক্ষতা বাড়ায়।
গেম ডেভেলপমেন্ট: গেমের পরিস্থিতি অনুযায়ী গতিশীলভাবে সাউন্ড এফেক্ট ও ব্যাকগ্রাউন্ড মিউজিক তৈরি করে।
কনটেন্ট ক্রিয়েশন: শর্ট ভিডিও বা মাল্টিমিডিয়া প্রকল্পে দ্রুত উপযুক্ত অডিও যোগ করে।
শিক্ষা ও সহায়ক টুল: শিক্ষামূলক ভিডিও বা টেক্সট কনটেন্ট অনুযায়ী ব্যাখ্যা বা প্রম্পট সাউন্ড তৈরি করে।
ভার্চুয়াল রিয়েলিটি ও অগমেন্টেড রিয়েলিটি: দৃশ্যের সাথে অত্যন্ত সামঞ্জস্যপূর্ণ রিয়েল-টাইম সাউন্ড এফেক্ট প্রদান করে।
কম্পিউটারকে নিচের কনফিগারেশন পূরণ করতে হবে:
অপারেটিং সিস্টেম: Windows 10/11 64 বিট
গ্রাফিক্স কার্ড: কমপক্ষে 12G ভিডিও মেমরি (VRAM) সহ NVIDIA গ্রাফিক্স কার্ড
CUDA >= 12.4
পুরো প্যাকেজ আনজিপ করার পর প্রায় 23.6G হয়, পর্যাপ্ত হার্ড ডিস্ক স্পেস রাখতে হবে
কম্পিউটারে CUDA ইনস্টল করা না থাকলে ইনস্টলেশন টিউটোরিয়াল দেখতে পারেন:
গ্রাফিক্স কার্ডের ব্র্যান্ড, মডেল ও VRAM কীভাবে দেখবেন:
টাস্ক ম্যানেজার খুলুন
"পারফরম্যান্স" এ ক্লিক করুন
"GPU" এ ক্লিক করুন
উপরের ডান কোণে গ্রাফিক্স কার্ডের মডেল দেখা যায়, নিচে VRAM এর আকার দেখা যায়

① ইন্টিগ্রেটেড প্যাকেজ ডাউনলোড করার পর আনজিপ করুন;
দ্রষ্টব্য: ফোল্ডার পাথ এবং ফাইলের নামের (অডিও, ছবি, ভিডিও ইত্যাদি ফাইলের নামসহ) মধ্যে চীনা অক্ষর থাকা উচিত নয়, নাহলে কিছু সফটওয়্যার তা শনাক্ত করতে না পেরে ত্রুটি দেখাতে পারে

2) "এক ক্লিকে স্টার্ট.exe" ডাবল ক্লিক করুন, কিছুক্ষণ অপেক্ষা করলে ব্রাউজারে স্বয়ংক্রিয়ভাবে অপারেশন ইন্টারফেস খুলে যাবে

③ ভিডিও থেকে অডিও এবং টেক্সট থেকে অডিও তৈরি সমর্থিত
1. ভিডিও থেকে অডিও তৈরি
"ভিডিও ডাবিং" নির্বাচন করুন, ভিডিও আপলোড করুন, প্রম্পট লিখুন (যেমন waves, সমুদ্রের ঢেউ), সময়কাল সেট করুন (পুরো ভিডিও ডাবিং করতে হলে ভিডিওর দৈর্ঘ্যের সমান বা তার চেয়ে বেশি সেট করতে হবে), শেষে সাবমিট ক্লিক করুন, ফলাফল ডান দিকে দেখাবে

চালিয়ে দেখতে পারবেন, উপরের ডান কোণের ডাউনলোড বোতামে ক্লিক করে নির্দিষ্ট ফোল্ডারে সংরক্ষণ করা যায়

তৈরি হওয়া ফলাফল
ভিডিও প্লেয়ার
2. টেক্সট থেকে অডিও তৈরি
"টেক্সট থেকে সাউন্ড এফেক্ট" নির্বাচন করুন, প্রম্পট লিখুন (যেমন waves, সমুদ্রের ঢেউ), সময়কাল সেট করুন, সাবমিট ক্লিক করুন, ফলাফল ডান দিকে দেখাবে

চালিয়ে শুনতে পারবেন, উপরের ডান কোণের ডাউনলোড বোতামে ক্লিক করে নির্দিষ্ট ফোল্ডারে সংরক্ষণ করা যায়

সাউন্ড এফেক্ট
ওপেন সোর্স ঠিকানা:https://github.com/hkchengrex/MMAudio