IndexTTS — гэта найноўшая мадэль пераўтварэння тэксту ў маўленне (TTS), прадстаўленая B站. Яна можа выкарыстоўваць піньінь для выпраўлення вымаўлення кітайскіх іерогліфаў і кіраваць паўзамі ў любым месцы з дапамогай знакаў прыпынку. У кітайскамоўных сцэнарыях яна дэманструе выдатныя вынікі і абнавіла рэкорды галіны. IndexTTS дзякуючы такім перадавым тэхналогіям, як гібрыднае мадэляванне кітайскіх іерогліфаў і піньіня, дакладнае кіраванне паўзамі і крос-мадальная аптымізацыя, значна павысіла дакладнасць і натуральнасць генерацыі маўлення.

Сістэма IndexTTS навучана на дзясятках тысяч гадзін даных і дасягнула лідзіруючай у галіне прадукцыйнасці, пераўзыходзячы такія папулярныя сёння сістэмы TTS, як XTTS, CosyVoice2, Fish-Speech і F5-TTS. Некалькі модуляў сістэмы былі ўзмоцнены, з глыбокай дапрацоўкай у прадстаўленні характарыстык умоў дынаміка і аптымізацыі якасці аўдыя. Дзякуючы ўвядзенню гібрыднага мадэлявання IndexTTS можа хутка выпраўляць няправільна прачытаныя кітайскія іерогліфы, паляпшаючы карыстальніцкі вопыт.
У версіі V3, якой мы дзелімся сёння, абноўлена больш магутная мадэль IndexTTS-1.5, што значна павысіла стабільнасць мадэлі і прадукцыйнасць для англійскай мовы. Гэтая версія не толькі выдатна сябе праяўляе ў генерацыі кітайскага маўлення, але і пашырыла падтрымку іншых моў, што робіць сцэнарыі прымянення больш шырокімі.
Поспех IndexTTS заключаецца ў глыбокім разуменні асаблівасцей кітайскай мовы і інавацыйным прымяненні. Ён падыходзіць для сцэнарыяў, якія патрабуюць высокадакладнай і натуральнай генерацыі маўлення, такіх як адукацыя, забавы, навінавыя трансляцыі і г.д. Дакладнае кіраванне паўзамі і здольнасць апрацоўваць шматзначныя іерогліфы даюць яму значную перавагу ў галіне чытання па-кітайску і сінтэзу маўлення.
Інструкцыя па выкарыстанні IndexTTS прыведзена ніжэй. Рэкамендуецца выкарыстоўваць відэакарту N, ад 4G відэапамяці, падтрымліваюцца відэакарты 50-й серыі, на базе CUDA 12.8.
Загрузіце рэферэнснае аўдыя, каб дапамагчы мадэлі лепш генераваць маўленне.
Увядзіце ў поле ўводу тэкст, які трэба пераўтварыць у маўленне.
У залежнасці ад даўжыні тэксту выбірайце «Звычайны вывад» або «Пакетны вывад». Па выніках тэстаў «Пакетны вывад» поўнасцю выкарыстоўвае відэапамяць, хуткасць генерацыі павышаецца больш чым у 10 разоў, але стабільнасць крыху саступае «Звычайнаму вываду». Вы можаце самастойна наладжваць паводле патрэб.