Fish Speech - гэта новая тэхналогія пераўтварэння тэксту ў гаворку (TTS), распрацаваная камандай Fish Audio, якая выкарыстоўвае самыя перадавыя метады машыннага навучання і глыбокага навучання для пераўтварэння тэксту ў натуральную і плыўную гаворку. Гэты праект распаўсюджваецца пад ліцэнзіяй CC-BY-NC-SA-4.0, што азначае, што карыстальнікі могуць бясплатна выкарыстоўваць, змяняць і дзяліцца яго кодам і мадэлямі пры ўмове выканання адпаведных палажэнняў.
Праект Fish Speech выкарыстоўвае мноства перадавых тэхналогій штучнага інтэлекту, уключаючы архітэктуру Transformer, VQ-GAN, Llama і VITS. Спалучэнне гэтых тэхналогій дазваляе мадэлі лепш разумець і генераваць гаворку з доўгіх паслядоўнасцей тэксту, павышаючы дакладнасць і эфектыўнасць генерацыі гаворкі. Менавіта механізм самаўвагі архітэктуры Transformer робіць сінтэз гаворкі больш дакладным і значна павышае хуткасць генерацыі. Акрамя таго, Fish Speech спалучае шматзадачнае навучанне з эфектыўнымі тэхналогіямі нейрасеткавых вакадараў, што дазваляе яму лёгка спраўляцца са складанымі задачамі сінтэзу гаворкі, забяспечваючы плыўны і натуральны гукавы эфект.

Магутныя функцыі і гнуткасць Fish Speech робяць яго прыдатным для многіх галін, уключаючы разумных памочнікаў, чат-ботаў, тэхналогіі даступнасці, адукацыю, стварэнне кантэнту, распрацоўку гульняў і абслугоўванне кліентаў. Няхай гэта будзе штодзённая размова ці прафесійнае прымяненне, ён здольны забяспечыць дакладны і натуральны гукавы вопыт.

Fish Speech цалкам адкрыты, карыстальнікі могуць не толькі свабодна выкарыстоўваць і змяняць код праекта, але і займацца дапрацоўкай пад асабістыя патрэбы. Каманда Fish Audio і супольнасць адкрытага зыходнага коду таксама пастаянна працуюць над удасканаленнем праекта, каб забяспечыць лепшы вопыт для карыстальнікаў па ўсім свеце.
Увогуле, Fish Speech - гэта эфектыўны, магутны і просты ў выкарыстанні інструмент пераўтварэння тэксту ў гаворку з адкрытым зыходным кодам, які мае шырокія перспектывы прымянення. Калі вы цікавіцеся тэхналогіяй сінтэзу гаворкі, не саромейцеся наведаць GitHub, падпісацца і паспрабаваць праект Fish Speech!
Я тэсціраваў са сваёй відэакартай 4070ti Super цэлы дзень, генерацыя 29-секунднага гукавога файла займае каля 130 секунд, спажыванне відэапамяці вельмі нізкае, мяркую, што відэакарта з 6GB відэапамяці зможа працаваць бесперашкодна. Падчас тэставання вентылятар відэакарты амаль не рэагаваў, праца вельмі стабільная.
Ніжэй прымацавана аўдыядэманстрацыя, цікава, ці зможаце вы здагадацца, на якую мадэль голасу яна спасылаецца.