IndexTTS ist das neueste von Bilibili vorgestellte Text-zu-Sprache-(TTS)-Modell. Es kann die Aussprache chinesischer Schriftzeichen mithilfe von Pinyin korrigieren und Pausen an beliebigen Positionen durch Satzzeichen steuern. Im chinesischen Szenario zeigt es herausragende Leistung und hat Branchenrekorde gebrochen. IndexTTS verbessert durch fortschrittliche Technologien wie chinesische Schriftzeichen-Pinyin-Hybridmodellierung, präzise Pausensteuerung und Cross-Modal-Optimierung die Genauigkeit und Natürlichkeit der Sprachgenerierung erheblich.

Das IndexTTS-System wurde mit Zehntausenden Stunden an Daten trainiert und erreicht branchenführende Leistung, die aktuelle populäre TTS-Systeme wie XTTS, CosyVoice2, Fish-Speech und F5-TTS übertrifft. Mehrere Module des Systems wurden verbessert, mit tiefgreifenden Verbesserungen bei der Darstellung von Sprecher-Konditionsmerkmalen und der Audioqualitätsoptimierung. Durch die Einführung hybrider Modellierung kann IndexTTS falsch gelesene chinesische Schriftzeichen schnell korrigieren und verbessert das Nutzungserlebnis.
Die heute geteilte V3-Version aktualisiert das leistungsstärkere IndexTTS-1.5-Modell und verbessert die Stabilität des Modells sowie die englische Sprachleistung erheblich. Diese Version zeigt nicht nur hervorragende Leistung bei der chinesischen Sprachgenerierung, sondern erweitert auch die Unterstützung für Sprachen, wodurch die Anwendungsszenarien vielfältiger werden.
Der Erfolg von IndexTTS liegt im tiefen Verständnis der Besonderheiten der chinesischen Sprache und innovativer Anwendung. Es eignet sich für Szenarien, die hochpräzise und natürliche Sprachgenerierung erfordern, wie Bildung, Unterhaltung, Nachrichtensprechen usw. Seine präzise Pausensteuerung und Fähigkeit zur Verarbeitung von Mehrfachlesungen verleihen ihm deutliche Vorteile im Bereich des chinesischen Vorlesens und der Sprachsynthese.
Die IndexTTS-Anleitung lautet wie folgt: Es wird empfohlen, eine N-Karte zu verwenden, ab 4 GB VRAM, unterstützt 50er-Grafikkarten, basierend auf CUDA 12.8.
Laden Sie Referenzaudio hoch, um dem Modell zu helfen, Sprache besser zu generieren.
Geben Sie im Texteingabefeld den Textinhalt ein, der in Sprache umgewandelt werden soll.
Wählen Sie je nach Textlänge „Normale Inferenz" oder „Batch-Inferenz". Im Test nutzt „Batch-Inferenz" den VRAM voll aus, die Generierungsgeschwindigkeit wird um mehr als das 10-Fache erhöht, aber die Stabilität ist etwas geringer als bei „Normale Inferenz". Jeder kann es nach Bedarf selbst anpassen.