Integracja Kyutai TTS

Uruchamiaj modele Kyutai lokalnie. Przewodnik obejmuje Pocket TTS (CPU) i TTS 1.6B (GPU) z serwerami zgodnymi z OpenAI.

Przegląd

Model	Parametry	Urządzenie	Najlepsze dla
Pocket TTS	100M	Tylko CPU	Laptopy, małe zasoby
TTS 1.6B	1.6B	GPU/MPS/CPU	Serwery, wysoka jakość

Oba używają CALM (Continuous Audio Language Models) i klonują z audio.

Pocket TTS (CPU)

Czas rzeczywisty na CPU, bez GPU.

Wymagania

Składnik	Minimum
Python	3.10 - 3.14
PyTorch	2.5+
RAM	4GB
Dysk	500MB

Szybki start

cd examples/kyutai-tts-server

# Create virtual environment
python3 -m venv venv
source venv/bin/activate

# Install dependencies
pip install -r requirements.txt

# Start server
python server.py

Serwer: http://localhost:8200.

Test

curl http://localhost:8200/v1/audio/speech \
  -H "Content-Type: application/json" \
  -d '{"model": "kyutai-tts", "input": "Hello, welcome to Libre WebUI!", "voice": "alba"}' \
  --output speech.wav

Głosy

Głos	Opis
Alba	Żeński, czysty/naturalny
Marius	Męski, ciepły
Takvert	Męski, autorytatywny
Jean	Męski, delikatny
Fantine	Żeński, delikatny
Cosette	Żeński, młody
Eponine	Żeński, ekspresyjny
Azelma	Żeński, jasny

Wydajność

• około 6x czasu rzeczywistego na MacBook Air M4
• około 200ms do pierwszego fragmentu
• 2 rdzenie CPU

---

TTS 1.6B (GPU)

Automatyczny wybór CUDA > MPS > CPU.

Wymagania

Składnik	Minimum	Zalecane
Python	3.10+	3.12
GPU VRAM	6GB	8GB+
RAM	8GB	16GB+
Dysk	4GB	8GB

Platformy

Platform	Backend	Uwagi
NVIDIA GPU	CUDA	Najlepsza, bfloat16
Apple Silicon	MPS	float16
CPU	PyTorch	Wolno, float32

Szybki start

cd examples/kyutai-tts-1.6b-server

# Create virtual environment
python3 -m venv venv
source venv/bin/activate

# Install PyTorch with CUDA (for NVIDIA GPUs)
pip install torch --index-url https://download.pytorch.org/whl/cu121

# Install dependencies
pip install -r requirements.txt

# Start server (auto-detects GPU)
python server.py

Serwer: http://localhost:8201.

Urządzenie kiezen

# Auto-detect (CUDA > MPS > CPU)
python server.py

# Force specific device
python server.py --device cuda
python server.py --device mps
python server.py --device cpu

Test

curl http://localhost:8201/v1/audio/speech \
  -H "Content-Type: application/json" \
  -d '{"model": "kyutai-tts-1.6b", "input": "Hello from the GPU!", "voice": "alba"}' \
  --output speech.wav

Głosy

Alba MacKenna (CC BY 4.0):

Głos	Styl
alba / alba-casual	Swobodny
alba-merchant	Kupiec
alba-announcer	Lektor

Expresso (CC BY-NC 4.0 - niekomercyjne):

Głos	Emocja
expresso-happy	Radosny
expresso-sad	Smutny
expresso-angry	Zły

VCTK (CC BY 4.0):

• vctk-p225, vctk-p226, vctk-p227, vctk-p228

---

Głosklonen

Pocket TTS

# From local file
curl http://localhost:8200/v1/audio/voice-clone \
  -F "input=Hello from a cloned voice" \
  -F "reference_audio=@my_voice.wav" \
  --output cloned.wav

# From HuggingFace URL
curl http://localhost:8200/v1/audio/voice-clone-url \
  -H "Content-Type: application/json" \
  -d '{
    "input": "Hello world!",
    "voice_url": "hf://kyutai/tts-voices/alba-mackenna/casual.wav"
  }' \
  --output speech.wav

TTS 1.6B

Użyj ścieżki Hugging Face jako voice:

curl http://localhost:8201/v1/audio/speech \
  -H "Content-Type: application/json" \
  -d '{
    "model": "kyutai-tts-1.6b",
    "input": "Custom voice synthesis",
    "voice": "hf://kyutai/tts-voices/vctk/p230.wav"
  }' \
  --output speech.wav

---

Dokumentacja API

Generowanie mowy

Endpoint: POST /v1/audio/speech

{
  "model": "kyutai-tts",
  "input": "Text to convert to speech",
  "voice": "alba",
  "response_format": "wav",
  "stream": false
}

Parameter	Type	Domyślnie	Opis
model	string	varies	kyutai-tts of kyutai-tts-1.6b
input	string	required	Tekst, maks. 10 000
voice	string	alba	Nazwa lub ścieżka Hugging Face
response_format	string	wav	Tylko wav
stream	boolean	false	Tylko Pocket
cfg_coef	float	2.0	Tylko 1.6B

Odpowiedź: audio/wav

Aliasy głosów OpenAI

OpenAI	Pocket	1.6B
alloy	alba	alba
echo	marius	vctk-p225
fable	cosette	expresso-happy
onyx	javert	vctk-p226
nova	fantine	alba-announcer
shimmer	eponine	alba-merchant

Głosylijst

GET /v1/voices

Stan

GET /health

---

Konfiguracja pluginu

Pocket TTS

Ustawienia > Plugins > Kyutai TTS, plik plugins/kyutai-tts.json

{
  "id": "kyutai-tts",
  "name": "Kyutai TTS",
  "type": "tts",
  "endpoint": "http://localhost:8200/v1/audio/speech",
  "capabilities": {
    "tts": {
      "config": {
        "voices": [
          "Alba",
          "Marius",
          "Javert",
          "Jean",
          "Fantine",
          "Cosette",
          "Eponine",
          "Azelma"
        ],
        "default_voice": "Alba",
        "supports_streaming": true,
        "no_auth_required": true
      }
    }
  }
}

TTS 1.6B

Ustawienia > Plugins > Kyutai TTS 1.6B, plik plugins/kyutai-tts-1.6b.json

{
  "id": "kyutai-tts-1.6b",
  "name": "Kyutai TTS 1.6B",
  "type": "tts",
  "endpoint": "http://localhost:8201/v1/audio/speech",
  "capabilities": {
    "tts": {
      "config": {
        "voices": [
          "Alba",
          "Alba-Casual",
          "Alba-Merchant",
          "Alba-Announcer",
          "Expresso-Happy",
          "Expresso-Sad",
          "Expresso-Angry",
          "VCTK-P225",
          "VCTK-P226"
        ],
        "default_voice": "Alba",
        "supports_streaming": true,
        "no_auth_required": true
      }
    }
  }
}

---

Dostęp sieciowy

# Start server on all interfaces
python server.py --host 0.0.0.0

# Access from another machine
curl http://192.168.1.100:8200/v1/audio/speech ...

{
  "endpoint": "http://192.168.1.100:8200/v1/audio/speech"
}

---

Rozwiązywanie problemów

Pobieranie modelu nie powiodło się

# Set token for gated models
export HF_TOKEN=hf_...

Pamięć CUDA

Zamknij inne aplikacje GPU, spróbuj cfg_coef=1.5 lub użyj Pocket.

Takkość audio

Przy robotycznym brzmieniu użyj innego głosu; długi tekst jest dzielony; model zoptymalizowano dla angielskiego/francuskiego.

MPS

RuntimeError: MPS backend error

python server.py --device cpu

---

Porównanie z Qwen3-TTS

Funkcja	Pocket	1.6B	Qwen3-TTS
Parametry	100M	1.6B	0.6B-1.7B
GPU	Nie	Opcjonalnie	Tak
Języki	Angielski	EN/FR	10 języków
Klonowanie	Tak	Tak	Tak
Głosontwerp	Nie	Nie	Tak
Port	8200	8201	8100

Wybierz Kyutai dla języka angielskiego i prostoty, a Qwen dla wielu języków i projektowania głosu.

---

Zasoby

• Kyutai TTS - oficjalna strona
• Pocket TTS GitHub - CPU
• Delayed Streams Modeling - 1.6B
• Głoscollectie
• Karta modelu