Интеграция Kyutai TTS

Запускайте модели Kyutai локально. Руководство охватывает Pocket TTS (CPU) и TTS 1.6B (GPU) с серверами, совместимыми с OpenAI.

Обзор

Модель	Параметры	Устройство	Лучше всего для
Pocket TTS	100M	Только CPU	Ноутбуки, малые ресурсы
TTS 1.6B	1.6B	GPU/MPS/CPU	Серверы, высокое качество

Обе модели используют CALM (Continuous Audio Language Models) и клонируют голос из аудио.

Pocket TTS (CPU)

Работает в реальном времени на CPU без GPU.

Требования

Компонент	Минимум
Python	3.10 - 3.14
PyTorch	2.5+
RAM	4GB
Диск	500MB

Быстрый старт

cd examples/kyutai-tts-server

# Create virtual environment
python3 -m venv venv
source venv/bin/activate

# Install dependencies
pip install -r requirements.txt

# Start server
python server.py

Сервер: http://localhost:8200.

Test

curl http://localhost:8200/v1/audio/speech \
  -H "Content-Type: application/json" \
  -d '{"model": "kyutai-tts", "input": "Hello, welcome to Libre WebUI!", "voice": "alba"}' \
  --output speech.wav

Голоса

Голос	Описание
Alba	Женский, чистый и естественный
Marius	Мужской, тёплый
Javert	Мужской, авторитетный
Jean	Мужской, мягкий
Fantine	Женский, мягкий
Cosette	Женский, молодой
Eponine	Женский, выразительный
Azelma	Женский, светлый

Производительность

• около 6x реального времени на MacBook Air M4
• около 200ms до первого фрагмента
• 2 ядра CPU

---

TTS 1.6B (GPU)

Автоматический выбор CUDA > MPS > CPU.

Требования

Компонент	Минимум	Рекомендуется
Python	3.10+	3.12
GPU VRAM	6GB	8GB+
RAM	8GB	16GB+
Диск	4GB	8GB

Платформы

Платформа	Backend	Примечания
NVIDIA GPU	CUDA	Лучшая производительность, bfloat16
Apple Silicon	MPS	float16
CPU	PyTorch	Медленно, float32

Быстрый старт

cd examples/kyutai-tts-1.6b-server

# Create virtual environment
python3 -m venv venv
source venv/bin/activate

# Install PyTorch with CUDA (for NVIDIA GPUs)
pip install torch --index-url https://download.pytorch.org/whl/cu121

# Install dependencies
pip install -r requirements.txt

# Start server (auto-detects GPU)
python server.py

Сервер: http://localhost:8201.

Выбор устройства

# Auto-detect (CUDA > MPS > CPU)
python server.py

# Force specific device
python server.py --device cuda
python server.py --device mps
python server.py --device cpu

Test

curl http://localhost:8201/v1/audio/speech \
  -H "Content-Type: application/json" \
  -d '{"model": "kyutai-tts-1.6b", "input": "Hello from the GPU!", "voice": "alba"}' \
  --output speech.wav

Голоса

Alba MacKenna (CC BY 4.0):

Голос	Стиль
alba / alba-casual	Свободная речь
alba-merchant	Торговец
alba-announcer	Диктор

Expresso (CC BY-NC 4.0 — некоммерческая):

Голос	Эмоция
expresso-happy	Радостный
expresso-sad	Грустный
expresso-angry	Злой

VCTK (CC BY 4.0):

• vctk-p225, vctk-p226, vctk-p227, vctk-p228

---

Клонирование голоса

Pocket TTS

# From local file
curl http://localhost:8200/v1/audio/voice-clone \
  -F "input=Hello from a cloned voice" \
  -F "reference_audio=@my_voice.wav" \
  --output cloned.wav

# From HuggingFace URL
curl http://localhost:8200/v1/audio/voice-clone-url \
  -H "Content-Type: application/json" \
  -d '{
    "input": "Hello world!",
    "voice_url": "hf://kyutai/tts-voices/alba-mackenna/casual.wav"
  }' \
  --output speech.wav

TTS 1.6B

Передайте путь Hugging Face как voice:

curl http://localhost:8201/v1/audio/speech \
  -H "Content-Type: application/json" \
  -d '{
    "model": "kyutai-tts-1.6b",
    "input": "Custom voice synthesis",
    "voice": "hf://kyutai/tts-voices/vctk/p230.wav"
  }' \
  --output speech.wav

---

Справочник API

Генерация речи

Endpoint: POST /v1/audio/speech

{
  "model": "kyutai-tts",
  "input": "Text to convert to speech",
  "voice": "alba",
  "response_format": "wav",
  "stream": false
}

Параметр	Тип	По умолчанию	Описание
model	string	varies	kyutai-tts или kyutai-tts-1.6b
input	string	required	Текст, максимум 10 000
voice	string	alba	Имя или путь Hugging Face
response_format	string	wav	Только wav
stream	boolean	false	Только Pocket
cfg_coef	float	2.0	Только 1.6B

Ответ: audio/wav

Псевдонимы голосов OpenAI

OpenAI	Pocket	1.6B
alloy	alba	alba
echo	marius	vctk-p225
fable	cosette	expresso-happy
onyx	javert	vctk-p226
nova	fantine	alba-announcer
shimmer	eponine	alba-merchant

Список голосов

GET /v1/voices

Проверка состояния

GET /health

---

Настройка плагина

Pocket TTS

Настройки > Плагины > Kyutai TTS, файл plugins/kyutai-tts.json

{
  "id": "kyutai-tts",
  "name": "Kyutai TTS",
  "type": "tts",
  "endpoint": "http://localhost:8200/v1/audio/speech",
  "capabilities": {
    "tts": {
      "config": {
        "voices": [
          "Alba",
          "Marius",
          "Javert",
          "Jean",
          "Fantine",
          "Cosette",
          "Eponine",
          "Azelma"
        ],
        "default_voice": "Alba",
        "supports_streaming": true,
        "no_auth_required": true
      }
    }
  }
}

TTS 1.6B

Настройки > Плагины > Kyutai TTS 1.6B, файл plugins/kyutai-tts-1.6b.json

{
  "id": "kyutai-tts-1.6b",
  "name": "Kyutai TTS 1.6B",
  "type": "tts",
  "endpoint": "http://localhost:8201/v1/audio/speech",
  "capabilities": {
    "tts": {
      "config": {
        "voices": [
          "Alba",
          "Alba-Casual",
          "Alba-Merchant",
          "Alba-Announcer",
          "Expresso-Happy",
          "Expresso-Sad",
          "Expresso-Angry",
          "VCTK-P225",
          "VCTK-P226"
        ],
        "default_voice": "Alba",
        "supports_streaming": true,
        "no_auth_required": true
      }
    }
  }
}

---

Доступ по сети

# Start server on all interfaces
python server.py --host 0.0.0.0

# Access from another machine
curl http://192.168.1.100:8200/v1/audio/speech ...

{
  "endpoint": "http://192.168.1.100:8200/v1/audio/speech"
}

---

Устранение неполадок

Не удалось скачать модель

# Set token for gated models
export HF_TOKEN=hf_...

Память CUDA

Закройте другие приложения GPU, попробуйте cfg_coef=1.5 или используйте Pocket.

Качество аудио

При роботизированном звучании выберите другой голос; длинный текст делится; модель оптимизирована для английского и французского.

MPS

RuntimeError: MPS backend error

python server.py --device cpu

---

Сравнение с Qwen3-TTS

Возможность	Pocket	1.6B	Qwen3-TTS
Параметры	100M	1.6B	0.6B-1.7B
GPU	Нет	Необязательно	Да
Языки	Английский	EN/FR	10 языков
Клонирование	Да	Да	Да
Проектирование голоса	Нет	Нет	Да
Port	8200	8201	8100

Выберите Kyutai для английского и простоты, а Qwen — для многих языков и проектирования голоса.

---

Ресурсы

• Kyutai TTS — официальная страница
• Pocket TTS GitHub — CPU
• Delayed Streams Modeling — 1.6B
• Коллекция голосов
• Карточка модели