Integração com Kyutai TTS

Execute os modelos TTS da Kyutai localmente. Este guia cobre Pocket TTS (CPU) e TTS 1.6B (GPU) com servidores compatíveis com OpenAI incluídos no Libre WebUI.

Visão geral

Modelo	Parâmetros	Dispositivo	Melhor para
Pocket TTS	100M	Somente CPU	Notebooks e ambientes modestos
TTS 1.6B	1.6B	GPU/MPS/CPU	Servidores e síntese de alta qualidade

Ambos usam CALM (Continuous Audio Language Models) e clonam voz a partir de amostras.

Pocket TTS (CPU)

TTS leve em tempo real na CPU, sem GPU.

Requisitos

Componente	Mínimo
Python	3.10 - 3.14
PyTorch	2.5+
RAM	4GB
Disco	500MB

Início rápido

cd examples/kyutai-tts-server

# Create virtual environment
python3 -m venv venv
source venv/bin/activate

# Install dependencies
pip install -r requirements.txt

# Start server
python server.py

O servidor roda em http://localhost:8200.

Testar

curl http://localhost:8200/v1/audio/speech \
  -H "Content-Type: application/json" \
  -d '{"model": "kyutai-tts", "input": "Hello, welcome to Libre WebUI!", "voice": "alba"}' \
  --output speech.wav

Vozes

Voz	Descrição
Alba	Feminina, clara e natural
Marius	Masculina, tom acolhedor
Javert	Masculina, imponente
Jean	Masculina, suave
Fantine	Feminina, suave
Cosette	Feminina, jovem
Eponine	Feminina, expressiva
Azelma	Feminina, brilhante

Desempenho

Aproximadamente 6x tempo real no MacBook Air M4
Cerca de 200ms para o primeiro segmento
Somente 2 núcleos de CPU

TTS 1.6B (GPU)

Alta qualidade com aceleração e seleção automática: CUDA > MPS > CPU.

Requisitos

Componente	Mínimo	Recomendado
Python	3.10+	3.12
GPU VRAM	6GB	8GB+
RAM	8GB	16GB+
Disco	4GB	8GB

Plataformas

Plataforma	Backend	Observações
NVIDIA GPU	CUDA	Melhor desempenho, bfloat16
Apple Silicon	MPS	Usa float16
CPU	PyTorch	Mais lento, float32

Início rápido

cd examples/kyutai-tts-1.6b-server

# Create virtual environment
python3 -m venv venv
source venv/bin/activate

# Install PyTorch with CUDA (for NVIDIA GPUs)
pip install torch --index-url https://download.pytorch.org/whl/cu121

# Install dependencies
pip install -r requirements.txt

# Start server (auto-detects GPU)
python server.py

O servidor roda em http://localhost:8201.

Seleção de dispositivo

# Auto-detect (CUDA > MPS > CPU)
python server.py

# Force specific device
python server.py --device cuda
python server.py --device mps
python server.py --device cpu

Testar

curl http://localhost:8201/v1/audio/speech \
  -H "Content-Type: application/json" \
  -d '{"model": "kyutai-tts-1.6b", "input": "Hello from the GPU!", "voice": "alba"}' \
  --output speech.wav

Vozes

Alba MacKenna (CC BY 4.0):

Voz	Estilo
`alba` / `alba-casual`	Conversa casual
`alba-merchant`	Personagem comerciante
`alba-announcer`	Locução

Expresso (CC BY-NC 4.0 - não comercial):

Voz	Emoção
`expresso-happy`	Feliz
`expresso-sad`	Triste
`expresso-angry`	Irritada

VCTK (CC BY 4.0):

vctk-p225, vctk-p226, vctk-p227, vctk-p228

Clonagem de voz

Ambos os servidores clonam a partir de arquivos.

Pocket TTS

# From local file
curl http://localhost:8200/v1/audio/voice-clone \
  -F "input=Hello from a cloned voice" \
  -F "reference_audio=@my_voice.wav" \
  --output cloned.wav

# From HuggingFace URL
curl http://localhost:8200/v1/audio/voice-clone-url \
  -H "Content-Type: application/json" \
  -d '{
    "input": "Hello world!",
    "voice_url": "hf://kyutai/tts-voices/alba-mackenna/casual.wav"
  }' \
  --output speech.wav

TTS 1.6B

Passe qualquer caminho de voz do Hugging Face no parâmetro voice:

curl http://localhost:8201/v1/audio/speech \
  -H "Content-Type: application/json" \
  -d '{
    "model": "kyutai-tts-1.6b",
    "input": "Custom voice synthesis",
    "voice": "hf://kyutai/tts-voices/vctk/p230.wav"
  }' \
  --output speech.wav

Referência da API

Geração de fala

Endpoint: POST /v1/audio/speech

{
  "model": "kyutai-tts",
  "input": "Text to convert to speech",
  "voice": "alba",
  "response_format": "wav",
  "stream": false
}

Parâmetro	Tipo	Padrão	Descrição
`model`	string	varies	`kyutai-tts` ou `kyutai-tts-1.6b`
`input`	string	required	Texto a sintetizar (máx. 10.000 caracteres)
`voice`	string	`alba`	Nome ou caminho do Hugging Face
`response_format`	string	`wav`	Formato (somente `wav`)
`stream`	boolean	`false`	Streaming (somente Pocket TTS)
`cfg_coef`	float	`2.0`	Classifier-free guidance (somente 1.6B)

Resposta: arquivo de áudio (audio/wav)

Aliases de voz OpenAI

Voz OpenAI	Pocket TTS	TTS 1.6B
`alloy`	alba	alba
`echo`	marius	vctk-p225
`fable`	cosette	expresso-happy
`onyx`	javert	vctk-p226
`nova`	fantine	alba-announcer
`shimmer`	eponine	alba-merchant

Listar vozes

Endpoint: GET /v1/voices

Verificação de saúde

Endpoint: GET /health

Configuração do plugin

Pocket TTS

Ative em Configurações > Plugins > Kyutai TTS

Arquivo: plugins/kyutai-tts.json

{
  "id": "kyutai-tts",
  "name": "Kyutai TTS",
  "type": "tts",
  "endpoint": "http://localhost:8200/v1/audio/speech",
  "capabilities": {
    "tts": {
      "config": {
        "voices": [
          "Alba",
          "Marius",
          "Javert",
          "Jean",
          "Fantine",
          "Cosette",
          "Eponine",
          "Azelma"
        ],
        "default_voice": "Alba",
        "supports_streaming": true,
        "no_auth_required": true
      }
    }
  }
}

TTS 1.6B

Ative em Configurações > Plugins > Kyutai TTS 1.6B

Arquivo: plugins/kyutai-tts-1.6b.json

{
  "id": "kyutai-tts-1.6b",
  "name": "Kyutai TTS 1.6B",
  "type": "tts",
  "endpoint": "http://localhost:8201/v1/audio/speech",
  "capabilities": {
    "tts": {
      "config": {
        "voices": [
          "Alba",
          "Alba-Casual",
          "Alba-Merchant",
          "Alba-Announcer",
          "Expresso-Happy",
          "Expresso-Sad",
          "Expresso-Angry",
          "VCTK-P225",
          "VCTK-P226"
        ],
        "default_voice": "Alba",
        "supports_streaming": true,
        "no_auth_required": true
      }
    }
  }
}

Acesso pela rede

# Start server on all interfaces
python server.py --host 0.0.0.0

# Access from another machine
curl http://192.168.1.100:8200/v1/audio/speech ...

Atualize o endpoint:

{
  "endpoint": "http://192.168.1.100:8200/v1/audio/speech"
}

Solução de problemas

Falha ao baixar modelo

Os modelos são baixados do Hugging Face na primeira execução:

# Set token for gated models
export HF_TOKEN=hf_...

Falta de memória CUDA

Feche outros aplicativos da GPU.
Tente cfg_coef=1.5.
Use Pocket TTS na CPU.

Problemas de qualidade

Som robótico: tente outra voz.
Áudio cortado: o texto pode ser longo; o servidor divide automaticamente.
Pronúncia errada: o modelo é otimizado para inglês e francês.

Problemas MPS (Apple Silicon)

RuntimeError: MPS backend error

O 1.6B usa float16 no MPS. Se persistir, force CPU:

python server.py --device cpu

Comparação com Qwen3-TTS

Recurso	Kyutai Pocket	Kyutai 1.6B	Qwen3-TTS
Parâmetros	100M	1.6B	0.6B-1.7B
Exige GPU	Não	Opcional	Sim
Idiomas	Inglês	EN/FR	10 idiomas
Clonagem de voz	Sim	Sim	Sim
Design de voz	Não	Não	Sim
Porta	8200	8201	8100

Escolha Kyutai para inglês e configuração simples; Qwen3-TTS para vários idiomas e design de voz.

Recursos

Kyutai TTS - página oficial
Pocket TTS GitHub - modelo para CPU
Delayed Streams Modeling - modelo 1.6B
Coleção de vozes - vozes disponíveis
Cartão do modelo - detalhes técnicos

Visão geral​

Pocket TTS (CPU)​

Requisitos​

Início rápido​

Testar​

Vozes​

Desempenho​

TTS 1.6B (GPU)​

Requisitos​

Plataformas​

Início rápido​

Seleção de dispositivo​

Testar​

Vozes​

Clonagem de voz​

Pocket TTS​

TTS 1.6B​

Referência da API​

Geração de fala​

Aliases de voz OpenAI​

Listar vozes​

Verificação de saúde​

Configuração do plugin​

Pocket TTS​

TTS 1.6B​

Acesso pela rede​

Solução de problemas​

Falha ao baixar modelo​

Falta de memória CUDA​

Problemas de qualidade​

Problemas MPS (Apple Silicon)​

Comparação com Qwen3-TTS​

Recursos​

Visão geral

Pocket TTS (CPU)

Requisitos

Início rápido

Testar

Vozes

Desempenho

TTS 1.6B (GPU)

Requisitos

Plataformas

Início rápido

Seleção de dispositivo

Testar

Vozes

Clonagem de voz

Pocket TTS

TTS 1.6B

Referência da API

Geração de fala

Aliases de voz OpenAI

Listar vozes

Verificação de saúde

Configuração do plugin

Pocket TTS

TTS 1.6B

Acesso pela rede

Solução de problemas

Falha ao baixar modelo

Falta de memória CUDA

Problemas de qualidade

Problemas MPS (Apple Silicon)

Comparação com Qwen3-TTS

Recursos