Integrarea Qwen3-TTS

Rulați local Qwen3-TTS de la Alibaba. Acest ghid configurează serverul TTS compatibil OpenAI inclus în Libre WebUI.

Prezentare generală

Qwen3-TTS oferă nouă voci în engleză, chineză, japoneză și coreeană, zece limbi, clonare din trei secunde de audio, proiectarea unei voci din limbaj natural și instrucțiuni pentru emoție/prozodie. Serverul îl expune printr-un API compatibil OpenAI.

Cerințe

Componentă	Minim	Recomandat
Python	3.12+	3.12 (nu 3.14)
GPU VRAM	4GB (0.6B)	8GB+ (1.7B)
RAM	8GB	16GB+
Disc	5GB	10GB

Platforme

Platformă	Backend	Observație
GPU NVIDIA	CUDA	Cea mai bună performanță, bfloat16
Apple Silicon	MPS	Folosiți 0.6B pentru memorie
CPU	PyTorch	Mai lent; folosiți 0.6B

Apple Silicon

Folosiți customvoice-0.6b pe Mac. Modelul 1.7B poate destabiliza 16GB de memorie unificată.

Pornire rapidă

1. Instalarea serverului

cd examples/qwen-tts-server

# Create virtual environment (Python 3.12 required)
python3.12 -m venv venv
source venv/bin/activate  # Linux/macOS
# or: venv\Scripts\activate  # Windows

# Install dependencies
pip install -r requirements.txt

2. Pornirea serverului

# NVIDIA GPU (recommended)
python server.py --model customvoice-1.7b

# Apple Silicon
python server.py --model customvoice-0.6b

# CPU (slower)
python server.py --model customvoice-0.6b

Serverul rulează la http://localhost:8100.

3. Configurarea Libre WebUI

Fișierul plugins/qwen-tts.json este pregătit. Activați Settings → Plugins → Qwen3 TTS.

4. Testare

curl http://localhost:8100/v1/audio/speech \
  -H "Content-Type: application/json" \
  -d '{"model": "qwen3-tts", "input": "Hello, welcome to Libre WebUI!", "voice": "Ryan"}' \
  --output speech.wav

Modele disponibile

Model	Dimensiune	Utilizare
`customvoice-1.7b`	~3.5GB	Voci pregătite și instrucțiuni
`customvoice-0.6b`	~1.5GB	Variantă ușoară
`voicedesign-1.7b`	~3.5GB	Voce din descriere
`base-1.7b`	~3.5GB	Clonare din trei secunde
`base-0.6b`	~1.5GB	Clonare ușoară

Voci

Voci pregătite

Voce	Limbă	Descriere
Ryan	Engleză	Masculină, clară, naturală
Aiden	Engleză	Masculină, caldă
Vivian	Chineză	Feminină, profesională
Serena	Chineză	Feminină, prietenoasă
Uncle_Fu	Chineză	Masculină, matură
Dylan	Chineză	Dialect din Beijing
Eric	Chineză	Dialect din Sichuan
Ono_Anna	Japoneză	Feminină
Sohee	Coreeană	Feminină

Aliasuri OpenAI

Voce OpenAI	Corespunde
`alloy`	Ryan
`echo`	Aiden
`fable`	Vivian
`onyx`	Uncle_Fu
`nova`	Serena
`shimmer`	Ono_Anna

Referință API

Generarea vorbirii

Endpoint: POST /v1/audio/speech

{
  "model": "qwen3-tts",
  "input": "Text to convert to speech",
  "voice": "Ryan",
  "response_format": "wav",
  "instruct": "Speak with enthusiasm",
  "language": "English"
}

Parametru	Tip	Implicit	Descriere
`model`	string	`qwen3-tts`	ID-ul modelului
`input`	string	obligatoriu	Text, până la 10.000 de caractere
`voice`	string	`ryan`	Numele vocii
`response_format`	string	`wav`	Numai `wav`
`instruct`	string	`""`	Emoție/prozodie
`language`	string	auto	Suprascrierea limbii

Răspuns: fișier (audio/wav)

Proiectarea vocii

Endpoint: POST /v1/audio/voice-design

{
  "model": "qwen3-tts-voicedesign",
  "input": "Welcome to our service.",
  "voice_description": "A warm, friendly female voice with a slight British accent",
  "language": "English"
}

notă

Necesită voicedesign-1.7b.

Clonarea vocii

Endpoint: POST /v1/audio/voice-clone

curl -X POST http://localhost:8100/v1/audio/voice-clone \
  -F "input=Hello, this is my cloned voice." \
  -F "reference_audio=@reference.wav" \
  -F "reference_text=This is what was said in the reference." \
  --output cloned.wav

Parametru	Tip	Descriere
`input`	string	Textul de sintetizat
`reference_audio`	file	Audio de cel puțin 3 secunde
`reference_text`	string	Transcrierea de referință

notă

Necesită base-1.7b sau base-0.6b.

Lista vocilor

Endpoint: GET /v1/voices

{
  "voices": [
    {"id": "ryan", "name": "Ryan", "language": "English"},
    {"id": "aiden", "name": "Aiden", "language": "English"},
    ...
  ]
}

Verificarea stării

Endpoint: GET /health

{ "status": "healthy", "model_loaded": true }

Configurarea serverului

python server.py [OPTIONS]

Opțiune	Implicit	Descriere
`--host`	`0.0.0.0`	Adresa de bind
`--port`	`8100`	Portul de bind
`--model`	`customvoice-1.7b`	Varianta modelului

Acces prin rețea

# Start server on all interfaces
python server.py --host 0.0.0.0 --port 8100

# Access from another machine
curl http://192.168.1.100:8100/v1/audio/speech ...

Actualizați plugins/qwen-tts.json:

{
  "endpoint": "http://192.168.1.100:8100/v1/audio/speech",
  "capabilities": {
    "tts": {
      "endpoint": "http://192.168.1.100:8100/v1/audio/speech"
    }
  }
}

Funcții pentru producție

Curățarea textului

Serverul elimină emoji, simboluri, Markdown precum *bold* și _italic_, instrucțiuni precum *(action)* și (whispers), reduce FUUUUU la FUU și normalizează spațiile.

Segmentare

Textul lung este împărțit în propoziții: maximum 500 de caractere, timeout de 30 de secunde, segmentele eșuate sunt omise, iar celelalte sunt reunite.

Mai multe GPU-uri

Serverul impune folosirea unui singur GPU:

device_map = {"": "cuda:0"}  # Uses first GPU only

CUDA_VISIBLE_DEVICES=1 python server.py --model customvoice-1.7b

Depanare

Descărcarea modelului eșuează

# Set Hugging Face token for gated models
export HF_TOKEN=hf_...

# Or download manually
huggingface-cli download Qwen/Qwen3-TTS-12Hz-1.7B-CustomVoice

Memorie insuficientă (Apple Silicon)

RuntimeError: MPS backend out of memory

python server.py --model customvoice-0.6b

Memorie CUDA insuficientă

torch.cuda.OutOfMemoryError: CUDA out of memory

Închideți alte aplicații GPU, folosiți modelul 0.6B sau reduceți max_chunk_size=300.

Timeout al serverului

Verificați logurile și scurtați input-ul dacă este necesar.

Audio incorect

Repetițiile sunt cauzate de obicei de simboluri, o limbă greșită se corectează cu language, iar pauzele prin punctuație normală.

Configurarea pluginului

{
  "id": "qwen-tts",
  "name": "Qwen3 TTS",
  "type": "tts",
  "endpoint": "http://localhost:8100/v1/audio/speech",
  "auth": {
    "header": "",
    "key_env": ""
  },
  "model_map": [
    "qwen3-tts",
    "qwen3-tts-customvoice",
    "qwen3-tts-voicedesign",
    "qwen3-tts-clone"
  ],
  "capabilities": {
    "tts": {
      "endpoint": "http://localhost:8100/v1/audio/speech",
      "model_map": [
        "qwen3-tts",
        "qwen3-tts-customvoice",
        "qwen3-tts-voicedesign",
        "qwen3-tts-clone"
      ],
      "config": {
        "voices": [
          "Ryan",
          "Aiden",
          "Vivian",
          "Serena",
          "Uncle_Fu",
          "Dylan",
          "Eric",
          "Ono_Anna",
          "Sohee"
        ],
        "default_voice": "Ryan",
        "formats": ["wav"],
        "default_format": "wav",
        "max_characters": 10000,
        "supports_streaming": false,
        "no_auth_required": true
      }
    }
  },
  "description": "Qwen3-TTS local TTS server (NVIDIA CUDA, Apple MPS, or CPU)",
  "documentation_url": "https://github.com/QwenLM/Qwen3-TTS"
}

Resurse

Qwen3-TTS GitHub — repository oficial
Qwen3-TTS Demo — demonstrație online
Alibaba Cloud TTS — documentație API cloud

Prezentare generală​

Cerințe​

Platforme​

Pornire rapidă​

1. Instalarea serverului​

2. Pornirea serverului​

3. Configurarea Libre WebUI​

4. Testare​

Modele disponibile​

Voci​

Voci pregătite​

Aliasuri OpenAI​

Referință API​

Generarea vorbirii​

Proiectarea vocii​

Clonarea vocii​

Lista vocilor​

Verificarea stării​

Configurarea serverului​

Acces prin rețea​

Funcții pentru producție​

Curățarea textului​

Segmentare​

Mai multe GPU-uri​

Depanare​

Descărcarea modelului eșuează​

Memorie insuficientă (Apple Silicon)​

Memorie CUDA insuficientă​

Timeout al serverului​

Audio incorect​

Configurarea pluginului​

Resurse​