Ngăn xếp GPU cục bộ
Ollama chạy trực tiếp trên host với GPU; Libre WebUI chạy bằng docker-compose.dev.external-ollama.yml.
Work
Socket Docker host cho phép Work tạo vùng chứa. Quyền này tương đương root. Trên Linux đặt DOCKER_GID trong .env.
Mô hình đám mây giảm bộ nhớ nhưng Docker vẫn bắt buộc.
Thành phần
- Image
librewebui/libre-webui:dev - Ollama host
- Volume bền vững
- Không cần Ollama trong vùng chứa
Điều kiện
| Thành phần | Yêu cầu |
|---|---|
| Docker | Compose v2 |
| Ollama | Đang chạy |
| GPU | Tùy chọn |
| NVIDIA | Driver + Toolkit |
| Đĩa | Đủ cho mô hình |
Cài Ollama
curl -fsSL https://ollama.com/install.sh | sh
brew install ollama
ollama serve
ollama pull gemma4:12b
curl http://localhost:11434/api/version
Chạy Libre WebUI
docker compose -f docker-compose.dev.external-ollama.yml up -d
Endpoint tùy chỉnh
OLLAMA_BASE_URL=http://192.168.1.100:11434 docker compose -f docker-compose.dev.external-ollama.yml up -d
OLLAMA_BASE_URL=http://100.x.y.z:11434 docker compose -f docker-compose.dev.external-ollama.yml up -d
Mô hình đề xuất
ollama pull gemma4:12b
ollama pull qwen3.8:27b
ollama pull gemma4:26b
ollama pull nomic-embed-text
LAN
Đặt CORS_ORIGIN:
CORS_ORIGIN=http://localhost:8080,http://192.168.1.50:8080
docker compose -f docker-compose.dev.external-ollama.yml up -d
Lệnh
docker compose -f docker-compose.dev.external-ollama.yml ps
docker compose -f docker-compose.dev.external-ollama.yml logs -f libre-webui
docker compose -f docker-compose.dev.external-ollama.yml pull
docker compose -f docker-compose.dev.external-ollama.yml up -d
Khắc phục
docker compose -f docker-compose.dev.external-ollama.yml exec libre-webui \
wget -O- http://host.docker.internal:11434/api/version
extra_hosts:
- 'host.docker.internal:host-gateway'
Kiểm tra ollama ps nếu mô hình dùng CPU. Dùng Qwen3-TTS, Kyutai TTS, hoặc LongCat cho TTS.