Lewati ke konten utama

Tumpukan GPU Lokal

Panduan ini menjelaskan penyiapan GPU yang didukung repositori: Ollama berjalan langsung di host dengan akses GPU, Libre WebUI berjalan di Docker melalui docker-compose.dev.external-ollama.yml.

Ketersediaan Work​

Ollama memakai GPU host. Work aktif melalui soket Docker host sehingga Libre WebUI membuat kontainer tugas pada layanan yang sama. Instalasi Libre WebUI langsung tidak diperlukan.

Soket memberi kendali setara root. Hapus pemasangan jika Work tidak diperlukan; di Linux tetapkan DOCKER_GID dalam .env.

Pada memori terbatas, Work dapat memakai Ollama Cloud atau plugin jarak jauh. Docker tetap diperlukan untuk ruang kerja dan perintah.

Yang Anda Dapatkan​

  • Libre WebUI dengan image librewebui/libre-webui:dev.
  • Ollama host untuk inferensi lokal.
  • Volume persisten Libre WebUI.
  • Cara menguji image dev tanpa mengontainerkan Ollama.

Prasyarat​

KomponenPersyaratan
DockerDesktop/Engine dengan Compose v2
OllamaTerpasang dan berjalan
GPUOpsional, disarankan
NVIDIAPenggerak terbaru dan Container Toolkit
DiskRuang model Ollama

Pasang dan Verifikasi Ollama​

Linux:

curl -fsSL https://ollama.com/install.sh | sh

macOS:

brew install ollama
ollama serve
ollama pull gemma4:12b
curl http://localhost:11434/api/version

Jalankan Libre WebUI​

docker compose -f docker-compose.dev.external-ollama.yml up -d

Buka http://localhost:8080.

Endpoint Ollama Khusus​

OLLAMA_BASE_URL=http://192.168.1.100:11434 docker compose -f docker-compose.dev.external-ollama.yml up -d
OLLAMA_BASE_URL=http://100.x.y.z:11434 docker compose -f docker-compose.dev.external-ollama.yml up -d

Model Disarankan​

ollama pull gemma4:12b
ollama pull qwen3.8:27b
ollama pull gemma4:26b
ollama pull nomic-embed-text

Gunakan Model Manager setelah tumpukan dasar berjalan.

Akses LAN​

Tambahkan sumber LAN atau Tailscale ke CORS_ORIGIN sebelum membuka aplikasi ke perangkat lain:

CORS_ORIGIN=http://localhost:8080,http://192.168.1.50:8080
docker compose -f docker-compose.dev.external-ollama.yml up -d

Perintah Berguna​

docker compose -f docker-compose.dev.external-ollama.yml ps
docker compose -f docker-compose.dev.external-ollama.yml logs -f libre-webui
docker compose -f docker-compose.dev.external-ollama.yml pull
docker compose -f docker-compose.dev.external-ollama.yml up -d

Pemecahan Masalah​

Kontainer tidak mencapai Ollama

docker compose -f docker-compose.dev.external-ollama.yml exec libre-webui \
  wget -O- http://host.docker.internal:11434/api/version
extra_hosts:
  - 'host.docker.internal:host-gateway'

Model berjalan di CPU

Periksa instalasi Ollama, penggerak GPU, dan ollama ps.

Memerlukan TTS

Gunakan Qwen3-TTS, Kyutai TTS, atau LongCat AudioDiT, lalu aktifkan plugin.

Dokumentasi Terkait​