Hop til hovedindhold

Lokal GPU-stack

Den konfiguration, som repositoryet understøtter, kører Ollama direkte på værten for at få GPU-adgang og Libre WebUI i Docker med docker-compose.dev.external-ollama.yml.

Work-tilgængelighed​

Ollama kører direkte på værtens GPU. Work aktiveres gennem den monterede Docker-socket og opretter opgavespecifikke containere på samme daemon. Der kræves ingen native Libre WebUI-installation. Socketen giver root-lignende kontrol over Docker-værten; fjern monteringen, hvis Work ikke er nødvendigt, og angiv DOCKER_GID i .env på Linux.

På computere med begrænset hukommelse kan Work bruge Ollama Cloud eller et konfigureret fjernplugin. Det reducerer den lokale modelbelastning, men Docker kræves stadig til arbejdsområdet og kommandoerne.

Dette indgår​

  • Libre WebUI med imagen librewebui/libre-webui:dev.
  • Ollama direkte på værten for lokal inferens.
  • Vedvarende Libre WebUI-datavolumener.
  • En enkel måde at teste dev-imagen på uden at containerisere Ollama.

Førutsættningar​

KomponentKrav
DockerDocker Desktop eller Docker Engine med Compose v2
OllamaInstallerad og kørende på værten
GPUValgfri men rekommenderad
NVIDIAAktuel driver og NVIDIA Container Toolkit til GPU-containere
DiskTilstrækkelig plads for Ollama-modeller

Installer og verificer Ollama​

Linux:

curl -fsSL https://ollama.com/install.sh | sh

macOS:

brew install ollama
ollama serve

Hæmta en startmodel:

ollama pull gemma4:12b

Verificer API'et:

curl http://localhost:11434/api/version

Start Libre WebUI​

Fra repository-roten:

docker compose -f docker-compose.dev.external-ollama.yml up -d

Åbn http://localhost:8080.

Anpassad Ollama-endpoint​

Hvis Ollama findes på en anden computer:

OLLAMA_BASE_URL=http://192.168.1.100:11434 docker compose -f docker-compose.dev.external-ollama.yml up -d

For Tailscale:

OLLAMA_BASE_URL=http://100.x.y.z:11434 docker compose -f docker-compose.dev.external-ollama.yml up -d

Anbefalede modeller​

ollama pull gemma4:12b
ollama pull qwen3.8:27b
ollama pull gemma4:26b
ollama pull nomic-embed-text

Brug Model Manager til at finde større modeller, når grundopsætningen fungerer.

LAN-adgang​

Tilføj til LAN- eller Tailscale-ursprunget i CORS_ORIGIN før ekstern adgang:

CORS_ORIGIN=http://localhost:8080,http://192.168.1.50:8080

Start hvis:

docker compose -f docker-compose.dev.external-ollama.yml up -d

Anvændbara kommandoer​

docker compose -f docker-compose.dev.external-ollama.yml ps
docker compose -f docker-compose.dev.external-ollama.yml logs -f libre-webui
docker compose -f docker-compose.dev.external-ollama.yml pull
docker compose -f docker-compose.dev.external-ollama.yml up -d

Fejlfinding​

Containern når ikke Ollama

docker compose -f docker-compose.dev.external-ollama.yml exec libre-webui \
  wget -O- http://host.docker.internal:11434/api/version

På Linux, lægg til:

extra_hosts:
  - 'host.docker.internal:host-gateway'

Modelen kør på CPU Kontrollera Ollama-installationen, GPU-drivrutinen og ollama ps.

Har du brug for TTS? Følg serverguiden til Qwen3-TTS, Kyutai TTS eller LongCat AudioDiT, og aktivér det tilsvarende plugin.

Relaterede dokumenter​