Zum Hauptinhalt springen

Lokaler GPU-Stack

Diese Anleitung beschreibt das unterstützte Setup: Ollama läuft nativ auf dem Host mit direktem GPU-Zugriff, Libre WebUI in Docker mit docker-compose.dev.external-ollama.yml.

Work-Verfügbarkeit​

Work nutzt den eingebundenen Host-Docker-Socket und erstellt Aufgabencontainer auf demselben Daemon. Eine native Libre-WebUI-Installation ist nicht nötig. Der Socket gewährt root-äquivalente Kontrolle; entferne ihn ohne Work und setze unter Linux DOCKER_GID in .env.

Bei knappem Speicher kann Work ein Ollama-Cloud- oder Remote-Plugin verwenden. Das spart Modellspeicher, nicht aber Docker und Containerressourcen.

Enthalten​

  • Libre WebUI mit librewebui/libre-webui:dev.
  • Natives Ollama für lokale Inferenz.
  • Dauerhafte Datenvolumes.
  • Dev-Image-Test ohne Ollama-Container.

Voraussetzungen​

KomponenteVoraussetzung
DockerDocker Desktop/Engine mit Compose v2
OllamaAuf dem Host installiert und gestartet
GPUOptional, für lokale Modelle empfohlen
NVIDIAAktueller Treiber und Toolkit bei containerisierten GPU-Workloads
SpeicherGenügend Platz für Ollama-Modelle

Ollama installieren und prüfen​

Linux:

curl -fsSL https://ollama.com/install.sh | sh

macOS:

brew install ollama
ollama serve
ollama pull gemma4:12b
curl http://localhost:11434/api/version

Libre WebUI starten​

docker compose -f docker-compose.dev.external-ollama.yml up -d

Öffne http://localhost:8080.

Eigener Ollama-Endpunkt​

OLLAMA_BASE_URL=http://192.168.1.100:11434 docker compose -f docker-compose.dev.external-ollama.yml up -d

Für Tailscale:

OLLAMA_BASE_URL=http://100.x.y.z:11434 docker compose -f docker-compose.dev.external-ollama.yml up -d

Empfohlene Modelle​

ollama pull gemma4:12b
ollama pull qwen3.8:27b
ollama pull gemma4:26b
ollama pull nomic-embed-text

Entdecke größere Modelle im Modellmanager, sobald das Basissetup funktioniert.

LAN-Zugriff​

Füge vor der Freigabe den LAN- oder Tailscale-Origin zu CORS_ORIGIN hinzu:

CORS_ORIGIN=http://localhost:8080,http://192.168.1.50:8080
docker compose -f docker-compose.dev.external-ollama.yml up -d

Nützliche Befehle​

docker compose -f docker-compose.dev.external-ollama.yml ps
docker compose -f docker-compose.dev.external-ollama.yml logs -f libre-webui
docker compose -f docker-compose.dev.external-ollama.yml pull
docker compose -f docker-compose.dev.external-ollama.yml up -d

Fehlerbehebung​

Container erreicht Ollama nicht

docker compose -f docker-compose.dev.external-ollama.yml exec libre-webui \
  wget -O- http://host.docker.internal:11434/api/version

Unter Linux:

extra_hosts:
  - 'host.docker.internal:host-gateway'

Modell läuft auf CPU — Prüfe natives Ollama, GPU-Treiber und ollama ps.

TTS benötigt — Nutze Qwen3-TTS, Kyutai TTS oder LongCat AudioDiT und aktiviere das Plugin.

Verwandte Dokumentation​