Přeskočit na hlavní obsah

Místní GPU sestava

Tato příručka popisuje místní GPU sestavu podporovanou repository: Ollama běží nativně na hostiteli pro přímý přístup ke GPU a Libre WebUI v Dockeru pomocí docker-compose.dev.external-ollama.yml.

Dostupnost Work​

Ollama běží nativně na GPU hostitele. Work je povolen připojeným Docker socketem, takže Libre WebUI vytváří kontejnery jednotlivých úloh na stejném daemonu. Nativní instalace Libre WebUI není nutná.

Socket poskytuje kontrolu nad hostitelem Dockeru ekvivalentní rootu. Pokud Work nepotřebujete, připojení odstraňte; v Linuxu nastavte v .env hodnotu DOCKER_GID.

Na strojích s omezenou pamětí může Work použít Ollama Cloud nebo nakonfigurovaný vzdálený completion/chat plugin. Sníží se tím tlak místního modelu na paměť, ale Docker je pro pracovní prostor a příkazy stále nutný.

Co získáte​

  • Libre WebUI s image librewebui/libre-webui:dev.
  • Nativní Ollama na hostiteli pro místní inferenci.
  • Trvalé datové volumes Libre WebUI.
  • Čistý způsob testování dev image bez kontejnerizace Ollama.

Předpoklady​

KomponentaPožadavek
DockerDocker Desktop nebo Docker Engine s Compose v2
OllamaNainstalovaná a spuštěná na hostiteli
GPUVolitelná, doporučená pro místní modely
NVIDIAAktuální ovladač a NVIDIA Container Toolkit pro GPU workloady v kontejnerech
DiskDostatek místa pro soubory modelů Ollama

Instalace a ověření Ollama​

Linux:

curl -fsSL https://ollama.com/install.sh | sh

macOS:

brew install ollama
ollama serve

Stáhněte startovní model:

ollama pull gemma4:12b

Ověřte API:

curl http://localhost:11434/api/version

Spuštění Libre WebUI​

Z kořene repository:

docker compose -f docker-compose.dev.external-ollama.yml up -d

Otevřete http://localhost:8080.

Vlastní endpoint Ollama​

Je-li Ollama na jiném stroji:

OLLAMA_BASE_URL=http://192.168.1.100:11434 docker compose -f docker-compose.dev.external-ollama.yml up -d

Pro Tailscale:

OLLAMA_BASE_URL=http://100.x.y.z:11434 docker compose -f docker-compose.dev.external-ollama.yml up -d

Doporučené modely​

ollama pull gemma4:12b
ollama pull qwen3.8:27b
ollama pull gemma4:26b
ollama pull nomic-embed-text

Jakmile základ funguje, hledejte větší modely v Model Manageru.

Přístup z LAN​

Než aplikaci zpřístupníte jinému zařízení, přidejte origin LAN nebo Tailscale do CORS_ORIGIN v prostředí Compose:

CORS_ORIGIN=http://localhost:8080,http://192.168.1.50:8080

Poté restartujte:

docker compose -f docker-compose.dev.external-ollama.yml up -d

Užitečné příkazy​

docker compose -f docker-compose.dev.external-ollama.yml ps
docker compose -f docker-compose.dev.external-ollama.yml logs -f libre-webui
docker compose -f docker-compose.dev.external-ollama.yml pull
docker compose -f docker-compose.dev.external-ollama.yml up -d

Řešení problémů​

Kontejner se nedostane k Ollama

docker compose -f docker-compose.dev.external-ollama.yml exec libre-webui \
  wget -O- http://host.docker.internal:11434/api/version

V Linuxu přidejte:

extra_hosts:
  - 'host.docker.internal:host-gateway'

Model běží na CPU Nativní Ollama používá instalaci hostitele. Ověřte Ollama, ovladač GPU a ollama ps.

Potřebujete TTS? Použijte příručku serveru Qwen3-TTS, Kyutai TTS nebo LongCat AudioDiT a zapněte odpovídající plugin.

Související dokumentace​