Sari la conținutul principal

Stivă GPU locală

Configurația recomandată rulează Ollama nativ pe host, pentru acces direct la GPU, și Libre WebUI în Docker cu docker-compose.dev.external-ollama.yml.

Disponibilitatea Work​

Ollama rulează pe GPU-ul host-ului. Work este activat prin socket-ul Docker și creează câte un container pentru fiecare sarcină pe același daemon. Nu este necesară o instalare nativă Libre WebUI.

Socket-ul oferă control asupra host-ului echivalent cu root. Eliminați mount-ul dacă Work nu este necesar și, pe Linux, setați DOCKER_GID în .env.

Pe sisteme cu memorie redusă, Work poate folosi Ollama Cloud sau un plugin completion/chat la distanță. Astfel scade memoria locală necesară modelului, însă Docker rămâne necesar pentru spațiul de lucru și comenzi.

Ce este inclus​

  • Libre WebUI cu imaginea librewebui/libre-webui:dev.
  • Ollama nativ pe host pentru inferență locală.
  • Volume persistente pentru datele Libre WebUI.
  • O metodă curată de testare a imaginii dev fără container Ollama.

Cerințe preliminare​

ComponentăCerință
DockerDocker Desktop sau Docker Engine cu Compose v2
OllamaInstalat și activ pe host
GPUOpțional, recomandat
NVIDIADriver recent și NVIDIA Container Toolkit pentru containere GPU
DiscSpațiu pentru modelele Ollama

Instalarea și verificarea Ollama​

Linux:

curl -fsSL https://ollama.com/install.sh | sh

macOS:

brew install ollama
ollama serve

Descărcați un model inițial:

ollama pull gemma4:12b

Verificați API-ul:

curl http://localhost:11434/api/version

Pornirea Libre WebUI​

Din rădăcina repository-ului:

docker compose -f docker-compose.dev.external-ollama.yml up -d

Deschideți http://localhost:8080.

Endpoint Ollama personalizat​

Dacă Ollama rulează pe alt sistem:

OLLAMA_BASE_URL=http://192.168.1.100:11434 docker compose -f docker-compose.dev.external-ollama.yml up -d

Pentru Tailscale:

OLLAMA_BASE_URL=http://100.x.y.z:11434 docker compose -f docker-compose.dev.external-ollama.yml up -d

Modele recomandate​

ollama pull gemma4:12b
ollama pull qwen3.8:27b
ollama pull gemma4:26b
ollama pull nomic-embed-text

Folosiți Model Manager pentru modele mai mari după ce configurația de bază funcționează.

Acces LAN​

Adăugați originea LAN/Tailscale la CORS_ORIGIN înainte de a expune aplicația:

CORS_ORIGIN=http://localhost:8080,http://192.168.1.50:8080

Reporniți:

docker compose -f docker-compose.dev.external-ollama.yml up -d

Comenzi utile​

docker compose -f docker-compose.dev.external-ollama.yml ps
docker compose -f docker-compose.dev.external-ollama.yml logs -f libre-webui
docker compose -f docker-compose.dev.external-ollama.yml pull
docker compose -f docker-compose.dev.external-ollama.yml up -d

Depanare​

Containerul nu poate accesa Ollama

docker compose -f docker-compose.dev.external-ollama.yml exec libre-webui \
  wget -O- http://host.docker.internal:11434/api/version

Pe Linux, adăugați:

extra_hosts:
  - 'host.docker.internal:host-gateway'

Modelul rulează pe CPU. Verificați Ollama, driverul GPU și ollama ps.

Aveți nevoie de TTS? Urmați Qwen3-TTS, Kyutai TTS sau LongCat AudioDiT și activați pluginul corespunzător.

Documentație asociată​