Ugrás a fő tartalomra

Helyi GPU-verem

A támogatott összeállítás az Ollamát natívan futtatja a hoston a közvetlen GPU-hozzáférésért, a Libre WebUI-t pedig Dockerben a docker-compose.dev.external-ollama.yml fájllal.

A Work elérhetősége​

Az Ollama a host GPU-ján fut. A Work a Docker socketen keresztül engedélyezett, és feladatonként külön konténereket hoz létre ugyanazon a daemonon. Nincs szükség natív Libre WebUI-telepítésre.

A socket root szintű irányítást ad a host felett. Távolítsa el a mountot, ha nincs szüksége Workre, Linuxon pedig állítsa be a DOCKER_GID értéket a .env fájlban.

Kevés memóriával rendelkező gépeken a Work Ollama Cloudot vagy távoli completion/chat bővítményt használhat. Ez csökkenti a helyi modell memóriaigényét, de a Docker továbbra is szükséges a munkatérhez és a parancsokhoz.

Mit tartalmaz?​

  • Libre WebUI a librewebui/libre-webui:dev image-dzsel.
  • Natív Ollama a hoston helyi inferenciához.
  • Tartós kötetek a Libre WebUI adatainak.
  • Tiszta módszer a dev image tesztelésére Ollama-konténer nélkül.

Előfeltételek​

ÖsszetevőKövetelmény
DockerDocker Desktop vagy Docker Engine Compose v2-vel
OllamaTelepítve és fut a hoston
GPUOpcionális, ajánlott
NVIDIAFriss illesztőprogram és NVIDIA Container Toolkit GPU-konténerekhez
LemezHely az Ollama modelleknek

Az Ollama telepítése és ellenőrzése​

Linux:

curl -fsSL https://ollama.com/install.sh | sh

macOS:

brew install ollama
ollama serve

Töltsön le egy kezdőmodellt:

ollama pull gemma4:12b

Ellenőrizze az API-t:

curl http://localhost:11434/api/version

A Libre WebUI elindítása​

A repository gyökeréből:

docker compose -f docker-compose.dev.external-ollama.yml up -d

Nyissa meg a http://localhost:8080 címet.

Egyéni Ollama-végpont​

Ha az Ollama másik gépen fut:

OLLAMA_BASE_URL=http://192.168.1.100:11434 docker compose -f docker-compose.dev.external-ollama.yml up -d

Tailscale esetén:

OLLAMA_BASE_URL=http://100.x.y.z:11434 docker compose -f docker-compose.dev.external-ollama.yml up -d

Ajánlott modellek​

ollama pull gemma4:12b
ollama pull qwen3.8:27b
ollama pull gemma4:26b
ollama pull nomic-embed-text

Nagyobb modellekhez az alapösszeállítás működése után használja a Model Managert.

LAN-hozzáférés​

Az alkalmazás közzététele előtt adja hozzá a LAN/Tailscale eredetet a CORS_ORIGIN értékhez:

CORS_ORIGIN=http://localhost:8080,http://192.168.1.50:8080

Indítsa újra:

docker compose -f docker-compose.dev.external-ollama.yml up -d

Hasznos parancsok​

docker compose -f docker-compose.dev.external-ollama.yml ps
docker compose -f docker-compose.dev.external-ollama.yml logs -f libre-webui
docker compose -f docker-compose.dev.external-ollama.yml pull
docker compose -f docker-compose.dev.external-ollama.yml up -d

Hibaelhárítás​

A konténer nem éri el az Ollamát

docker compose -f docker-compose.dev.external-ollama.yml exec libre-webui \
  wget -O- http://host.docker.internal:11434/api/version

Linuxon adja hozzá:

extra_hosts:
  - 'host.docker.internal:host-gateway'

A modell CPU-n fut. Ellenőrizze az Ollamát, a GPU-illesztőprogramot és az ollama ps kimenetét.

TTS-re van szüksége? Kövesse a Qwen3-TTS, Kyutai TTS vagy LongCat AudioDiT útmutatót, és engedélyezze a megfelelő bővítményt.

Kapcsolódó dokumentáció​