Μετάβαση στο κύριο περιεχόμενο

Τοπική στοίβα GPU

Η υποστηριζόμενη ρύθμιση τρέχει Ollama natively στον host για άμεση GPU και Libre WebUI σε Docker με docker-compose.dev.external-ollama.yml.

Διαθεσιμότητα Work​

Το Ollama τρέχει στη GPU του host. Το Work ενεργοποιείται μέσω του Docker socket και δημιουργεί containers ανά εργασία στον ίδιο daemon. Δεν χρειάζεται native εγκατάσταση Libre WebUI.

Το socket δίνει έλεγχο host ισοδύναμο με root. Αφαιρέστε το mount αν δεν χρειάζεστε Work και σε Linux ορίστε DOCKER_GID στο .env.

Σε μηχανήματα με λίγη μνήμη, το Work μπορεί να χρησιμοποιήσει Ollama Cloud ή απομακρυσμένο completion/chat plugin. Μειώνεται η τοπική μνήμη μοντέλου, αλλά Docker απαιτείται για χώρο και εντολές.

Τι παρέχεται​

  • Libre WebUI με image librewebui/libre-webui:dev.
  • Native Ollama στον host για τοπικό inference.
  • Μόνιμα volumes δεδομένων Libre WebUI.
  • Καθαρός τρόπος δοκιμής dev image χωρίς container Ollama.

Προαπαιτούμενα​

ΣτοιχείοΑπαίτηση
DockerDocker Desktop ή Docker Engine με Compose v2
OllamaΕγκατεστημένο και ενεργό στον host
GPUΠροαιρετική, συνιστάται
NVIDIAΠρόσφατος driver και NVIDIA Container Toolkit για GPU containers
ΔίσκοςΧώρος για μοντέλα Ollama

Εγκατάσταση και έλεγχος Ollama​

Linux:

curl -fsSL https://ollama.com/install.sh | sh

macOS:

brew install ollama
ollama serve

Κατεβάστε αρχικό μοντέλο:

ollama pull gemma4:12b

Ελέγξτε API:

curl http://localhost:11434/api/version

Εκκίνηση Libre WebUI​

Από τη ρίζα repository:

docker compose -f docker-compose.dev.external-ollama.yml up -d

Ανοίξτε http://localhost:8080.

Προσαρμοσμένο endpoint Ollama​

Αν το Ollama είναι σε άλλο μηχάνημα:

OLLAMA_BASE_URL=http://192.168.1.100:11434 docker compose -f docker-compose.dev.external-ollama.yml up -d

Για Tailscale:

OLLAMA_BASE_URL=http://100.x.y.z:11434 docker compose -f docker-compose.dev.external-ollama.yml up -d

Συνιστώμενα μοντέλα​

ollama pull gemma4:12b
ollama pull qwen3.8:27b
ollama pull gemma4:26b
ollama pull nomic-embed-text

Χρησιμοποιήστε Model Manager για μεγαλύτερα μοντέλα αφού λειτουργήσει η βάση.

Πρόσβαση LAN​

Προσθέστε origin LAN/Tailscale στο CORS_ORIGIN πριν εκθέσετε την εφαρμογή:

CORS_ORIGIN=http://localhost:8080,http://192.168.1.50:8080

Επανεκκινήστε:

docker compose -f docker-compose.dev.external-ollama.yml up -d

Χρήσιμες εντολές​

docker compose -f docker-compose.dev.external-ollama.yml ps
docker compose -f docker-compose.dev.external-ollama.yml logs -f libre-webui
docker compose -f docker-compose.dev.external-ollama.yml pull
docker compose -f docker-compose.dev.external-ollama.yml up -d

Αντιμετώπιση προβλημάτων​

Το container δεν φτάνει Ollama

docker compose -f docker-compose.dev.external-ollama.yml exec libre-webui \
  wget -O- http://host.docker.internal:11434/api/version

Σε Linux προσθέστε:

extra_hosts:
  - 'host.docker.internal:host-gateway'

Το μοντέλο τρέχει σε CPU Ελέγξτε Ollama, driver GPU και ollama ps.

Χρειάζεστε TTS; Ακολουθήστε Qwen3-TTS, Kyutai TTS ή LongCat AudioDiT και ενεργοποιήστε το αντίστοιχο plugin.

Σχετική τεκμηρίωση​