Przejdź do głównej zawartości

Lokalny stos GPU

Ten przewodnik opisuje lokalną konfigurację GPU obsługiwaną przez repozytorium: Ollama działa natywnie na hoście z bezpośrednim dostępem do GPU, a Libre WebUI działa w Dockerze z docker-compose.dev.external-ollama.yml.

Dostępność Work​

Ollama działa natywnie na GPU hosta. Work jest włączony przez zamontowane gniazdo Docker hosta, dzięki czemu Libre WebUI może tworzyć kontenery przypisane do zadań w tym samym demonie. Natywna instalacja Libre WebUI nie jest potrzebna.

Gniazdo daje kontrolę nad hostem Docker równoważną uprawnieniom roota. Usuń jego montowanie, jeśli Work nie jest potrzebny, a w systemie Linux ustaw DOCKER_GID w .env.

Na komputerach z ograniczoną pamięcią Work może zamiast tego używać modelu Ollama Cloud lub skonfigurowanej zdalnej wtyczki uzupełnień/czatu. Zmniejsza to presję lokalnego modelu na pamięć, ale Docker nadal jest wymagany dla obszaru roboczego i poleceń zadania.

Co otrzymujesz​

  • Libre WebUI korzystające z obrazu librewebui/libre-webui:dev.
  • Natywną Ollama na hoście do lokalnego wnioskowania.
  • Trwałe woluminy danych Libre WebUI.
  • Prostą ścieżkę testowania obrazu dev bez umieszczania Ollama w kontenerze.

Wymagania wstępne​

KomponentWymaganie
DockerDocker Desktop lub Docker Engine z Compose v2
OllamaZainstalowana i uruchomiona na hoście
GPUOpcjonalne, ale zalecane dla modeli lokalnych
NVIDIAAktualny sterownik i NVIDIA Container Toolkit, jeśli konteneryzujesz obciążenia GPU
DyskWystarczająco dużo miejsca na pliki modeli Ollama

Instalowanie i sprawdzanie Ollama​

Linux:

curl -fsSL https://ollama.com/install.sh | sh

macOS:

brew install ollama
ollama serve

Pobierz model początkowy:

ollama pull gemma4:12b

Sprawdź API:

curl http://localhost:11434/api/version

Uruchamianie Libre WebUI​

Z katalogu głównego repozytorium:

docker compose -f docker-compose.dev.external-ollama.yml up -d

Otwórz http://localhost:8080.

Niestandardowy punkt końcowy Ollama​

Jeśli Ollama działa na innym komputerze:

OLLAMA_BASE_URL=http://192.168.1.100:11434 docker compose -f docker-compose.dev.external-ollama.yml up -d

Dla Tailscale:

OLLAMA_BASE_URL=http://100.x.y.z:11434 docker compose -f docker-compose.dev.external-ollama.yml up -d

Zalecane modele​

Na początek dla stacji roboczej z GPU:

ollama pull gemma4:12b
ollama pull qwen3.8:27b
ollama pull gemma4:26b
ollama pull nomic-embed-text

Gdy podstawowy stos już działa, użyj Model Manager do wyszukiwania większych modeli.

Dostęp z sieci LAN​

Przed udostępnieniem aplikacji innemu urządzeniu dodaj źródło LAN lub Tailscale do CORS_ORIGIN w środowisku Compose:

CORS_ORIGIN=http://localhost:8080,http://192.168.1.50:8080

Następnie uruchom ponownie:

docker compose -f docker-compose.dev.external-ollama.yml up -d

Przydatne polecenia​

docker compose -f docker-compose.dev.external-ollama.yml ps
docker compose -f docker-compose.dev.external-ollama.yml logs -f libre-webui
docker compose -f docker-compose.dev.external-ollama.yml pull
docker compose -f docker-compose.dev.external-ollama.yml up -d

Rozwiązywanie problemów​

Kontener nie może połączyć się z Ollama

docker compose -f docker-compose.dev.external-ollama.yml exec libre-webui \
  wget -O- http://host.docker.internal:11434/api/version

W systemie Linux dodaj:

extra_hosts:
  - 'host.docker.internal:host-gateway'

Model działa na CPU

Natywna Ollama korzysta z instalacji hosta. Sprawdź instalację Ollama, sterownik GPU i ollama ps.

Potrzebujesz TTS

Skorzystaj z przewodnika serwera Qwen3-TTS, Kyutai TTS lub LongCat AudioDiT, a następnie włącz odpowiednią wtyczkę w Settings.

Powiązana dokumentacja​