Ana içeriğe geç

Yerel GPU Yığını

Bu kılavuz deponun desteklediği yerel GPU kurulumunu açıklar: Ollama doğrudan GPU erişimiyle ana makinede çalışır, Libre WebUI ise docker-compose.dev.external-ollama.yml ile Docker’da çalışır.

Work Kullanılabilirliği​

Ollama ana makine GPU’sunda doğrudan çalışır. Work, bağlı ana makine Docker yuvasıyla etkinleşir; Libre WebUI aynı hizmette göreve özel kapsayıcılar oluşturur. Libre WebUI’nin ana makineye kurulması gerekmez.

Yuva Docker ana makinesinde root yetkisine eşdeğer denetim verir. Work gerekmiyorsa bağlantıyı kaldırın, Linux’ta .env içinde DOCKER_GID ayarlayın.

Belleği sınırlı sistemlerde Work, Ollama Cloud veya yapılandırılmış uzak tamamlama/sohbet eklentisi kullanabilir. Bu, yerel model belleği baskısını azaltır ancak görev çalışma alanı ve komutları için Docker yine gereklidir.

Sağlananlar​

  • librewebui/libre-webui:dev görüntüsünü kullanan Libre WebUI.
  • Yerel model çıkarımı için ana makinede çalışan Ollama.
  • Kalıcı Libre WebUI veri birimleri.
  • Ollama’yı kapsayıcıya almadan dev görüntüsünü sınama yolu.

Ön Koşullar​

BileşenGereksinim
DockerCompose v2 bulunan Docker Desktop veya Docker Engine
OllamaAna makinede kurulu ve çalışıyor
GPUİsteğe bağlı ancak önerilir
NVIDIAGPU işlerini kapsayıcıya alıyorsanız güncel sürücü ve NVIDIA Container Toolkit
DiskOllama model dosyaları için yeterli alan

Ollama’yı Kurup Doğrulama​

Linux:

curl -fsSL https://ollama.com/install.sh | sh

macOS:

brew install ollama
ollama serve

Başlangıç modeli indirin:

ollama pull gemma4:12b

API’yi doğrulayın:

curl http://localhost:11434/api/version

Libre WebUI’yi Başlatma​

Depo kökünden:

docker compose -f docker-compose.dev.external-ollama.yml up -d

http://localhost:8080 adresini açın.

Özel Ollama Uç Noktası​

Ollama başka bilgisayardaysa:

OLLAMA_BASE_URL=http://192.168.1.100:11434 docker compose -f docker-compose.dev.external-ollama.yml up -d

Tailscale için:

OLLAMA_BASE_URL=http://100.x.y.z:11434 docker compose -f docker-compose.dev.external-ollama.yml up -d

Önerilen Modeller​

İlk GPU iş istasyonu için:

ollama pull gemma4:12b
ollama pull qwen3.8:27b
ollama pull gemma4:26b
ollama pull nomic-embed-text

Temel yığın çalışınca daha büyük modelleri Model Manager ile bulun.

LAN Erişimi​

Uygulamayı başka cihaza açmadan önce LAN veya Tailscale kaynağınızı Compose ortamındaki CORS_ORIGIN değerine ekleyin:

CORS_ORIGIN=http://localhost:8080,http://192.168.1.50:8080

Ardından yeniden başlatın:

docker compose -f docker-compose.dev.external-ollama.yml up -d

Yararlı Komutlar​

docker compose -f docker-compose.dev.external-ollama.yml ps
docker compose -f docker-compose.dev.external-ollama.yml logs -f libre-webui
docker compose -f docker-compose.dev.external-ollama.yml pull
docker compose -f docker-compose.dev.external-ollama.yml up -d

Sorun Giderme​

Kapsayıcı Ollama’ya erişemiyor

docker compose -f docker-compose.dev.external-ollama.yml exec libre-webui \
  wget -O- http://host.docker.internal:11434/api/version

Linux’ta ekleyin:

extra_hosts:
  - 'host.docker.internal:host-gateway'

Model CPU’da çalışıyor

Doğrudan Ollama ana makine kurulumunu kullanır. Ollama kurulumunu, GPU sürücüsünü ve ollama ps çıktısını denetleyin.

TTS gerekiyor

Qwen3-TTS, Kyutai TTS veya LongCat AudioDiT sunucu kılavuzunu kullanıp Settings içinden karşılık gelen eklentiyi etkinleştirin.

İlgili Belgeler​