मुख्य कंटेंट तक स्किप करें

स्थानीय GPU स्टैक

यह मार्गदर्शिका रिपॉज़िटरी-समर्थित सेटअप बताती है: Ollama सीधे GPU पहुँच के साथ होस्ट पर और Libre WebUI docker-compose.dev.external-ollama.yml से Docker में चलता है।

Work उपलब्धता​

Ollama होस्ट GPU पर सीधे चलता है। होस्ट Docker सॉकेट से Work सक्षम होता है और Libre WebUI उसी सेवा में कार्य कंटेनर बनाता है। Libre WebUI का होस्ट इंस्टॉल आवश्यक नहीं है।

सॉकेट होस्ट पर root-समान नियंत्रण देता है। Work न चाहिए तो माउंट हटाएँ, Linux में .env का DOCKER_GID सेट करें।

कम स्मृति में Work Ollama Cloud या दूरस्थ पूर्णता/चैट प्लगइन उपयोग कर सकता है। इससे स्थानीय मॉडल दबाव घटता है, लेकिन कार्यक्षेत्र और कमांड के लिए Docker चाहिए।

आपको क्या मिलता है​

  • librewebui/libre-webui:dev इमेज वाला Libre WebUI।
  • स्थानीय अनुमान के लिए होस्ट Ollama।
  • स्थायी Libre WebUI वॉल्यूम।
  • Ollama को कंटेनर में रखे बिना dev इमेज जाँच।

पूर्व आवश्यकताएँ​

घटकआवश्यकता
DockerCompose v2 वाला Docker Desktop या Engine
Ollamaहोस्ट पर स्थापित और चालू
GPUवैकल्पिक, पर अनुशंसित
NVIDIAकंटेनर GPU के लिए आधुनिक ड्राइवर और NVIDIA Container Toolkit
डिस्कOllama मॉडल के लिए पर्याप्त स्थान

Ollama स्थापित और जाँचें​

Linux:

curl -fsSL https://ollama.com/install.sh | sh

macOS:

brew install ollama
ollama serve

मॉडल डाउनलोड करें:

ollama pull gemma4:12b

API जाँचें:

curl http://localhost:11434/api/version

Libre WebUI शुरू करें​

रिपॉज़िटरी जड़ से:

docker compose -f docker-compose.dev.external-ollama.yml up -d

http://localhost:8080 खोलें।

विशेष Ollama एंडपॉइंट​

Ollama दूसरे कंप्यूटर पर हो तो:

OLLAMA_BASE_URL=http://192.168.1.100:11434 docker compose -f docker-compose.dev.external-ollama.yml up -d

Tailscale के लिए:

OLLAMA_BASE_URL=http://100.x.y.z:11434 docker compose -f docker-compose.dev.external-ollama.yml up -d

अनुशंसित मॉडल​

पहले GPU वर्कस्टेशन के लिए:

ollama pull gemma4:12b
ollama pull qwen3.8:27b
ollama pull gemma4:26b
ollama pull nomic-embed-text

मूल स्टैक चलने पर बड़े मॉडल Model Manager से खोजें।

LAN पहुँच​

दूसरे डिवाइस को ऐप देने से पहले Compose वातावरण के CORS_ORIGIN में LAN/Tailscale स्रोत जोड़ें:

CORS_ORIGIN=http://localhost:8080,http://192.168.1.50:8080

पुनः शुरू करें:

docker compose -f docker-compose.dev.external-ollama.yml up -d

उपयोगी कमांड​

docker compose -f docker-compose.dev.external-ollama.yml ps
docker compose -f docker-compose.dev.external-ollama.yml logs -f libre-webui
docker compose -f docker-compose.dev.external-ollama.yml pull
docker compose -f docker-compose.dev.external-ollama.yml up -d

समस्या निवारण​

कंटेनर Ollama तक नहीं पहुँचता

docker compose -f docker-compose.dev.external-ollama.yml exec libre-webui \
  wget -O- http://host.docker.internal:11434/api/version

Linux में जोड़ें:

extra_hosts:
  - 'host.docker.internal:host-gateway'

मॉडल CPU पर चलता है

होस्ट Ollama स्थापना, GPU ड्राइवर और ollama ps जाँचें।

TTS चाहिए

Qwen3-TTS, Kyutai TTS या LongCat AudioDiT मार्गदर्शिका उपयोग कर Settings में प्लगइन सक्षम करें।

संबंधित दस्तावेज़​