ข้ามไปยังเนื้อหาหลัก

ชุดระบบ GPU ในเครื่อง

คู่มือนี้อธิบายการติดตั้ง GPU ในเครื่องที่ repository รองรับ: Ollama รันโดยตรงบนโฮสต์เพื่อเข้าถึง GPU โดยตรง ส่วน Libre WebUI รันใน Docker ด้วย docker-compose.dev.external-ollama.yml

ความพร้อมใช้งานของ Work​

Ollama รันโดยตรงบน GPU ของโฮสต์ Work เปิดใช้งานผ่าน Docker socket ของโฮสต์ที่ถูก mount ทำให้ Libre WebUI สร้างคอนเทนเนอร์แยกตามงานบน daemon เดียวกันได้ โดยไม่ต้องติดตั้ง Libre WebUI โดยตรงบนเครื่อง

socket นี้มอบสิทธิ์ควบคุมโฮสต์ Docker เทียบเท่า root หากไม่ต้องใช้ Work ให้เอา mount ออก และบน Linux ให้ตั้ง DOCKER_GID ใน .env

บนเครื่องที่มีหน่วยความจำจำกัด Work สามารถใช้โมเดล Ollama Cloud หรือปลั๊กอิน completion/chat ระยะไกลที่กำหนดค่าไว้แทนได้ ซึ่งช่วยลดแรงกดดันต่อหน่วยความจำโมเดลในเครื่อง แต่ยังต้องใช้ Docker สำหรับพื้นที่ทำงานและคำสั่งของงาน

สิ่งที่คุณจะได้​

  • Libre WebUI ที่ใช้ image librewebui/libre-webui:dev
  • Ollama ที่รันโดยตรงบนโฮสต์สำหรับการอนุมานโมเดลในเครื่อง
  • volume ข้อมูลถาวรของ Libre WebUI
  • เส้นทางที่สะอาดสำหรับทดสอบ dev image โดยไม่ต้องนำ Ollama เข้าไปในคอนเทนเนอร์

สิ่งที่ต้องมี​

ส่วนประกอบข้อกำหนด
DockerDocker Desktop หรือ Docker Engine พร้อม Compose v2
Ollamaติดตั้งและทำงานบนโฮสต์
GPUไม่บังคับ แต่แนะนำสำหรับโมเดลในเครื่อง
NVIDIAไดรเวอร์ปัจจุบันและ NVIDIA Container Toolkit หากรันงาน GPU ในคอนเทนเนอร์
ดิสก์พื้นที่เพียงพอสำหรับไฟล์โมเดล Ollama

ติดตั้งและตรวจสอบ Ollama​

Linux:

curl -fsSL https://ollama.com/install.sh | sh

macOS:

brew install ollama
ollama serve

ดาวน์โหลดโมเดลเริ่มต้น:

ollama pull gemma4:12b

ตรวจสอบ API:

curl http://localhost:11434/api/version

เริ่ม Libre WebUI​

จากรากของ repository:

docker compose -f docker-compose.dev.external-ollama.yml up -d

เปิด http://localhost:8080

ปลายทาง Ollama แบบกำหนดเอง​

หาก Ollama อยู่บนเครื่องอื่น:

OLLAMA_BASE_URL=http://192.168.1.100:11434 docker compose -f docker-compose.dev.external-ollama.yml up -d

สำหรับ Tailscale:

OLLAMA_BASE_URL=http://100.x.y.z:11434 docker compose -f docker-compose.dev.external-ollama.yml up -d

โมเดลที่แนะนำ​

สำหรับ workstation GPU เครื่องแรก:

ollama pull gemma4:12b
ollama pull qwen3.8:27b
ollama pull gemma4:26b
ollama pull nomic-embed-text

เมื่อชุดระบบพื้นฐานทำงานแล้ว ใช้ Model Manager เพื่อค้นหาโมเดลที่ใหญ่ขึ้น

การเข้าถึงผ่าน LAN​

เพิ่ม origin ของ LAN หรือ Tailscale ไปยัง CORS_ORIGIN ในสภาพแวดล้อม Compose ก่อนเปิดแอปให้อุปกรณ์อื่น:

CORS_ORIGIN=http://localhost:8080,http://192.168.1.50:8080

จากนั้นรีสตาร์ต:

docker compose -f docker-compose.dev.external-ollama.yml up -d

คำสั่งที่มีประโยชน์​

docker compose -f docker-compose.dev.external-ollama.yml ps
docker compose -f docker-compose.dev.external-ollama.yml logs -f libre-webui
docker compose -f docker-compose.dev.external-ollama.yml pull
docker compose -f docker-compose.dev.external-ollama.yml up -d

การแก้ปัญหา​

คอนเทนเนอร์เข้าถึง Ollama ไม่ได้

docker compose -f docker-compose.dev.external-ollama.yml exec libre-webui \
  wget -O- http://host.docker.internal:11434/api/version

บน Linux ให้เพิ่ม:

extra_hosts:
  - 'host.docker.internal:host-gateway'

โมเดลรันบน CPU

Ollama แบบ native ใช้การติดตั้งบนโฮสต์ ตรวจสอบการติดตั้ง Ollama, ไดรเวอร์ GPU และ ollama ps

ต้องการ TTS

ใช้คู่มือเซิร์ฟเวอร์ Qwen3-TTS, Kyutai TTS หรือ LongCat AudioDiT แล้วเปิดปลั๊กอินที่ตรงกันใน Settings

เอกสารที่เกี่ยวข้อง​