로컬 GPU 스택
이 가이드는 저장소에서 지원하는 로컬 GPU 설정을 설명합니다. Ollama는 GPU에 직접 접근하도록 호스트에서 네이티브로 실행되고 Libre WebUI는 docker-compose.dev.external-ollama.yml을 사용해 Docker에서 실행됩니다.
Work 사용 가능 여부
Ollama는 호스트 GPU에서 네이티브로 실행됩니다. Work는 마운트된 호스트 Docker 소켓을 통해 활성화되며 Libre WebUI가 같은 데몬에 작업 범위 컨테이너를 만들 수 있습니다. Libre WebUI를 네이티브로 설치할 필요가 없습니다.
소켓은 Docker 호스트에 대해 root와 동등한 제어 권한을 부여합니다. Work가 필요하지 않으면 마운트를 제거하고, Linux에서는 .env에 DOCKER_GID를 설정하세요.
메모리가 제한된 컴퓨터에서 Work는 대신 Ollama Cloud 모델이나 설정된 원격 완성/채팅 플러그인을 사용할 수 있습니다. 그러면 로컬 모델의 메모리 부담은 줄지만 작업 워크스페이스와 명령에는 여전히 Docker가 필요합니다.
제공되는 구성
librewebui/libre-webui:dev이미지를 사용하는 Libre WebUI- 로컬 모델 추론을 위한 호스트 네이티브 Ollama
- 영속 Libre WebUI 데이터 볼륨
- Ollama를 컨테이너화하지 않고 dev 이미지를 테스트하는 깔끔한 경로
사전 요구 사항
| 구성 요소 | 요구 사항 |
|---|---|
| Docker | Compose v2를 지원하는 Docker Desktop 또는 Docker Engine |
| Ollama | 호스트에 설치되어 실행 중이어야 함 |
| GPU | 선택 사항이지만 로컬 모델에는 권장 |
| NVIDIA | GPU 워크로드를 컨테이너화한다면 최신 드라이버와 NVIDIA Container Toolkit |
| 디스크 | Ollama 모델 파일을 저장할 충분한 공간 |
Ollama 설치 및 확인
Linux:
curl -fsSL https://ollama.com/install.sh | sh
macOS:
brew install ollama
ollama serve
시작 모델을 가져옵니다.
ollama pull gemma4:12b
API를 확인합니다.
curl http://localhost:11434/api/version
Libre WebUI 시작
저장소 루트에서 다음을 실행합니다.
docker compose -f docker-compose.dev.external-ollama.yml up -d
http://localhost:8080을 여세요.
사용자 지정 Ollama 엔드포인트
Ollama가 다른 컴퓨터에 있다면 다음을 사용합니다.
OLLAMA_BASE_URL=http://192.168.1.100:11434 docker compose -f docker-compose.dev.external-ollama.yml up -d
Tailscale의 경우:
OLLAMA_BASE_URL=http://100.x.y.z:11434 docker compose -f docker-compose.dev.external-ollama.yml up -d
권장 모델
첫 GPU 워크스테이션에는 다음을 권장합니다.
ollama pull gemma4:12b
ollama pull qwen3.8:27b
ollama pull gemma4:26b
ollama pull nomic-embed-text
기본 스택이 작동하면 모델 관리자에서 더 큰 모델을 찾아보세요.
LAN 접근
다른 기기에 앱을 노출하기 전에 Compose 환경의 CORS_ORIGIN에 LAN 또는 Tailscale 원본을 추가하세요.
CORS_ORIGIN=http://localhost:8080,http://192.168.1.50:8080
그런 다음 다시 시작합니다.
docker compose -f docker-compose.dev.external-ollama.yml up -d
유용한 명령
docker compose -f docker-compose.dev.external-ollama.yml ps
docker compose -f docker-compose.dev.external-ollama.yml logs -f libre-webui
docker compose -f docker-compose.dev.external-ollama.yml pull
docker compose -f docker-compose.dev.external-ollama.yml up -d
문제 해결
컨테이너에서 Ollama에 접근할 수 없음
docker compose -f docker-compose.dev.external-ollama.yml exec libre-webui \
wget -O- http://host.docker.internal:11434/api/version
Linux에서는 다음을 추가하세요.
extra_hosts:
- 'host.docker.internal:host-gateway'
모델이 CPU에서 실행됨
네이티브 Ollama는 호스트 설치를 사용합니다. Ollama 설치, GPU 드라이버 및 ollama ps를 확인하세요.
TTS가 필요함
Qwen3-TTS, Kyutai TTS 또는 LongCat AudioDiT 서버 가이드를 사용한 다음 설정에서 일치하는 플러그인을 활성화하세요.