跳到主要内容

本地 GPU 技术栈

本指南介绍仓库支持的本地 GPU 配置：Ollama 在主机原生运行以直接访问 GPU，Libre WebUI 通过 docker-compose.dev.external-ollama.yml 在 Docker 中运行。

Work 可用性​

Work 通过挂载的主机 Docker Socket 在同一 Daemon 上创建任务容器，无需原生安装 Libre WebUI。Socket 会授予等同 root 的控制权；不使用 Work 时移除挂载，Linux 上在 .env 中设置 DOCKER_GID。

内存不足时可使用 Ollama Cloud 或远程聊天/补全插件，减少模型内存，但 Work 工作区和命令仍需要 Docker。

你将获得​

  • 使用 librewebui/libre-webui:dev 的 Libre WebUI。
  • 在主机原生运行的 Ollama。
  • 持久 Libre WebUI 数据卷。
  • 无需容器化 Ollama 即可测试 dev 镜像。

前置条件​

组件要求
DockerDocker Desktop 或带 Compose v2 的 Docker Engine
Ollama已在主机安装并运行
GPU可选，但建议本地模型使用
NVIDIA容器化 GPU 工作负载需要最新驱动和 NVIDIA Toolkit
磁盘足够存放 Ollama 模型

安装并验证 Ollama​

Linux：

curl -fsSL https://ollama.com/install.sh | sh

macOS：

brew install ollama
ollama serve
ollama pull gemma4:12b
curl http://localhost:11434/api/version

启动 Libre WebUI​

docker compose -f docker-compose.dev.external-ollama.yml up -d

打开 http://localhost:8080。

自定义 Ollama 端点​

OLLAMA_BASE_URL=http://192.168.1.100:11434 docker compose -f docker-compose.dev.external-ollama.yml up -d

Tailscale：

OLLAMA_BASE_URL=http://100.x.y.z:11434 docker compose -f docker-compose.dev.external-ollama.yml up -d

推荐模型​

ollama pull gemma4:12b
ollama pull qwen3.8:27b
ollama pull gemma4:26b
ollama pull nomic-embed-text

基础技术栈工作后，可通过模型管理器查找更大模型。

局域网访问​

对其他设备开放前，将 LAN 或 Tailscale Origin 加入 CORS_ORIGIN：

CORS_ORIGIN=http://localhost:8080,http://192.168.1.50:8080
docker compose -f docker-compose.dev.external-ollama.yml up -d

常用命令​

docker compose -f docker-compose.dev.external-ollama.yml ps
docker compose -f docker-compose.dev.external-ollama.yml logs -f libre-webui
docker compose -f docker-compose.dev.external-ollama.yml pull
docker compose -f docker-compose.dev.external-ollama.yml up -d

故障排除​

容器无法访问 Ollama

docker compose -f docker-compose.dev.external-ollama.yml exec libre-webui \
  wget -O- http://host.docker.internal:11434/api/version

Linux 上添加：

extra_hosts:
  - 'host.docker.internal:host-gateway'

模型使用 CPU — 检查原生 Ollama、GPU 驱动和 ollama ps。

需要 TTS — 使用 Qwen3-TTS、Kyutai TTS 或 LongCat AudioDiT 指南并启用对应插件。

相关文档​