Перейти до основного вмісту

Локальний стек GPU

Посібник описує підтримувану репозиторієм конфігурацію: Ollama працює безпосередньо на хості з прямим доступом до GPU, а Libre WebUI — у Docker через docker-compose.dev.external-ollama.yml.

Доступність Work​

Ollama безпосередньо використовує GPU хоста. Work умикається через підключений сокет Docker хоста, даючи Libre WebUI змогу створювати контейнери завдань у тому самому демоні. Безпосереднє встановлення Libre WebUI не потрібне.

Сокет надає контроль над Docker-хостом, еквівалентний root. Вилучіть підключення, якщо Work не потрібен, а в Linux задайте DOCKER_GID у .env.

На комп’ютерах із малим обсягом пам’яті Work може використовувати Ollama Cloud або налаштований віддалений плагін доповнень/чату. Це зменшує витрати пам’яті моделлю, але Docker залишається потрібним для простору й команд завдання.

Що ви отримуєте​

  • Libre WebUI на образі librewebui/libre-webui:dev.
  • Ollama безпосередньо на хості для локального виведення.
  • Постійні томи Libre WebUI.
  • Простий спосіб перевіряти образ dev без контейнеризації Ollama.

Попередні вимоги​

КомпонентВимога
DockerDocker Desktop або Docker Engine із Compose v2
OllamaУстановлена й працює на хості
GPUНеобов’язково, але рекомендовано
NVIDIAАктуальний драйвер і NVIDIA Container Toolkit для контейнерів GPU
ДискДостатньо місця для моделей Ollama

Установлення й перевірка Ollama​

Linux:

curl -fsSL https://ollama.com/install.sh | sh

macOS:

brew install ollama
ollama serve

Завантажте початкову модель:

ollama pull gemma4:12b

Перевірте API:

curl http://localhost:11434/api/version

Запуск Libre WebUI​

Із кореня репозиторію:

docker compose -f docker-compose.dev.external-ollama.yml up -d

Відкрийте http://localhost:8080.

Власна кінцева точка Ollama​

Якщо Ollama розташована на іншому комп’ютері:

OLLAMA_BASE_URL=http://192.168.1.100:11434 docker compose -f docker-compose.dev.external-ollama.yml up -d

Для Tailscale:

OLLAMA_BASE_URL=http://100.x.y.z:11434 docker compose -f docker-compose.dev.external-ollama.yml up -d

Рекомендовані моделі​

Для першої робочої станції з GPU:

ollama pull gemma4:12b
ollama pull qwen3.8:27b
ollama pull gemma4:26b
ollama pull nomic-embed-text

Після запуску базового стека шукайте більші моделі в Model Manager.

Доступ із LAN​

До відкриття програми іншому пристрою додайте джерело LAN або Tailscale до CORS_ORIGIN середовища Compose:

CORS_ORIGIN=http://localhost:8080,http://192.168.1.50:8080

Потім перезапустіть:

docker compose -f docker-compose.dev.external-ollama.yml up -d

Корисні команди​

docker compose -f docker-compose.dev.external-ollama.yml ps
docker compose -f docker-compose.dev.external-ollama.yml logs -f libre-webui
docker compose -f docker-compose.dev.external-ollama.yml pull
docker compose -f docker-compose.dev.external-ollama.yml up -d

Усунення неполадок​

Контейнер не бачить Ollama

docker compose -f docker-compose.dev.external-ollama.yml exec libre-webui \
  wget -O- http://host.docker.internal:11434/api/version

У Linux додайте:

extra_hosts:
  - 'host.docker.internal:host-gateway'

Модель працює на CPU

Ollama використовує встановлення хоста. Перевірте Ollama, драйвер GPU і ollama ps.

Потрібен TTS

Скористайтеся посібником сервера Qwen3-TTS, Kyutai TTS або LongCat AudioDiT, а потім увімкніть відповідний плагін у Settings.

Пов’язана документація​