Перейти к основному содержимому

Локальный стек GPU

Руководство описывает поддерживаемую репозиторием конфигурацию: Ollama работает нативно на хосте с прямым доступом к GPU, а Libre WebUI — в Docker через docker-compose.dev.external-ollama.yml.

Доступность Work​

Ollama нативно использует GPU хоста. Work включается через подключённый сокет Docker хоста, позволяя Libre WebUI создавать контейнеры задач в том же демоне. Нативная установка Libre WebUI не нужна.

Сокет даёт контроль над Docker-хостом, эквивалентный root. Удалите подключение, если Work не нужен, а в Linux задайте DOCKER_GID в .env.

На компьютерах с малым объёмом памяти Work может использовать Ollama Cloud или настроенный удалённый плагин completions/chat. Это снижает расход памяти моделью, но Docker остаётся необходимым для области и команд задачи.

Что вы получаете​

  • Libre WebUI на образе librewebui/libre-webui:dev.
  • Нативную Ollama хоста для локального инференса.
  • Постоянные тома Libre WebUI.
  • Простой способ проверять dev-образ без контейнеризации Ollama.

Предварительные требования​

КомпонентТребование
DockerDocker Desktop или Docker Engine с Compose v2
OllamaУстановлена и работает на хосте
GPUНеобязательно, но рекомендуется
NVIDIAАктуальный драйвер и NVIDIA Container Toolkit для контейнеров GPU
ДискДостаточно места для моделей Ollama

Установка и проверка Ollama​

Linux:

curl -fsSL https://ollama.com/install.sh | sh

macOS:

brew install ollama
ollama serve

Загрузите стартовую модель:

ollama pull gemma4:12b

Проверьте API:

curl http://localhost:11434/api/version

Запуск Libre WebUI​

Из корня репозитория:

docker compose -f docker-compose.dev.external-ollama.yml up -d

Откройте http://localhost:8080.

Пользовательский эндпоинт Ollama​

Если Ollama находится на другом компьютере:

OLLAMA_BASE_URL=http://192.168.1.100:11434 docker compose -f docker-compose.dev.external-ollama.yml up -d

Для Tailscale:

OLLAMA_BASE_URL=http://100.x.y.z:11434 docker compose -f docker-compose.dev.external-ollama.yml up -d

Рекомендуемые модели​

Для первой рабочей станции с GPU:

ollama pull gemma4:12b
ollama pull qwen3.8:27b
ollama pull gemma4:26b
ollama pull nomic-embed-text

После запуска базового стека ищите крупные модели в Model Manager.

Доступ из LAN​

Перед открытием приложения другому устройству добавьте источник LAN или Tailscale в CORS_ORIGIN окружения Compose:

CORS_ORIGIN=http://localhost:8080,http://192.168.1.50:8080

Затем перезапустите:

docker compose -f docker-compose.dev.external-ollama.yml up -d

Полезные команды​

docker compose -f docker-compose.dev.external-ollama.yml ps
docker compose -f docker-compose.dev.external-ollama.yml logs -f libre-webui
docker compose -f docker-compose.dev.external-ollama.yml pull
docker compose -f docker-compose.dev.external-ollama.yml up -d

Устранение неполадок​

Контейнер не видит Ollama

docker compose -f docker-compose.dev.external-ollama.yml exec libre-webui \
  wget -O- http://host.docker.internal:11434/api/version

В Linux добавьте:

extra_hosts:
  - 'host.docker.internal:host-gateway'

Модель работает на CPU

Нативная Ollama использует установку хоста. Проверьте Ollama, драйвер GPU и ollama ps.

Нужен TTS

Используйте руководство сервера Qwen3-TTS, Kyutai TTS или LongCat AudioDiT, затем включите соответствующий плагин в Settings.

Связанная документация​