Requisiti hardware
La normale interfaccia Chat di Libre WebUI è leggera. La maggior parte delle risorse è richiesta dai modelli Ollama locali; le attività Work basate su container aggiungono budget separati per CPU, memoria, processi, immagini e archiviazione dei progetti.
Riferimento rapido
| Hardware | Modelli locali adatti | Note |
|---|---|---|
| 8 GB RAM, solo CPU | 1B-4B quantizzati | Adatto a test e chat leggere |
| 16 GB RAM, solo CPU | 4B-8B quantizzati | Utilizzabile, più lento di una GPU |
| 8 GB VRAM | 4B-8B quantizzati | Buona configurazione locale quotidiana |
| 12-16 GB VRAM | 8B-14B quantizzati | Fascia workstation potente |
| 24 GB VRAM | 14B-32B quantizzati | Uso locale di fascia alta |
| 48 GB+ VRAM o molta memoria unificata | 32B-70B quantizzati | Sperimentazione con modelli di grandi dimensioni |
La velocità effettiva dipende da architettura e quantizzazione del modello, lunghezza del contesto, driver della GPU e altri processi in esecuzione.
Buoni modelli iniziali
ollama pull gemma4:12b
ollama pull qwen3.8:27b
ollama pull gemma4:26b
ollama pull nomic-embed-text
Usa nomic-embed-text per gli embedding dei documenti, non come modello di chat.
VRAM e RAM
La VRAM è il fattore principale per la velocità dei modelli locali. Se il modello entra nella VRAM, le risposte sono molto più rapide. Se deve usare anche la RAM di sistema, può comunque funzionare, ma sarà più lento.
La RAM di sistema è importante per l'inferenza su CPU, l'offload sulla GPU, le finestre di contesto lunghe e l'esecuzione del resto dell'app.
Apple Silicon
Apple Silicon usa memoria unificata, quindi la memoria del modello proviene dallo stesso pool usato dal sistema operativo e dalle applicazioni. Le macchine con più memoria unificata possono eseguire modelli quantizzati più grandi rispetto a quanto suggerirebbe il valore della VRAM di una GPU dedicata.
Lascia abbastanza memoria libera per browser, backend e sistema operativo.
NVIDIA
Le GPU NVIDIA offrono generalmente la migliore compatibilità per l'inferenza locale tramite CUDA. Usa driver aggiornati e, se esegui Ollama nei container, verifica l'accesso Docker alla GPU.
AMD e Intel
Il supporto AMD e Intel dipende da Ollama e dai driver disponibili per la piattaforma. Quando non è presente l'accelerazione GPU, rimane disponibile l'inferenza su CPU.
Ridurre l'uso della memoria
- Usa modelli più piccoli.
- Usa la quantizzazione Q4 anziché Q8.
- Riduci la lunghezza del contesto.
- Scarica dalla memoria i modelli non utilizzati.
- Mantieni gli embedding dei documenti indipendenti dalla scelta del modello di chat.
Capacità del runtime Work
Work aggiunge risorse dei container oltre a quelle della WebUI e del processo del modello. Per impostazione predefinita, ogni container di attività attivo dispone di:
- 2 GB di memoria;
- 2 CPU; e
- 256 processi.
Il backend consente per impostazione predefinita due attività attive basate su container nell'intera istanza e una per amministratore. Si tratta di limiti, non di riserve, ma gli operatori devono dimensionare contemporaneamente backend WebUI, browser, Docker, Ollama e container delle attività. Su Apple Silicon, tutti questi elementi competono in ultima analisi per lo stesso pool di memoria unificata.
L'uso di Ollama Cloud o di un plugin configurato per modelli remoti può evitare il caricamento di un modello di grandi dimensioni nella RAM o VRAM locale. Non elimina il requisito di Docker né le risorse necessarie al container Work.
Ogni attività Work possiede anche un volume Docker con nome per i file generati e le dipendenze locali. I volumi non dispongono attualmente di quote disco per singola attività, quindi le installazioni di pacchetti o i progetti generati possono esaurire lo spazio di archiviazione Docker. Controlla la radice dei dati Docker, imposta limiti a livello di host dove disponibili ed esegui il backup dei volumi delle attività separatamente dal database di Libre WebUI.
Modifica le impostazioni WORK_MEMORY_LIMIT, WORK_CPU_LIMIT, WORK_PIDS_LIMIT e
WORK_MAX_ACTIVE_RUNTIMES_* solo dopo aver misurato l'host del backend. Consulta il
riferimento delle variabili d'ambiente per i valori predefiniti.