Cerințe hardware
Chat-ul obișnuit din Libre WebUI consumă puține resurse. Cea mai mare parte este folosită de modelele locale Ollama; sarcinile Work în containere adaugă bugete separate pentru CPU, memorie, procese, imagine și stocarea proiectului.
Referință rapidă
| Hardware | Modele locale practice | Observație |
|---|---|---|
| 8 GB RAM, numai CPU | 1B–4B cuantizate | Testare și chat ușor |
| 16 GB RAM, numai CPU | 4B–8B cuantizate | Util, mai lent decât GPU |
| 8 GB VRAM | 4B–8B cuantizate | Configurație locală bună pentru uz zilnic |
| 12–16 GB VRAM | 8B–14B cuantizate | Stație de lucru puternică |
| 24 GB VRAM | 14B–32B cuantizate | Utilizare locală solicitantă |
| 48 GB+ VRAM sau memorie unificată mare | 32B–70B cuantizate | Experimentare cu modele mari |
Viteza reală depinde de arhitectură, cuantizare, lungimea contextului, driverele GPU și celelalte procese.
Modele bune pentru început
ollama pull gemma4:12b
ollama pull qwen3.8:27b
ollama pull gemma4:26b
ollama pull nomic-embed-text
Folosiți nomic-embed-text pentru embeddings de documente, nu ca model chat.
VRAM față de RAM
VRAM influențează cel mai mult viteza unui model local. Dacă modelul încape complet în VRAM, răspunsurile sunt mult mai rapide. Transferul parțial în memoria sistemului poate funcționa, dar mai lent. RAM-ul sistemului contează pentru inferență pe CPU, offload GPU, ferestre de context mari și restul aplicației.
Apple Silicon
Apple Silicon folosește memorie unificată, deci modelul, sistemul de operare și aplicațiile împart același spațiu. Sistemele cu mai multă memorie unificată pot rula modele cuantizate mai mari decât ar sugera VRAM-ul unui GPU separat. Păstrați memorie liberă pentru browser, backend și sistemul de operare.
NVIDIA
GPU-urile NVIDIA oferă de regulă cea mai bună compatibilitate pentru inferență locală prin CUDA. Folosiți drivere recente și verificați accesul GPU din Docker dacă Ollama rulează într-un container.
AMD și Intel
Suportul depinde de Ollama și de driverele platformei. Inferența pe CPU rămâne disponibilă fără accelerare GPU.
Reducerea consumului de memorie
- Folosiți modele mai mici.
- Folosiți Q4 în loc de Q8.
- Reduceți contextul.
- Descărcați din memorie modelele nefolosite.
- Țineți modelul de embeddings pentru documente separat de modelul chat.
Capacitatea runtime pentru Work
Work adaugă resurse de container peste WebUI și procesul modelului. Fiecare container activ de sarcină are implicit:
- 2 GB memorie;
- 2 CPU; și
- 256 de procese.
Backend-ul permite două sarcini active în întreaga instanță și una per administrator. Acestea sunt limite, nu rezervări, dar trebuie bugetate simultan backend-ul, browserul, Docker, Ollama și containerele. Pe Apple Silicon, toate concurează pentru același spațiu de memorie.
Ollama Cloud sau un plugin la distanță evită încărcarea locală a unui model mare, dar nu elimină cerința Docker sau resursele Work.
Fiecare sarcină are și un volum Docker nominalizat pentru fișiere și dependențe. Nu există cote per sarcină; instalarea pachetelor poate umple spațiul Docker. Monitorizați rădăcina de date, aplicați limite la nivelul host-ului și salvați separat volumele Work față de baza de date.
Reglați WORK_MEMORY_LIMIT, WORK_CPU_LIMIT, WORK_PIDS_LIMIT și WORK_MAX_ACTIVE_RUNTIMES_* numai după ce măsurați host-ul. Consultați variabilele de mediu.