Werken met AI-modellen
Libre WebUI kan lokale Ollama-modellen en via plugins aangeboden cloudmodellen in dezelfde werkruimte gebruiken. Modelbeheer toont geïnstalleerde Ollama-modellen, actieve modellen, live resultaten uit de Ollama Library, GGUF-vermeldingen van Hugging Face en waar beschikbaar vermeldingen van Ollama Cloud.
Een eerste model kiezen
Gebruik deze als uitgangspunt en wissel daarna op basis van je hardware en taak:
| Model | Geschikt voor | Gebruikelijke configuratie |
|---|---|---|
gemma4:12b | Snelle algemene chat | 16 GB RAM of 8 GB VRAM |
qwen3.8:27b | Algemene chat, programmeren, meertalig gebruik | 32 GB RAM of 16-24 GB VRAM |
gemma4:26b | Krachtige chat met MoE-efficiëntie | 24 GB RAM of 16 GB VRAM |
gemma4:31b | Lokale dense chat van de hoogste kwaliteit | 32 GB RAM of 24 GB VRAM |
nomic-embed-text | Document-embeddings | Klein lokaal embeddingmodel |
Grote modellen zoals 30B-, 70B- en MoE-modellen kunnen uitstekend zijn, maar hebben veel meer geheugen nodig. Begin bij twijfel klein en stap pas over wanneer het model soepel werkt.
Modelbeheer
Open Instellingen → Modellen om:
- Modellen op naam uit Ollama op te halen.
- De live Ollama Library te doorzoeken in plaats van op een statische lijst te vertrouwen.
- Geïnstalleerde en actieve modellen te bekijken.
- Alle geïnstalleerde Ollama-modellen in één handeling bij te werken.
- Actieve modellen te stoppen of uit het geheugen te verwijderen.
- Modellen te verwijderen die je niet meer nodig hebt.
- Compatibele GGUF-modellen van Hugging Face via Ollama op te halen.
- Ollama Cloud-modellen via het cloudfilter op te halen.
Voor resultaten van Ollama Cloud normaliseert de interface namen van cloudmodellen voordat ze worden opgehaald. Als een cloudmodel het achtervoegsel :cloud of -cloud vereist, past Libre WebUI dit voor je toe vanuit de cloudmodelstroom.
Modelcatalogus en zichtbaarheid
De Modelcatalogus in Instellingen → Standaardwaarden bevat elk chatmodel dat je kunt kiezen, zowel lokaal als via een provider, met een providerbadge en zoekvak. Kies boven de catalogus het standaardmodel om te bepalen met welk model nieuwe chats beginnen.
Beheerders kunnen een model met een ster vastzetten bovenaan de catalogus en in het menu met standaardmodellen. Bij meerdere sterren staat het laatst gemarkeerde model vooraan; als je de ster verwijdert, krijgt het model weer zijn handmatige of providerpositie.
Beheerders krijgen per rij nog een bediening: een oogschakelaar die een model verbergt in de modelkiezers van alle andere gebruikers. Daarmee worden lange catalogi beperkt tot de modellen die een server daadwerkelijk wil aanbieden. Dit verfijnt alleen de lijst en vormt geen autorisatiecontrole; behandel het als selectie, niet als beveiligingsgrens. Beheerders zien altijd de volledige lijst, waarin verborgen modellen zijn gemarkeerd.
Lokale en cloudmodellen
| Modus | Voordelen | Afwegingen |
|---|---|---|
| Lokale Ollama | Privé, na downloaden offline, voorspelbare kosten | Afhankelijk van CPU/GPU/RAM |
| Ollama Cloud | Vertrouwde Ollama-werkwijze zonder lokale hardwarelimieten | Vereist cloud- en netwerktoegang |
| Providerplugins | Toegang tot beheerde modellen van meerdere providers | API-sleutels, providerprijzen en privacybeleid van de provider zijn van toepassing |
Je kunt lokale modellen voor privéwerk behouden en providerplugins inschakelen voor taken die grotere gehoste modellen vereisen.
Standaard visionmodel
Je kunt chatten met een snel tekstmodel en toch afbeeldingen sturen. Kies een visionmodel onder Instellingen → Standaardwaarden → Gespecialiseerde modellen → Visionmodel. Zodra de uitgaande chatcontext afbeeldingen bevat — een nieuwe bijlage, een eerdere afbeelding in de sessie of geschiedenis in een incognitochat — wordt die beurt naar het ingestelde visionmodel gestuurd in plaats van het sessiemodel. Beurten met alleen tekst blijven het sessiemodel gebruiken.
De instelling geldt per gebruiker en de routering verloopt automatisch en stil. Het huidige chatmodel gebruiken geselecteerd laten schakelt de functie uit. De controle kijkt naar afbeeldingen, niet naar de mogelijkheden van het sessiemodel: wanneer een visionmodel is ingesteld, gebruikt elke beurt met een afbeelding dat model, ook als het sessiemodel zelf afbeeldingen kan verwerken.
De selectie slaat de exacte provideridentiteit (Ollama of een specifieke plugin) samen met de modelnaam op, zodat een provider geen model met dezelfde naam kan overnemen. Als de opgeslagen selectie die identiteit verliest, bijvoorbeeld omdat model of provider niet meer beschikbaar is, mislukt een beurt met een afbeelding. Selecteer het model opnieuw onder Instellingen → Standaardwaarden → Gespecialiseerde modellen → Visionmodel om dit te herstellen. De duidelijke fout is opzettelijk; Libre WebUI vervangt een provider niet stilzwijgend door een andere.
Modellen voor Work
Work vereist een chatmodel dat tools kan aanroepen. Het kan gebruikmaken van:
- Een geïnstalleerd Ollama-model dat de mogelijkheid
toolsmeldt. - Een Ollama Cloud-model dat via het ingestelde Ollama-eindpunt beschikbaar is.
- Een model dat wordt vermeld door een actieve chat- of voltooiingsplugin, met referenties ingesteld voor de huidige beheerder.
Work-uitvoeringen via plugins gebruiken de provideradapter die bij de ingestelde plugin past: OpenAI-compatibel, Anthropic of Gemini. Libre WebUI bewaart het exacte providertype en de plugin-ID bij de taak en elke uitvoering, zodat een plugin geen Ollama-model met dezelfde naam kan overnemen. Als het geselecteerde model of de provider toolaanroepen weigert, mislukt de uitvoering in plaats van stilzwijgend naar een andere provider over te schakelen.
Met lokale Ollama blijven modelverzoeken op de ingestelde Ollama-infrastructuur. Bij een extern model ontvangt de ingestelde provider de Work-systeemprompt, de conversatie, tooldefinities en toolresultaten. Toolresultaten kunnen door het model opgevraagde brontekst, opdrachtuitvoer of directorylijsten bevatten. Werkruimtevolumes en providerreferenties blijven op de backendhost, maar de inhoud van een bestand kan die host verlaten wanneer deze in een toolresultaat is opgenomen.
Eén autonome Work-uitvoering kan meerdere modelaanroepen doen. Controleer het prijs-, bewaar- en trainingsbeleid van de externe provider voordat je gevoelige projecten gebruikt. Libre WebUI toont in Work een melding over de externe provider die elke gebruiker afzonderlijk kan sluiten.
Hardwaregids
| Systeem | Praktisch modelbereik | Opmerkingen |
|---|---|---|
| Alleen CPU, 8-16 GB RAM | 1B-4B | Goed voor lichte chats en testen |
| 8 GB VRAM | 4B-8B gekwantiseerd | Comfortabel uitgangspunt |
| 12-16 GB VRAM | 8B-14B gekwantiseerd | Goed bereik voor dagelijks gebruik |
| 24 GB VRAM | 14B-32B gekwantiseerd | Krachtig lokaal werkstation |
| 48 GB+ VRAM of groot gedeeld geheugen | 32B-70B gekwantiseerd | Experimenteren met grote modellen |
Gekwantiseerde modellen gebruiken minder geheugen. Q4-kwantisaties zijn meestal de praktische standaard; Q8 gebruikt meer geheugen voor een betere kwaliteit.
Aanbevelingen per taak
| Taak | Modelrichting |
|---|---|
| Snelle chat | gemma4:12b en andere kleine actuele modellen |
| Programmeren | Qwen Coder, Codestral, programmeermodellen van providers |
| Redeneren | Grotere Qwen- en Gemma-modellen, redeneermodellen van providers |
| Vision | Multimodale modellen zoals LLaVA, Qwen VL of visionmodellen van providers |
| Documenten zoeken | nomic-embed-text of een ander embeddingmodel |
| Tekst-naar-spraak | TTS-plugins zoals Qwen3-TTS of Kyutai TTS |
Modelnamen van providers veranderen vaak. Gebruik in Libre WebUI de modeldetectie van de provider waar die beschikbaar is, of plak de exacte model-ID uit het providerdashboard.
Prompts en instellingen
- Generatiebedieningen zoals temperatuur, tokenlimieten, contextlengte en straffen zijn gegroepeerd onder Geavanceerde generatie-instellingen en zijn standaard ingeklapt.
- Gebruik een lage temperatuur (
0.1-0.3) voor feitelijke, herhaalbare antwoorden. - Gebruik een gemiddelde temperatuur (
0.5-0.7) voor normaal assistentwerk. - Gebruik een hogere temperatuur (
0.8+) voor brainstormen en creatief schrijven. - Houd de contextlengte redelijk wanneer je de geheugenlimieten nadert.
- Gebruik persona's wanneer je blijvende modelparameters en een herbruikbare systeemprompt wilt.
Problemen oplossen
Ophalen mislukt
- Controleer of Ollama actief is:
ollama list. - Probeer dezelfde download in een terminal om de onbewerkte Ollama-fout te zien.
- Controleer de schijfruimte voordat je grote modellen ophaalt.
- Laat Libre WebUI cloudachtervoegsels afhandelen als je het cloudfilter van Modelbeheer gebruikt.
Antwoorden zijn traag
- Probeer een kleiner model of een lagere kwantisatie.
- Gebruik
ollama psom te zien wat geladen is. - Sluit andere GPU-intensieve toepassingen.
- Verklein de contextlengte.
Onvoldoende geheugen
- Stap over van Q8 naar Q4.
- Gebruik een 8B-model in plaats van een 14B-model.
- Houd alleen het benodigde model geladen.
- Controleer bij Docker of de container toegang heeft tot de GPU of tot Ollama op de host.