Hugging Face Hub
Libre WebUI integreras med Hugging Face på två sätt:
- Åtkomst via leverantörsplugin genom Hugging Face Inference Providers.
- Bläddring i Hub inifrån appen efter kompatibla modeller, inklusive GGUF-modeller som kan hämtas genom Ollama.
Konfigurera leverantörspluginet
Skapa en Hugging Face-åtkomsttoken med inferensåtkomst och lägg sedan till den i Settings eller som miljövariabel:
HUGGINGFACE_API_KEY=hf_...
Aktivera Hugging Face-pluginet i Settings > Plugins.
Funktioner
Beroende på tillgången till modell och leverantör kan Hugging Face erbjuda:
- Chatt-/kompletteringsmodeller
- Text-till-tal
- Bildgenerering
- Inbäddningar
- Tal-till-text
Tillgänglighet, priser och dirigering i Hugging Face kan skilja sig mellan modeller och ändras över tid. Kontrollera modellsidan och Hugging Faces leverantörsgränssnitt för aktuell status.
Modellbläddrare
Med den inbyggda bläddraren kan du:
- Söka efter modellnamn eller författare.
- Filtrera efter uppgift.
- Sortera efter trend, hämtningar, gillanden, skapandedatum eller uppdateringsdatum.
- Kontrollera status för åtkomstbegränsade modeller.
- Hämta kompatibla GGUF-filer genom Ollama när det stöds.
Bläddraren hämtar Hub-metadata genom backendproxyn och cachar resultat för bättre prestanda. Backend kräver en aktiv Libre-session för Hub-sökning, och endast en aktuell administratör kan rensa den gemensamma modellcachen.
GGUF och Ollama
För lokal inferens ska du leta efter modeller i GGUF-format. Libre WebUI kan använda
Ollama-kompatibla modellreferenser av typen hf.co/... när ett arkiv innehåller
lämpliga GGUF-filer.
Exempelmönster:
ollama run hf.co/owner/model-repo:tag
Använd gränssnittet när det är möjligt. Det minskar fel vid kopiering och inklistring och håller modellens metadata synliga.
Dirigering via Inference Provider
Hugging Faces OpenAI-kompatibla router stöder modell-ID:n från Hub. Vissa rutter stöder suffix eller leverantörspreferenser. Eftersom detta ändras över tid bör du använda aktuell Hugging Face-dokumentation och den inbyggda modellbläddraren för exakta modell-ID:n.
Åtkomstbegränsade modeller
Vissa modeller kräver att villkor godkänns före användning:
- Öppna modellsidan på Hugging Face.
- Godkänn licensen eller villkoren.
- Bekräfta att din token har åtkomst.
- Försök igen från Libre WebUI.
Åtkomstbegränsade modeller kan visas vid sökning innan din token får köra dem.
Felsökning
Obehörig
- Kontrollera tokenvärdet.
- Bekräfta att token har inferensbehörighet.
- Om du använder uppgifter per användare, bekräfta att nyckeln sparats för den aktuella användaren.
Modellen är inte tillgänglig
- Kontrollera modellens sida på Hugging Face.
- Prova en annan leverantörsrutt om en sådan finns.
- Bekräfta att du har godkänt åtkomstvillkoren.
GGUF-hämtning misslyckas
- Bekräfta att arkivet innehåller GGUF-filer.
- Prova den exakta referensen
hf.co/...i en terminal med Ollama. - Använd en mindre kvantisering om diskutrymme eller minne är begränsat.