Hop til hovedindhold

Hugging Face Hub

Libre WebUI integrerer med Hugging Face på to måder:

  • Adgang via et udbyderplugin gennem Hugging Face Inference Providers.
  • Gennemse Hub i appen efter kompatible modeller, herunder GGUF-modeller, der kan hentes gennem Ollama.

Konfigurer udbyderpluginet​

Opret en Hugging Face-adgangstoken med inferensadgang, og tilføj den derefter i Settings eller som en miljøvariabel:

HUGGINGFACE_API_KEY=hf_...

Aktivér Hugging Face-pluginet i Settings > Plugins.

Funktioner​

Afhængigt af model- og udbydertilgængelighed kan Hugging Face tilbyde:

  • Chat-/completionmodeller
  • Tekst-til-tale
  • Billedgenerering
  • Embeddings
  • Tale-til-tekst

Tilgængelighed, priser og routing hos Hugging Face kan ændre sig fra model til model. Se modelsiden og Hugging Faces udbydergrænseflade for den aktuelle status.

Modelbrowser​

Browseren i appen giver dig mulighed for at:

  • Søge efter modelnavn eller forfatter.
  • Filtrere efter opgave.
  • Sortere efter popularitet, downloads, likes, oprettelsesdato eller opdateringsdato.
  • Se status for adgangsbegrænsede modeller.
  • Hente kompatible GGUF-filer gennem Ollama, når det understøttes.

Browseren henter Hub-metadata gennem backend-proxyen og cacher resultater for bedre ydeevne. Backend kræver en aktiv Libre-session til Hub-søgning, og kun en aktuel administrator kan rydde den fælles modelcache.

GGUF og Ollama​

Til lokal inferens skal du lede efter modeller i GGUF-format. Libre WebUI kan bruge Ollama-kompatible modelreferencer af typen hf.co/..., når et repository indeholder egnede GGUF-filer.

Eksempelmønster:

ollama run hf.co/owner/model-repo:tag

Brug grænsefladen, når det er muligt. Det mindsker fejl ved kopiering og indsættelse og holder modellens metadata synlige.

Routing gennem Inference Provider​

Hugging Faces OpenAI-kompatible router understøtter model-ID'er fra Hub. Nogle ruter understøtter suffikser eller udbyderpræferencer. Da dette ændrer sig over tid, bør du bruge den aktuelle Hugging Face-dokumentation og modelbrowseren i appen til nøjagtige model-ID'er.

Adgangsbegrænsede modeller​

Nogle modeller kræver, at vilkår accepteres før brug:

  1. Åbn modelsiden på Hugging Face.
  2. Acceptér licensen eller vilkårene.
  3. Bekræft, at din token har adgang.
  4. Prøv igen fra Libre WebUI.

Adgangsbegrænsede modeller kan blive vist i søgningen, før din token må køre dem.

Fejlfinding​

Ikke godkendt

  • Kontrollér tokenværdien.
  • Bekræft, at tokenen har inferenstilladelse.
  • Hvis du bruger legitimationsoplysninger pr. bruger, skal du bekræfte, at nøglen er gemt for den aktuelle bruger.

Modellen er ikke tilgængelig

  • Se modellens side på Hugging Face.
  • Prøv en anden udbyderrute, hvis en sådan findes.
  • Bekræft, at du har accepteret adgangsvilkårene.

GGUF-download mislykkes

  • Bekræft, at repositoriet indeholder GGUF-filer.
  • Prøv den nøjagtige hf.co/...-reference i en terminal med Ollama.
  • Brug en mindre kvantisering, hvis diskplads eller hukommelse er begrænset.

Relateret dokumentation​