Ga naar hoofdinhoud

Hugging Face Hub

Libre WebUI integreert op twee manieren met Hugging Face:

  • Toegang via de providerplugin tot Hugging Face Inference Providers.
  • In de app door de Hub bladeren naar compatibele modellen, waaronder GGUF-modellen die via Ollama kunnen worden opgehaald.

De providerplugin configureren​

Maak een Hugging Face-toegangstoken met inferentietoegang en voeg dit daarna toe in Instellingen of als omgevingsvariabele:

HUGGINGFACE_API_KEY=hf_...

Schakel de Hugging Face-plugin in via Instellingen > Plugins.

Mogelijkheden​

Afhankelijk van de beschikbaarheid van model en provider kan Hugging Face het volgende leveren:

  • Chat-/voltooiingsmodellen
  • Tekst-naar-spraak
  • Afbeeldingen genereren
  • Embeddings
  • Spraak-naar-tekst

Beschikbaarheid, prijzen en routering van Hugging Face kunnen per model veranderen. Controleer de modelpagina en de providerinterface van Hugging Face voor de huidige status.

Modelbrowser​

Met de browser in de app kun je:

  • Zoeken op modelnaam of auteur.
  • Filteren op taak.
  • Sorteren op trending, downloads, vind-ik-leuks, aanmaakdatum of updatedatum.
  • De status van afgeschermde modellen bekijken.
  • Waar ondersteund compatibele GGUF-bestanden via Ollama ophalen.

De browser haalt metagegevens van de Hub via de backendproxy op en slaat resultaten voor betere prestaties in de cache op. De backend vereist een actieve Libre-sessie voor Hub-detectie en alleen een huidige beheerder kan de gedeelde modelcache wissen.

GGUF en Ollama​

Zoek voor lokale inferentie naar modellen in GGUF-indeling. Libre WebUI kan met Ollama compatibele hf.co/...-modelverwijzingen gebruiken wanneer een repository geschikte GGUF-bestanden aanbiedt.

Voorbeeldpatroon:

ollama run hf.co/owner/model-repo:tag

Gebruik waar mogelijk de interface; zo voorkom je kopieer-/plakfouten en blijven de modelmetagegevens zichtbaar.

Routering van Inference Providers​

De OpenAI-compatibele router van Hugging Face ondersteunt model-ID's uit de Hub. Sommige routes ondersteunen achtervoegsels of providervoorkeuren. Omdat dit in de loop van de tijd verandert, kun je voor exacte model-ID's het best de huidige Hugging Face-documentatie en de modelbrowser in de app gebruiken.

Afgeschermde modellen​

Voor sommige modellen moet je vóór gebruik voorwaarden accepteren:

  1. Open de modelpagina op Hugging Face.
  2. Accepteer de licentie of voorwaarden.
  3. Controleer of je token toegang heeft.
  4. Probeer het opnieuw vanuit Libre WebUI.

Afgeschermde modellen kunnen in de detectie verschijnen voordat je token ze mag uitvoeren.

Problemen oplossen​

Niet gemachtigd

  • Controleer de tokenwaarde.
  • Controleer of het token inferentierechten heeft.
  • Controleer bij referenties per gebruiker of de sleutel voor de huidige gebruiker is opgeslagen.

Model niet beschikbaar

  • Controleer de Hugging Face-modelpagina.
  • Probeer indien beschikbaar een andere providerroute.
  • Controleer of je de voorwaarden voor afgeschermde toegang hebt geaccepteerd.

GGUF ophalen mislukt

  • Controleer of de repository GGUF-bestanden bevat.
  • Probeer de exacte hf.co/...-verwijzing in een terminal met Ollama.
  • Gebruik een kleinere kwantisatie als schijfruimte of geheugen beperkt is.

Gerelateerde documentatie​