Zum Hauptinhalt springen

Hugging Face Hub

Libre WebUI integriert Hugging Face auf zwei Arten:

  • Anbieter-Plugin-Zugriff über Hugging Face Inference Providers.
  • Durchsuchen des Hub in der Anwendung nach kompatiblen Modellen, einschließlich GGUF-Modellen, die über Ollama bezogen werden können.

Anbieter-Plugin konfigurieren​

Erstelle ein Hugging Face-Zugriffstoken mit Inferenzzugriff und füge es in den Einstellungen oder als Umgebungsvariable hinzu:

HUGGINGFACE_API_KEY=hf_...

Aktiviere das Hugging Face-Plugin unter Einstellungen > Plugins.

Funktionen​

Je nach Verfügbarkeit von Modell und Anbieter kann Hugging Face Folgendes bieten:

  • Chat- oder Vervollständigungsmodelle
  • Text-zu-Sprache
  • Bilderzeugung
  • Embeddings
  • Sprache-zu-Text

Verfügbarkeit, Preise und Routing können sich je Modell ändern. Prüfe die Modellseite und die Anbieteroberfläche von Hugging Face auf den aktuellen Status.

Modellbrowser​

Mit dem integrierten Browser kannst du:

  • Nach Modellname oder Autor suchen.
  • Nach Aufgabe filtern.
  • Nach Trends, Downloads, Likes, Erstellungs- oder Aktualisierungsdatum sortieren.
  • Den Status zugriffsbeschränkter Modelle prüfen.
  • Kompatible GGUF-Dateien über Ollama beziehen.

Der Browser ruft Hub-Metadaten über den Backend-Proxy ab und speichert Ergebnisse für bessere Leistung zwischen. Das Backend verlangt eine aktive Libre-Sitzung; nur ein aktueller Administrator kann den gemeinsamen Modellcache leeren.

GGUF und Ollama​

Suche für lokale Inferenz nach Modellen im GGUF-Format. Libre WebUI kann Ollama- kompatible Referenzen hf.co/... verwenden, wenn ein Repository geeignete Dateien bereitstellt.

Beispielmuster:

ollama run hf.co/owner/model-repo:tag

Nutze möglichst die Oberfläche. Sie reduziert Kopierfehler und hält Metadaten sichtbar.

Routing über Inference Provider​

Der OpenAI-kompatible Router von Hugging Face unterstützt Modell-IDs aus dem Hub. Einige Routen erlauben Suffixe oder Anbieterpräferenzen. Da sich dies ändert, nutze aktuelle Hugging Face-Dokumentation und den Modellbrowser für exakte IDs.

Zugriffsbeschränkte Modelle​

Einige Modelle erfordern die Annahme von Bedingungen:

  1. Öffne die Modellseite auf Hugging Face.
  2. Akzeptiere Lizenz oder Bedingungen.
  3. Bestätige den Zugriff deines Tokens.
  4. Versuche es erneut aus Libre WebUI.

Beschränkte Modelle können in der Suche erscheinen, bevor dein Token sie ausführen darf.

Fehlerbehebung​

Nicht autorisiert

  • Prüfe den Tokenwert.
  • Bestätige die Inferenzberechtigungen.
  • Bei benutzerspezifischen Anmeldedaten muss der Schlüssel für den aktuellen Benutzer gespeichert sein.

Modell nicht verfügbar

  • Prüfe die Hugging Face-Modellseite.
  • Versuche eine andere Anbieterroute, falls verfügbar.
  • Bestätige die Annahme der Zugriffsbedingungen.

GGUF-Abruf schlägt fehl

  • Bestätige, dass das Repository GGUF-Dateien enthält.
  • Teste die genaue Referenz hf.co/... in einem Terminal mit Ollama.
  • Verwende bei knappem Speicher eine kleinere Quantisierung.

Verwandte Dokumentation​