Hugging Face Hub
Libre WebUI integruje się z Hugging Face na dwa sposoby:
- Dostęp przez wtyczkę dostawcy do Hugging Face Inference Providers.
- Przeglądanie Hub w aplikacji w poszukiwaniu zgodnych modeli, w tym modeli GGUF możliwych do pobrania przez Ollama.
Konfiguracja wtyczki dostawcy
Utwórz token dostępu Hugging Face z prawem do wnioskowania, a następnie dodaj go w Ustawieniach lub jako zmienną środowiskową:
HUGGINGFACE_API_KEY=hf_...
Włącz wtyczkę Hugging Face w Ustawienia > Wtyczki.
Możliwości
Zależnie od modelu i dostawcy Hugging Face może zapewnić:
- Modele czatu/uzupełniania
- Syntezę mowy
- Generowanie obrazów
- Osadzanie
- Zamianę mowy na tekst
Dostępność, ceny i routing mogą się zmieniać zależnie od modelu. Sprawdź stronę modelu i interfejs dostawcy Hugging Face, aby poznać bieżący stan.
Przeglądarka modeli
Przeglądarka w aplikacji pozwala:
- Szukać według nazwy modelu lub autora.
- Filtrować według zadania.
- Sortować według trendu, pobrań, polubień, daty utworzenia lub aktualizacji.
- Sprawdzać stan modeli z ograniczonym dostępem.
- Pobierać zgodne pliki GGUF przez Ollama, gdy są obsługiwane.
Przeglądarka pobiera metadane Hub przez proxy zaplecza i buforuje wyniki dla wydajności. Zaplecze wymaga aktywnej sesji Libre do wykrywania modeli, a wspólną pamięć podręczną może wyczyścić tylko bieżący administrator.
GGUF i Ollama
Do lokalnego wnioskowania szukaj modeli w formacie GGUF. Libre WebUI może używać zgodnych z Ollama odwołań hf.co/..., gdy repozytorium zawiera odpowiednie pliki GGUF.
Przykładowy wzorzec:
ollama run hf.co/owner/model-repo:tag
W miarę możliwości korzystaj z interfejsu — ogranicza błędy kopiowania i zachowuje widoczne metadane modelu.
Routing Inference Provider
Router Hugging Face zgodny z OpenAI obsługuje identyfikatory modeli z Hub. Niektóre trasy obsługują przyrostki lub preferencje dostawców. Ponieważ ulega to zmianom, używaj bieżącej dokumentacji Hugging Face i przeglądarki w aplikacji dla dokładnych identyfikatorów.
Modele z ograniczonym dostępem
Niektóre modele wymagają zaakceptowania warunków:
- Otwórz stronę modelu w Hugging Face.
- Zaakceptuj licencję lub warunki.
- Sprawdź dostęp tokenu.
- Ponów próbę w Libre WebUI.
Model może pojawić się w wykrywaniu, zanim token otrzyma prawo jego uruchomienia.
Rozwiązywanie problemów
Brak autoryzacji
- Sprawdź wartość tokenu.
- Potwierdź uprawnienia do wnioskowania.
- Przy poświadczeniach per użytkownik sprawdź zapis klucza dla bieżącego użytkownika.
Model niedostępny
- Sprawdź stronę modelu Hugging Face.
- Wypróbuj inną trasę dostawcy, jeśli dostępna.
- Potwierdź zaakceptowanie ograniczonych warunków.
Pobieranie GGUF nie działa
- Sprawdź obecność plików GGUF w repozytorium.
- Wypróbuj dokładne odwołanie
hf.co/...w terminalu Ollama. - Użyj mniejszej kwantyzacji przy ograniczonym dysku lub pamięci.