Hugging Face Hub
Libre WebUI se s Hugging Face integruje dvěma způsoby:
- Přístup pomocí pluginu poskytovatele přes Hugging Face Inference Providers.
- Procházení kompatibilních modelů v Hubu přímo v aplikaci, včetně modelů GGUF, které lze stáhnout prostřednictvím Ollama.
Nastavení pluginu poskytovatele
Vytvořte přístupový token Hugging Face s oprávněním pro inferenci a přidejte ho v Settings nebo jako proměnnou prostředí:
HUGGINGFACE_API_KEY=hf_...
Plugin Hugging Face zapněte v Settings > Plugins.
Funkce
Podle dostupnosti modelu a poskytovatele může Hugging Face poskytovat:
- Modely chatu a dokončování
- Převod textu na řeč
- Generování obrázků
- Embeddingy
- Převod řeči na text
Dostupnost, ceny a směrování Hugging Face se mohou lišit podle modelu. Aktuální stav ověřte na stránce modelu a v rozhraní poskytovatele Hugging Face.
Prohlížeč modelů
Prohlížeč v aplikaci umožňuje:
- Vyhledávat podle názvu modelu nebo autora.
- Filtrovat podle úlohy.
- Řadit podle trendů, stažení, oblíbenosti, data vytvoření nebo aktualizace.
- Zkontrolovat stav modelů s omezeným přístupem.
- Stahovat kompatibilní soubory GGUF prostřednictvím Ollama, pokud je to podporováno.
Prohlížeč načítá metadata Hubu přes proxy backendu a ukládá výsledky do mezipaměti. Backend vyžaduje pro vyhledávání v Hubu aktivní relaci Libre a sdílenou mezipaměť modelů může vymazat pouze aktuální správce.
GGUF a Ollama
Pro místní inferenci hledejte modely ve formátu GGUF. Libre WebUI umí použít odkazy na
modely kompatibilní s Ollama ve tvaru hf.co/..., pokud repozitář obsahuje vhodné
soubory GGUF.
Vzor:
ollama run hf.co/owner/model-repo:tag
Kdykoli je to možné, použijte rozhraní. Omezuje chyby při kopírování a zachovává viditelnost metadat modelu.
Směrování přes Inference Provider
Směrovač Hugging Face kompatibilní s OpenAI podporuje ID modelů z Hubu. Některé trasy podporují přípony nebo preference poskytovatele. Protože se to v čase mění, používejte pro přesná ID modelů aktuální dokumentaci Hugging Face a prohlížeč modelů v aplikaci.
Modely s omezeným přístupem
Některé modely vyžadují před použitím přijetí podmínek:
- Otevřete stránku modelu na Hugging Face.
- Přijměte licenci nebo podmínky.
- Ověřte, že váš token má přístup.
- Zkuste požadavek z Libre WebUI znovu.
Modely s omezeným přístupem se mohou objevit ve vyhledávání dříve, než je token smí spustit.
Řešení problémů
Neoprávněný přístup
- Zkontrolujte hodnotu tokenu.
- Ověřte, že token má oprávnění k inferenci.
- Při použití přihlašovacích údajů jednotlivých uživatelů ověřte, že je klíč uložen pro aktuálního uživatele.
Model není dostupný
- Zkontrolujte stránku modelu na Hugging Face.
- Zkuste jinou trasu poskytovatele, pokud je dostupná.
- Ověřte, že jste přijali podmínky přístupu.
Stažení GGUF selže
- Ověřte, že repozitář obsahuje soubory GGUF.
- Zkuste přesný odkaz
hf.co/...v terminálu s Ollama. - Pokud je omezené místo nebo paměť, použijte menší kvantizaci.