Lokální AI modely: co je LFM3 od Liquid AI a jak ho spustit

LFM3 je rodina malých open-weight modelů, které Liquid AI vydala 27. října 2026 pro běh přímo na zařízení. Lokálně ji spustíte přes LM Studio, Ollama a llama.cpp, v prohlížeči přes WebGPU nebo na iPhonu. Hodí se na jednoduché úlohy, ne na složité uvažování.

Co je LFM3 a co obsahuje rodina modelů

Liquid AI zveřejnila Liquid AI LFM3 27. října 2026 na Hugging Face. Podle oznámení výrobce jde o šest modelů kolem 2B parametrů. Všechny sdílejí základ s 1,7 miliardy parametrů, jak uvádí dokumentace LFM3-1.7B. Nad ním vznikly varianty pro text, obraz, video, zvuk a kombinované vstupy. Patří mezi malé jazykové modely, které míří na AI model na notebooku i telefonu.

Pro srovnání s konkurencí se nabízejí hlavně čísla o velikosti a tréninku. Blog Hugging Face k vydání shrnuje i rozsah trénovacích dat:

Rodina pokrývá tyto typy úloh:

Přehled vychází z oznámení Liquid AI a modelové karty LFM3-1.7B.

LFM3 navazuje na modely LFM2 a LFM2.5 téže firmy. Ve stejné váhové kategorii konkurují Qwen2.5-1.5B, Phi-3-mini a Gemma 2B. Tyto modely stojí převážně na klasickém transformeru, takže jejich paměťové nároky rostou s délkou kontextu rychleji.

Jak hybridní architektura šetří paměť

LFM3-1.7B má 24 vrstev tří typů. Podle dokumentace Liquid AI jde o 13 vrstev gated short convolution, 5 vrstev sliding-window attention s oknem 256 tokenů a 6 vrstev globální attention s GQA (grouped-query attention). Konvoluce levně zpracují krátké vazby v textu. Lokální attention řeší střední vzdálenosti a globální attention vztahy napříč celým dokumentem.

Úspora vzniká v KV cache (key-value cache), tedy v paměti, kam si model ukládá mezivýsledky pro už zpracované tokeny. U klasického transformeru roste v každé vrstvě s délkou kontextu. V LFM3 drží plnou KV cache jen 6 z 24 vrstev. Ostatní vrstvy ji buď omezují oknem, nebo ji jako konvoluce nepotřebují.

flowchart TD
  A["Vstupní tokeny"] --> B["13× gated short convolution"]
  A --> C["5× sliding-window attention"]
  A --> D["6× globální attention s GQA"]
  B --> E["Bez KV cache"]
  C --> F["KV cache jen pro okno"]
  D --> G["Plná KV cache"]

Výsledek je výrazný hlavně u dlouhého kontextu. Liquid AI uvádí, že při 128K tokenech zabere KV cache přibližně 1,6 GB. Větším srovnávaným modelům podle stejného měření stačí až 4,3 a 5,6 GB.

Další úpravy míří na kvantizaci, tedy na zmenšení vah na méně bitů. Modelová karta zmiňuje tři:

• head-wise gated attention potlačuje extrémní hodnoty aktivací, které kvantizaci zhoršují,
• částečné RoPE se používá jen v globálních vrstvách,
• sandwich normalization normalizuje vstup i výstup bloků.

Liquid AI také tvrdí, že LFM3-1.7B má o 35 % méně parametrů než LFM2.5-2.6B a v interních testech ho přesto překonává. Jde o údaj výrobce.

Kolik paměti a jak rychlý je LFM3 na notebooku a telefonu?

Ve 4bitové kvantizaci zabírá LFM3-1.7B zhruba 1 GB, v LM Studiu kolem 2 GB (Hugging Face). Rychlost se pohybuje od desítek tokenů za sekundu na telefonu po stovky na serverové grafice.

Co je změřeno

Oficiální měření popisuje Liquid AI takto: llama.cpp, kvantizace Q4_0, kontext 32K, batch 1 a 100 výstupních tokenů. Na všech třech testovaných zařízeních byl LFM3 podle firmy nejrychlejší, 1,8× až 2,8× rychlejší než další srovnávaný model, a spotřeboval nejméně paměti (Liquid AI). Při 8K tokenech má být zhruba o 25 % rychlejší než LFM2-1.2B, uvádí stejné oznámení.

Rozdíl v paměti pro dlouhý kontext ukazuje graf:

První čísla z konkrétních zařízení:

Čísla shrnuje blog Hugging Face, konfiguraci oficiálních testů popisuje dokumentace k llama.cpp.

Co zatím chybí

Zveřejněná čísla se týkají rychlosti a paměti, ne spotřeby energie. Výdrž baterie v aplikaci Local LLM zatím nikdo neměřil. Kratší výpočet může snížit energii na odpověď, vyšší okamžitý výkon ale zvyšuje krátkodobý příkon.

Jak LFM3 spustit lokálně

LFM3 jde spustit lokálně několika cestami. Podle modelové karty podporují LFM3-1.7B nástroje llama.cpp, Ollama a LM Studio přes formát GGUF. Pro servírování více uživatelům má od prvního dne podporu SGLang. Kromě GGUF Liquid AI nabízí i formáty BF16, FP8, NVFP4, MLX a ONNX.

Notebook: LM Studio a llama.cpp

Nejjednodušší cesta k lokálnímu LLM (local LLM) na notebooku vede přes LM Studio:

U llama.cpp je situace složitější. Dokumentace Liquid AI počítá s buildem kompatibilním s LFM3. Začlenění podpory do hlavní větve llama.cpp ani podpora ve všech backendech zatím není potvrzená. Ukázka spuštění lokálního serveru:

# Build llama.cpp musí podporovat architekturu LFM3,
# jinak načtení GGUF skončí chybou neznámé architektury.
# Přesný název GGUF repozitáře ověřte na modelové kartě.
llama-server \
  -hf LiquidAI/LFM3-1.7B-GGUF:Q4_0 \
  -c 32768 \
  -ngl 99 \
  --port 8080
# -c: kontext 32K jako v oficiálním měření
# -ngl 99: přesun všech vrstev na GPU, pokud je k dispozici

Firmy, které chtějí provozovat AI modely běžící on-premise s plnou kontrolou nad daty, řeší kromě spuštění i správu verzí, přístupy a monitoring. Model na notebooku je dobrý začátek pro test, produkční provoz ale vyžaduje víc.

Prohlížeč a telefon

Knihovna Transformers.js běží s WebGPU přímo v prohlížeči. Vizuální varianta LFM3 v ní podle blogu Hugging Face zvládá popis videa v reálném čase bez serveru. Na iOS model spustí aplikace Local LLM, data přitom zůstávají v telefonu.

Pro jaké úlohy se hodí a kde má limity

LFM3-1.7B se hodí na krátké instrukce, klasifikaci, extrakci dat, strukturovaný výstup a jednoduché agenty. Výrobce sám ve svých materiálech uvádí, že model kvůli malé velikosti nedoporučuje pro agentní programování ani pro komplexní vícekrokové uvažování.

Benchmarky od Liquid AI jsou vysoké. Podle dokumentace dosahuje model 96,66 v IFEval, 38,42 ve WebArena-Verified a průměru 49,37 z 29 benchmarků. LFM2.5-2.6B měl ve WebArena-Verified jen 3,02 (Liquid AI). WebArena ale měří práci v prostředí webu, ne obecné logické uvažování. Vysoké IFEval znamená dobré plnění formálních instrukcí, ne spolehlivost v dlouhých úlohách.

Kdo plánuje integraci AI do vývoje, měl by malý model nasadit tam, kde jde výstup snadno strojově zkontrolovat. Typicky jde o JSON se schématem, štítek z pevného seznamu nebo vytažené pole z dokumentu.

Kontrolní seznam před nasazením

Časté chyby

• Záměna Q4_0 s obecnou kvalitou. Oficiální čísla platí pro konkrétní kvantizaci Q4_0, jiná 4bitová varianta se může chovat jinak.
• Nekompatibilní build llama.cpp. Starší nebo neupravený build model nenačte, případně ho načte s chybami.
• Špatná šablona promptu. Malé modely jsou citlivé na šablonu chatu. Chybné speciální tokeny zhorší odpovědi víc, než by člověk čekal.
• Přenášení benchmarků na vlastní úlohu. Skóre z IFEval neříká nic o tom, jak model zpracuje vaše smlouvy.

Jak si LFM3 vede v češtině a v nezávislých testech?

Špičkovou češtinu od LFM3 čekat nelze, rozumné je počítat s použitelnou vícejazyčností. Výkon v češtině si proto ověřte na vlastních textech.

Skutečné srovnání s Qwen2.5-1.5B, Phi-3-mini a Gemma 2B ukáže jen test při stejném runtime a kvantizaci, ideálně na českých vícekolových instrukcích.

Čísla výrobce, například 49,37 přes 29 benchmarků z modelové karty, nejsou univerzální skóre kvality. Berte je jako orientační údaj.

Kdy se vyplatí lokální AI modely místo cloudového API

Lokální AI modely dávají smysl tam, kde data nesmí opustit zařízení, kde chybí připojení nebo kde jde o velké množství jednoduchých dotazů. Malý local LLM na notebooku nemá poplatky za tokeny, nemá síťovou latenci a funguje i offline.

V nobig.deals řešíme AI ve vlastním stacku přes OpenRouter, tedy přes cloudová API. Lokální provoz malých modelů je pro nás možnost, ne vyzkoušená praxe. Popisujeme proto postup, který doporučujeme, ne vlastní zkušenost s LFM3.

Doporučujeme začít malým vzorkem vlastních dat a projít kontrolní seznam výše. Pokud LFM3 zvládne vaše extrakce a strukturované výstupy v češtině, dává lokální nasazení smysl. Pokud ne, rozdíl uvidíte za pár hodin testování, ne až v produkci.

Časté otázky

Je LFM3 zdarma a smí se používat komerčně?

Váhy LFM3 jsou volně ke stažení na Hugging Face, za model samotný se neplatí. Podmínky komerčního použití určuje licence uvedená na modelové kartě a mohou se lišit podle velikosti firmy nebo způsobu použití. Před nasazením v produktu si licenci přečtěte celou, ideálně s právníkem. Volně stažitelné váhy totiž automaticky neznamenají neomezené komerční užití.

Zvládne LFM3 češtinu?

Pravděpodobně základně ano, spolehlivě to ale zatím nikdo nezávisle nedoložil. Rozumné je čekat použitelnou češtinu u krátkých instrukcí a extrakce, slabší výsledky u dlouhých textů a stylisticky náročného psaní. Ověřte si to na vlastních dokumentech dřív, než na modelu postavíte proces.

Stačí na LFM3 běžný notebook bez grafické karty?

Pravděpodobně ano. Ve 4bitové kvantizaci zabírá model podle blogu Hugging Face kolem 1–2 GB paměti, což by měla zvládnout většina současných notebooků. Bez dedikované grafiky poběží pomaleji než na GPU, pro krátké odpovědi to ale obvykle stačí. Na Macu s Apple Silicon využijete sdílenou paměť a formát MLX nebo GGUF. Delší kontext výrazně zvyšuje nároky na paměť.

Čím se LFM3 liší od Qwen2.5-1.5B nebo Phi-3-mini?

Hlavně architekturou. Qwen2.5-1.5B a Phi-3-mini stojí na klasickém transformeru, kde každá vrstva drží KV cache. LFM3 kombinuje konvoluce, lokální a globální attention, takže při dlouhém kontextu spotřebuje méně paměti. Který model dává lepší výsledky, ukáže až srovnání při stejném runtime a kvantizaci. Pro češtinu se vyplatí otestovat oba.

Mohu LFM3 používat offline na telefonu?

Ano, na iPhonu jde LFM3 spustit v aplikaci Local LLM a po stažení modelu funguje bez připojení. Podle zveřejněného příkladu dosáhl iPhone 17 Pro rychlosti 43,6 tokenu za sekundu. Neznámá zůstává výdrž baterie, kterou zatím nikdo neměřil. Při delším používání proto sledujte zahřívání telefonu i úbytek nabití.