Mistral Large 4 lokálně: jde Le Chonk spustit na Mac Studiu?

Mistral Large 4 lze na Mac Studiu technicky spustit v 1bitové GGUF kvantizaci od Unslothu. Podle Unslothu se tato verze do Mac Studia vejde. Načíst model ale neznamená provozovat agenta s dlouhým kontextem, protože k vahám se přičítá KV cache a rychlost zatím nikdo nezávisle nezměřil.

Co Mistral vydal a co znamená bilion parametrů

Mistral AI vydal multimodální jazykový model zaměřený na agentní programování, reasoning a kyberbezpečnost. Model nejprve uvedl 6. října 2026 jako veřejné preview v Mistral Studiu a přes API. Otevřené váhy pak Mistral zveřejnil 29. října 2026. Při uvedení preview nabízel podle changelogu na dva týdny 50 % slevu na API.

Model přijímá text i obrázky. Oficiální dokumentace uvádí kontext až 1 milion tokenů a vizuální enkodér s 1,6 miliardy parametrů. Podle blogu Hugging Face model zvládá více než 160 jazyků.

Celkové a aktivní parametry

Mistral Large 4 má přibližně 1,05 bilionu celkových parametrů. Na jeden token jich je aktivních asi 49 miliard, respektive 52 miliard, pokud se započítají embeddingy a výstupní vrstvy. Tato čísla potvrzuje dokumentace Mistralu.

Rozdíl má praktický dopad. Výpočetní náročnost na token odpovídá zhruba 50miliardovému modelu podle údajů o aktivních parametrech. Paměť pro váhy se ale odvíjí od celého bilionu, protože všichni experti musí ležet v paměti, i když se právě nepoužívají. Tvrzení „bilionový model běží jako 52B model“ proto platí pro výpočet, ne pro RAM.

Co deklaruje Mistral

Ve svém oznámení Mistral uvádí, že Le Chonk je první mezi otevřenými modely v benchmarku Cognition FrontierCode. Skóre 19,7 % na FrontierCode 2.0 se objevuje v souhrnech oznámení. Obojí jsou údaje výrobce, ne nezávislé měření.

Co je 1bitová GGUF kvantizace od Unslothu

1bitová kvantizace ukládá většinu vah s extrémně nízkou bitovou šířkou, takže se bilionový model zmenší na velikost, kterou udrží i jeden pracovní stroj. Unsloth distribuuje takzvané Dynamic GGUF varianty. Nejmenší z nich má podle něj kolem 223 GB. Soubory jsou na Hugging Face a model podle blogu Hugging Face podporují llama.cpp, vLLM i Transformers od prvního dne.

Označení „1 bit“ ale neznamená přesně jeden bit na parametr. GGUF model obsahuje blokové škály, metadata a zarovnání. Některé vrstvy, typicky embeddingy, normalizace a citlivé části sítě, zůstávají v kvantizaci s vyšší přesností. Proto je skutečný soubor výrazně větší než teoretické minimum.

Ani těch 223 GB podle Unslothu není konečný požadavek na paměť. Přičíst je potřeba KV cache, pracovní buffery runtime a vizuální enkodér, pokud posíláte obrázky. Nejspolehlivější údaj je velikost konkrétního souboru a hodnota, kterou po načtení vypíše llama.cpp.

Jde Mistral Large 4 spustit na Mac Studiu?

Ano, technicky jde. Unsloth uvádí, že se 1bitová verze na Mac Studio vejde. Rychlost a použitelnost pro práci s dlouhým kontextem ale nikdo veřejně a reprodukovatelně nezměřil.

Jako Mac Studio LLM záleží výkon na několika proměnných: velikosti unified memory, backendu Metal, délce promptu, nastavení KV cache a verzi llama.cpp či Ollamy. Unified memory sdílí CPU i GPU. Model se tedy musí vejít celý i s cache a zbytkem systému. Pokud se vejde jen těsně, každý delší prompt vede ke swapování.

Rozhodující je, co znamená „spustit“. Načíst váhy a vygenerovat pár tokenů je jedna úloha. Interaktivní agent, který čte celý repozitář a pracuje s desítkami tisíc tokenů kontextu, je úplně jiná zátěž. Lokální spuštění AI v tomto měřítku je proto zatím spíš experiment než produkční nástroj.

Co je ověřené a co ne

Údaje o modelu vycházejí z oznámení Mistralu a dokumentace Unslothu.

Náš vlastní stack v nobig.deals je cloudový. Modely voláme přes OpenRouter a aplikace provozujeme na Railway. Lokální provoz Le Chonk proto popisujeme jako cizí technologii, ne jako vlastní zkušenost. Kdo nemá stroj s takovou pamětí, najde praktičtější cestu v článku o tom, jak fungují menší lokální AI modely.

Jak dobře drží 1bitová verze přesnost

Podle Unslothu drží 1bitová verze 91 % top-1 přesnosti. Jde o údaj distributora, ne o nezávislé měření. Top-1 přesnost říká, jak často kvantizovaný model zvolí stejný nejpravděpodobnější token jako původní. Neříká, jak dobře model najde zranitelnost nebo provede refaktoring.

Rozumné technické očekávání je, že se nízká bitová šířka projeví hlavně tam, kde záleží na detailech. Patří sem sledování toku dat přes více funkcí, rozlišení podobných zranitelností, konzistentní změny napříč mnoha soubory a dlouhé agentní trajektorie, kde se drobné chyby sčítají. Jde o úsudek, ne o výsledek benchmarku.

U bezpečnosti je potřeba oddělit tři úlohy. Detekce kandidáta znamená, že model upozorní na podezřelé místo. Potvrzení vyžaduje reprodukci, testy nebo sandbox. Oprava musí projít testy, lintem a statickou analýzou. Kvantizovaný model se hodí na první úlohu, na zbylé dvě nestačí.

Doporučujeme stavět model do pipeline jako jeden z kroků, ne jako arbitra. Testovací sada, statická analýza a kontrola diffu zůstávají povinné. Jak zavést AI ve vývojovém procesu systematicky, řešíme zvlášť.

Jak nastavit model, aby 1M kontext nevyčerpal paměť

Deklarovaný milion tokenů je strop modelu, ne výchozí nastavení pro lokální stroj. Začněte s kontextem 32k nebo 64k a zvyšujte ho až po změření paměti.

Kontrolní seznam

Pro měření se hodí nástroj llama-bench z llama.cpp, který rychlost zpracování promptu (prompt processing) a generování (text generation) vypisuje odděleně. Cestu k souboru nahraďte skutečnou variantou od Unslothu.

# Oddělené měření: -p = délka promptu, -n = počet generovaných tokenů
# Krátký i dlouhý prompt, aby se ukázal rozdíl s rostoucím kontextem
llama-bench -m ./modely/<varianta-unsloth>.gguf -p 512,8192 -n 128

# Server s konzervativním kontextem a jedním souběžným požadavkem
# -c = velikost kontextu, -np = počet paralelních slotů
llama-server -m ./modely/<varianta-unsloth>.gguf -c 32768 -np 1

Postup ladění:

1. Spusťte server s kontextem 32k a jedním slotem.
2. Změřte spotřebu paměti při prázdném a při plném kontextu.
3. Zvyšte kontext na 64k a měření zopakujte.
4. Teprve potom přidávejte paralelní požadavky nebo větší batch.
5. Kontext dál zvyšujte jen tehdy, když zbývá rezerva i pro systém.

Časté chyby

• Záměna celkových a aktivních parametrů. Podle dokumentace Mistralu se 52 miliard týká výpočtu na token, ne velikosti uložených vah.
• Ignorování vision komponenty. Obrazový vstup přidává enkodér a vlastní nároky na paměť.
• Měření jen na krátkém promptu. Rychlost u krátkého promptu neříká nic o chování při velmi dlouhém kontextu.
• Předpoklad shodného výkonu Ollamy a llama.cpp. Liší se verzí runtime, výchozím nastavením i prací s backendem Metal.
• Současné zvýšení kontextu, batche, paralelních požadavků a GPU offloadu. Taková změna typicky končí swapováním a nedá se z ní vyčíst, co problém způsobilo.

Kdy se vyplatí self-hosting a kdy je lepší API

Self-hosting se vyplatí u citlivých dat, která nesmí opustit firmu, a tam, kde potřebujete plnou auditní kontrolu nad modelem. Ve většině ostatních případů bývá jednodušší API.

Mistral nabízí model souběžně přes API i jako stažitelné váhy. Pro tým, který nepracuje s regulovanými daty, je API přímá cesta k plné přesnosti bez kvantizace a bez starostí o hardware. Lokální provoz má smysl tam, kde zdrojový kód nebo bezpečnostní nálezy nesmí odejít k třetí straně.

Open-weight model není totéž co open-source. Mistral zveřejnil váhy, ne tréninková data ani celý trénovací proces, a pravidla používání určuje vlastní licence.

On-premise provoz neznamená jen stáhnout soubor. Počítejte s monitoringem, aktualizacemi runtime, řízením přístupů a zabezpečením serveru, na kterém model běží. Pokud model na vlastní infrastruktuře opravdu potřebujete, ukazujeme, jak vypadá AI On-Premise řešení včetně provozu. Pro slabší hardware doporučujeme menší modely, které dávají lepší poměr rychlosti a nároků.

Časté otázky

Kolik paměti potřebuje 1bitová verze Mistral Large 4?

Samotný soubor nejmenší 1bitové varianty má podle Unslothu kolem 223 GB. K tomu je potřeba připočítat KV cache, která roste s délkou kontextu, pracovní buffery runtime a případně vizuální enkodér. Skutečnou spotřebu zjistíte až po načtení modelu z výpisu llama.cpp. Rezervu nechte i pro operační systém, jinak stroj při delším promptu začne swapovat.

Je Mistral Large 4 open-source?

Ne, jde o open-weight model. Mistral zveřejnil váhy, ale ne tréninková data ani kompletní trénovací proces. Model vychází pod licencí Mistral Ecosystem Open Weight License, ne pod MIT ani jinou běžnou open-source licencí. Váhy si můžete stáhnout a spustit, ale podmínky komerčního využití určuje text licence. Ten je potřeba přečíst před nasazením.

Lze Le Chonk provozovat přes Ollamu nebo llama.cpp?

Llama.cpp model podporuje od prvního dne a GGUF soubory od Unslothu jsou určené právě pro něj. Ollama na llama.cpp staví, ale může mít jinou verzi runtime a jiné výchozí nastavení. Nepředpokládejte proto stejný výkon v obou nástrojích. Pro serverový provoz se nabízí také vLLM, pro práci v Pythonu knihovna Transformers.

Je lokální provoz modelu bezpečnější než API?

Z hlediska úniku dat ano, protože kód ani prompty neopustí vaši infrastrukturu. Bezpečnost ale přesouvá na vás. Musíte řídit přístupy k serveru, aktualizovat runtime, hlídat logy a chránit samotný stroj. Lokální model navíc může navrhnout chybný bezpečnostní patch stejně jako cloudový, takže ověřování testy a statickou analýzou zůstává nutné.

Čím se Mistral Large 4 liší od menších kódovacích modelů?

Hlavně měřítkem, kontextem a multimodalitou. Model má přibližně 1,05 bilionu celkových parametrů, kontext až 1M tokenů a přijímá i obrázky. Menší kódovací modely mají řádově nižší nároky na hardware a lokálně bývají rychlejší i praktičtější. Pro běžné doplňování a vysvětlování kódu často stačí. Velký model má smysl hlavně u složitých agentních úloh.