Meta Llama 4 Scout a Maverick: open-source modely, které mění pravidla hry

Když Meta v dubnu 2025 oznámila rodinu Llama 4, nezveřejnila jen další iteraci svých jazykových modelů. Představila architektonický posun, který výrazně přepisuje rovnici mezi proprietárními a otevřenými modely. Scout a Maverick nejsou jen výkonnější — jsou navrženy tak, aby je šlo reálně provozovat, ladit a nasadit bez závislosti na jediném API poskytovateli. A to je byznysově relevantní rozdíl.

Architektura MoE: proč je 400 miliard parametrů levnější, než to zní

Srdcem obou modelů je architektura Mixture-of-Experts (MoE) — a právě tady leží klíč k pochopení jejich praktické hodnoty. Llama 4 Maverick má celkem 400 miliard parametrů, ale při inferenci aktivuje jen 17 miliard na každý token. Maverick pracuje se 128 experty, z nichž vždy aktivuje jednoho routovaného plus jednoho sdíleného. Výsledkem je, že výpočetní náklady odpovídají spíše hustému modelu o velikosti 17B, přičemž celková kapacita parametrů zajišťuje kvalitu, která jinak vyžaduje mnohem větší husté modely.

Llama 4 Scout jde ještě dál v optimalizaci pro efektivitu: 109 miliard parametrů, 16 expertů, aktivních opět 17 miliard — a kontextové okno 10 milionů tokenů, což je v kategorii otevřených modelů bezkonkurenční hodnota. Scout je v základu optimalizovaný a kvantizovaný na int4 tak, aby běžel na jediném NVIDIA H100 GPU. Maverick pak zvládne produkční provoz na clusteru čtyř až osmi H100.

Toto nejsou čísla pro akademické srovnávání. Jsou to parametry, které rozhodují o infrastrukturních nákladech. Startup, který potřebuje zpracovávat rozsáhlé dokumenty, analyzovat kódbáze nebo budovat multimodální aplikace, může sáhnout po Scoutu na pronajatém H100 a mít plně funkční produkční systém bez měsíčního vyúčtování za API tokeny.

Benchmarkové výsledky potvrzují praktickou sílu obou variant. Podle oficiálních dat Meta dosahuje Maverick na MMLU Pro skóre 80,5 a na GPQA Diamond 69,8. Scout pak 74,3 a 57,2. Na multimodálních úlohách jako DocVQA oba modely dosahují 94,4 — číslo, které obstojí i při srovnání s mnoha proprietárními alternativami.

Fine-tuning: od open weights k vlastnímu produkčnímu modelu

Termín „open source" je zde technicky nepřesný — přesnější je „open weights". Llama Community License není OSI-certifikovaná, ale umožňuje komerční použití až do 700 milionů měsíčně aktivních uživatelů. Pro drtivou většinu podniků a startupů je tato hranice čistě teoretická a modely lze nasazovat bez licenčních negociací.

Skutečná hodnota open weights ale spočívá v možnosti přizpůsobení. Meta pre-trénovala Llama 4 na 200 jazycích s celkově desetinásobným množstvím multilingválních tokenů oproti Llama 3 — základ pro doménový fine-tuning je tedy výrazně širší než dříve. Posttréninkový pipeline Mety navíc prošel zásadní revizí: nová sekvence je odlehčený SFT → online Reinforcement Learning → odlehčený DPO. Klíčovým poznatkem, který Meta zveřejnila, bylo, že příliš agresivní SFT a DPO mohou model přespříliš omezit a snižovat výkonnost zejména v oblastech uvažování, kódování a matematiky.

Pro praktický fine-tuning v enterprise prostředí doporučuje NVIDIA workflow postavený na NVIDIA NeMo: data se připravují přes NeMo Curator (extrakce, filtrování, deduplikace), samotné ladění pak probíhá s podporou LoRA, PEFT nebo full parameter tuning. Oba modely jsou optimalizovány pro TensorRT-LLM, přičemž TensorRT Model Optimizer umožňuje kvantizaci do Blackwell FP4 Tensorcore formátu bez měřitelné ztráty přesnosti.

Alternativou pro menší týmy je ekosystém Unsloth, který nabízí dynamické GGUF kvantizace se selektivním přístupem — MoE vrstvy se kvantizují agresivněji, zatímco attention vrstvy zůstávají ve vyšší přesnosti. Výsledkem je, že Scout v 1,78bitové verzi zabírá 33,8 GB a běží na GPU s 24 GB VRAM rychlostí přibližně 20 tokenů za sekundu. Maverick ve stejné kvantizaci se vejde na dvě GPU s 48 GB VRAM a dosahuje přibližně 40 tokenů za sekundu. Kalibrace kvantizace probíhá na reálných datech — 250 000 tokenů pro Scout, milion pro Maverick — což zajišťuje vyšší přesnost oproti standardní kvantizaci bez kalibrace.

Pro maximální výsledky Unsloth doporučuje verze od 2,42 bitů (IQ2_XXS) výše. Inference nastavení doporučená přímo Metou: teplota 0,6, Min_P 0,01, Top_P 0,9.

Multimodalita a dlouhý kontext jako produkční realita

Llama 4 je první generace v rodině, která je nativně multimodální od základu — nikoliv jako dodatečně přidaná vrstva. Vizuální a textová data jsou pre-trénována společně prostřednictvím tzv. early fusion přístupu, což podle Mety umožňuje kvalitativně odlišné porozumění oproti modelům se zmraženými separátními modálními váhami. V praxi to znamená schopnosti jako expert image grounding, analýza dokumentů s grafy (ChartQA: 90,0 pro Maverick) nebo porozumění vizuálním datům v kontextu rozsáhlého textu.

Kontextové okno 10 milionů tokenů u Scoutu a 1 milion tokenů u Mavericku otevírá případy použití, které ještě před dvěma lety vyžadovaly specializovanou infrastrukturu: analýza celých právních dokumentů, audit rozsáhlých kódbází, zpracování knihovny interních reportů v jediném promptu nebo personalizace nad kompletní historií uživatelského chování. Needle-in-a-haystack testy potvrzují spolehlivé vyhledávání informací v celém rozsahu kontextového okna — přestože samotná retrieval schopnost nezaručuje plnohodnotné využití kontextu pro komplexní uvažování.

Meta zároveň vyvinula novou trénovací techniku MetaP, která umožňuje spolehlivé přenosy hyperparametrů — learning rates pro jednotlivé vrstvy a inicializační škálování — napříč různými konfiguracemi batch size, šířky a hloubky modelu. Pro komunitu fine-tunerů to znamená prakticky přenositelné recepty: hyperparametry ověřené na jedné konfiguraci fungují předvídatelně i na jiné.

Kam to směřuje

Llama 4 Scout a Maverick představují zralou volbu pro organizace, které chtějí plnou kontrolu nad svým AI stackem — ať už z důvodů regulatorních, nákladových nebo strategických. Open weights model s multimodálními schopnostmi, desetimiliontokeným kontextem a ekosystémem nástrojů od NeMo po Unsloth není akademickým experimentem, ale produkční realitou dostupnou na commodity hardwaru.

Zbývá ale otevřená otázka: jak se bude vyvíjet propast mezi Maverickem a dosud nevydaným Behemothem s 2 biliony parametrů? A zvládne komunita fine-tunerů skutečně vytěžit potenciál MoE architektury na plný výkon — nebo se část té síly ztratí v kompromisech kvantizace a specializace? Na odpovědi si ještě nějakou dobu počkáme.