Co lokální AI znamená a co ne
Rozdíl je v tom, kde běží model. Cloudový asistent posílá váš dotaz na server, kde na něm pracuje velký model, a zpět dorazí odpověď. Lokální model jede celý na vašem telefonu nebo notebooku. Funguje v letadle, v metru i v místech bez signálu a vaše texty nebo nahrávky neopustí zařízení. Jenže to není buď, anebo. Řada aplikací oba způsoby kombinuje. Překlad může běžet místně, zatímco generování obrázku putuje do cloudu. Záleží na konkrétní funkci, kterou právě používáte, jak upozorňuje text serveru Epoch Times. Kdo chce mít jistotu, musí si projít nastavení aplikace.Shrnutí a překlad: menší model, menší jistota
Nejběžnější lokální úkol je shrnutí delšího textu. Model dostane předlohu a vytvoří kratší verzi. Kvalita se ale mezi systémy liší. Při letošním testování osmi modelů na telefonu menší varianty někdy jen kopírovaly celé pasáže původního textu. Větší modely informace přeformulovaly a lépe uspořádaly, spotřebovaly ale víc energie. U překladu hraje roli specializace. Rodina TranslateGemma, kterou Google představil v lednu 2026, vznikla úpravou modelů Gemma přímo na překlad. Menší varianty v některých testech dosáhly výsledků srovnatelných s většími výchozími modely. Úzká specializace tak šetří prostředky. Jestli se konkrétní překladač vejde do telefonu a poběží svižně, určuje velikost zvolené verze i výkon zařízení.Zvuk a rozdělený model
Přibývají i malé modely pro zvuk. Zářijový preprint označovaný jako Samsone představil několik malých zvukových jazykových modelů, včetně varianty se 134 miliony parametrů. Parametry jsou číselné hodnoty nastavené během trénování, které určují chování modelu. Autoři zveřejnili i verze upravené pro mobily a androidí aplikaci, která demonstruje místní provoz. Další cestu k rychlejšímu běhu ukazuje rodina MobileMoE. Ta model rozdělí na specializované části a při výpočtu zapojí jen některé. Celková kapacita modelu tak může být velká, zatímco právě prováděné výpočty zůstávají menší. V paměti ale musí ležet i části, které zrovna nepracují. MobileMoE prošel měřením na Samsungu Galaxy S25 a iPhonu 16 Pro. Menší varianta MobileMoE-S vytvářela další části odpovědi přibližně 2,2 až 3,4krát rychleji než porovnávaný MobileLLM-Pro, při podobné paměťové náročnosti uložených parametrů.Soukromí není automatické
Místní výpočet má jasné výhody: hodí se při výpadku spojení a tam, kde nechcete svěřit obsah dokumentů další firmě. Odpadají také poplatky poskytovateli za jednotlivé požadavky, byť samotné aplikace mohou být placené. Soukromí ale nelze posoudit podle slibu v popisku produktu. Aplikace může některé úlohy dál odesílat do cloudu a i data uložená v telefonu potřebují ochranu. Červnový odborný přehled malých jazykových modelů proto varuje, že výhody místního zpracování samy o sobě nejsou bezpečnostní zárukou. Podmínky užívání se vyplatí číst i u "offline" aplikace.Baterie, paměť a čeština
Výpočet, který dřív obstarával vzdálený server, teď zatěžuje telefon. Lokální model zabírá operační paměť a žere baterii. To je důvod, proč výrobci tlačí na menší modely, i když ztrácejí na kvalitě. Malé modely navíc častěji halucinují, ztrácejí souvislosti a chybují u složitějšího uvažování. Pro českého uživatele přidává zdroj ještě jednu výhradu: testy dominuje angličtina, takže dobrý výsledek v angličtině nedokládá stejnou úroveň v češtině. Jak to vypadá v praxi, zachytila případová studie mobilní slovní hry. Lokální model měl vytvářet celé hádanky – vybrat slovo, určit obtížnost, napsat nápovědy. Opakovaně porušoval zadání i požadovaný formát.Kolik paměti model reálně zabere
Parametry se dají přepočítat na megabajty. Při běžné 4bitové kvantizaci zabere jeden parametr půl bajtu. Model se 134 miliony parametrů tak v paměti zabere zhruba 67 MB – vejde se do každého telefonu bez řečí. Sedmimiliardový model, tedy velikost, na kterou se lokální AI na novějších zařízeních běžně dostává, už potřebuje kolem 3,5 GB. Tohle číslo vysvětluje celý příběh. Čím menší model, tím méně paměti a baterie, ale tím víc kompromisů v kvalitě. Pro rozpoznání konkrétní události, třeba neobvyklého zvuku, stačí lehká neuronová síť, která jen vyhodnotí zvuk a rozliší běžné a podezřelé. Pro souvislý rozhovor nebo kvalitní překlad potřebujete model větší. Pravidlo je proto jednoduché: lokální AI se vyplatí na úzký, jasně zadaný úkol, nikoli na všechno.Funguje lokální AI opravdu bez internetu?
Ano, pokud aplikace provádí celý výpočet místně. Pozor ale na to, že řada nástrojů přepíná mezi místním a cloudovým zpracováním podle funkce. Ujistěte se v nastavení, že konkrétní úloha skutečně jede na zařízení.
Šetří místní model baterii oproti cloudu?
Ne, je to spíš naopak. Výpočet se přesune ze serveru na vaše zařízení, takže telefon spotřebovává víc energie a zabírá operační paměť. Úspora je v přenášených datech a v tom, že obsah neopustí telefon.
Umí lokální modely češtinu stejně dobře jako angličtinu?
Ne nutně. Většina testů, podle kterých se modely hodnotí, běží v angličtině. Dobrý anglický výsledek proto nezaručuje stejnou kvalitu v češtině a menší modely ji často zvládají hůř.