AI čte jen text, přesto myslí v obrazech. Jedna osa v modelu to prozradila

Experiment, který vypíná myšlení

Studie s názvem Emergent Vision-Shaped Thinking in Text-Only Reasoning through Multimodal Training vyšla 11. listopadu 2026 na arXivu pod označením 2611.14942. Autoři Qi Zhang, Bohan Wang, Qianru Sun a Hanwang Zhang z Nanyang Technological University a Singapore Management University si položili jednoduchou otázku: změní trénink na obrázcích to, jak model uvažuje, i když dostane jen text?

Metoda je na první pohled technická, ale princip je srozumitelný. Ve skrytých vrstvách modelu našli směr, který odděluje textové a vizuální reprezentace – takzvanou vizi-jazykovou osu. Při běhu pak z každého stavu odstranili právě tu část, která na tuto osu míří. Model dál zpracovává běžný text, jen mu chybí jedna složka vnitřního stavu.

Testovací úlohy rozdělili na dvě skupiny. Prostorové úlohy nutí model budovat si vnitřní scénu: navigace po mřížce popsané slovy, sledování polohy objektů, mentální rotace nebo skládání papíru. Symbolické úlohy se dají vyřešit čistě formálně – vyhodnocení logických výrazů nebo kontrola konzistence. Obě skupiny jsou textové. Liší se jen tím, jaký typ reprezentace si žádají.

Čísla, která rozdělují mozek modelu

U modelu Chameleon-7B odebrání vizi-jazykové osy srazilo přesnost v úloze navigate z benchmarku BIG-Bench Hard o 27,6 procentního bodu. Úloha boolean expressions přitom zůstala nedotčená, dokonce si o 5,6 bodu polepšila. Rozdíl 33,2 procentního bodu mezi oběma úlohami je tím, čemu psychologie říká dvojitá disociace: jeden zásah poškodí jednu schopnost a druhé se nedotkne.

Podle autorů to znamená, že model skutečně používá vizuálně-prostorovou strukturu při čistě textovém uvažování. Nejde o náhodu ani o to, že by prostorové úlohy byly prostě těžší. Efekt se nezměnil, ani když autoři srovnali obtížnost, hloubku uvažování nebo délku sekvencí.

Klíčové je srovnání s čistě textovým modelem. Stejná osa aplikovaná na LLaMA-7B změnila výsledek jen o −2 body. Tedy u modelu, který obrázky nikdy netrénoval, osa nedělá nic. U Chameleonu, který je multimodální, působí dramaticky. To autorům dovoluje tvrdit, že tato „vizuální" struktura vzniká teprve multimodálním tréninkem.

Tabulka ukazuje jednu zajímavou nuanci. U modelů rodiny Qwen nebyla vizuální osa nově vytvořena, ale „zesílena". Zatímco u Chameleonu se schopnost objevila od nuly, u Qwenu trénink na obrázcích vyostřil strukturu, která v textovém backboneu už existovala. Autoři proto rozlišují dva scénáře: zavedení nového lešení a zesílení stávajícího.

Kde v modelu ta osa sedí

Efekt není rozprostřený po celé síti. Koncentruje se do malého rozsahu vrstev a je směrově specifický – funguje jen při odstranění konkrétního směru, ne libovolného šumu. U modelů velikosti 7 až 8 miliard parametrů se efekt týká hlavně prostorových úloh. U testované 32miliardové konfigurace Qwen3-VL se rozšířil i na vazbu vizuálních atributů, která už s prostorem nesouvisí.

U dvoucestných modelů, jako jsou BAGEL a Janus-Pro, kde vedle sebe běží cesta pro rozumění obrázku a cesta pro jeho generování, se kauzální rukojeť soustředí do generativní větve. Tam se prostorová informace zhustí do jednorozměrného nosiče. Cesta pro rozumění sice prostorovou informaci také obsahuje, ale v propletené formě, kterou nelze čistě oddělit.

Studie přidává i metodickou lekci. To, že nějakou informaci jde z modelu vyčíst sondou, ještě neznamená, že ji model skutečně používá. Autoři navrhují tři diagnostiky – koncentraci, zarovnání a sémantickou polohu – které vysvětlují, proč se chování, sondování a intervence můžou rozcházet.

Proč na tom záleží

Pro běžného uživatele má zjištění konkrétní důsledek. Prostorové uvažování je u modelů křehké a obrázky mu automaticky nepomohou. Pokud si necháte od AI poradit s orientací, skládáním nebo představou rozmístění předmětů, platí, že za správnou odpovědí stojí jiný mechanismus než u počítání nebo logiky. A ten mechanismus se dá jediným zásahem rozbít, aniž byste si toho všimli u jiných úloh.

Pro výzkum i praxi v Evropě je podstatné, že většina testovaných modelů je volně dostupná. Chameleon, Qwen3-VL i Janus-Pro jsou open-weight modely ke stažení na Hugging Face, takže výsledky lze replikovat i na lokálním hardwaru. Autoři v dodatku popisují výpočetní rozpočet a slibují uvolnění kódu.

Studie zároveň ukazuje hranici metody. U Chameleonu-30B standardní konstrukce osy selhala a kauzalitu prokázala až vstupně věrná varianta sestavená z plných sekvencí. Autoři v dodatku otevřeně popisují i další selhání, včetně modelu Liquid-V1-7B, kde efekt fungoval jen v úzkém okně síly zásahu.

Co z toho plyne

Výsledek je zatím preprint bez recenzního řízení. Silnou stránkou je počet testovaných konfigurací – deset ze šesti modelových rodin – a kontrola přes párované textové backbony. Slabší je to, že zásahy měří jen jeden typ mechanismu a autoři sami upozorňují, že termín „vizuálně tvarované myšlení" záměrně nepředpokládá obrazový formát. Ukazuje kauzální použití, ne vnitřní obrázek.

Přesto jde o pozoruhodný signál: multimodální trénink nepřipravuje model jen na to, aby rozuměl obrázkům. Mění geometrii jeho uvažování nad čistým textem.