AI pozná jídlo na 96 procent. Když má určit, odkud je, propadne se na 49

Jak otestovat, jestli AI jídlu skutečně rozumí

CulturalMenuBench není jen další databáze fotek jídla. Obsahuje 4 870 testovacích položek v deseti jazycích napříč 18 regiony. Základ tvoří 587 pečlivě vybraných pokrmů — 200 čínských a 387 z devíti dalších zemí — doplněných o celkem 7 814 snímků, tedy průměrně 12,7 obrázku na jeden pokrm. Klíčové je, že ke každému jídlu nepatří jen finální fotka, ale také sekvence fotek jednotlivých kroků přípravy, seznam surovin a postupový text. Právě díky tomu může benchmark testovat něco, co běžné testy rozpoznávání obrázků netestují: jestli model dokáže sledovat postup vaření a vyvodit z něj kulturní kontext. Autoři sestavili deset úloh ve dvou úrovních. Čtyři „rozpoznávací" úlohy stačí vyřešit spárováním fotky se správným názvem či postupem. Šest „procesně ukotvených" úloh už vyžaduje sledovat, jak se mění stav surovin mezi jednotlivými kroky vaření. Samotná sbírka vznikla z 239 686 surových záznamů z čínské kulinářské platformy; po filtrování zůstalo jen 587 pokrmů, tedy zhruba 0,7 procenta. Tvrdý filtr měl smysl — autoři chtěli jen pokrmy s kompletními a konzistentními snímky postupu.

Čísla, která dávají pozor

Ve standardních otázkách s výběrem ze čtyř možností dosahují špičkové modely 94–97 procent: GPT-5 má 96,8 %, Claude Opus 4.6 má 96,2 % a dokonce i „mini" verze GPT-5 Mini zvládá 94,7 %. Zní to, jako by modely kulinářskou kulturu skutečně ovládaly. Jenže když autoři stejné páry „jídlo a atribut" otestují formou ano/ne („Patří tento snímek k tomuto pokrmu?"), skóre klesne o 10–24 procentních bodů. Nejdramatičtěji u Claude Opus 4.6: z 96,2 % na 72,5 %. Skutečný propad přichází u určování regionálního původu. Když má model z fotky vybrat, ze kterého ze 16 čínských regionů pokrm pochází, nejlepší modely dosáhnou maximálně 56 % (Kimi K2.6 a Claude 4.6). GPT-5.1 — který u standardního testu měl 96,6 % — tady spadne na 48,9 %. To je propad o 48 procentních bodů, i když rozhraní zůstává úplně stejné: čtyři možnosti na výběr. Pro představu: u čtyř možností je čistá náhoda 25 %. GPT-5.1 na 48,9 % je tedy jen dvojnásobek čistého tipování. Lidští anotátoři přitom na stejné úloze dosáhli 69 % — nejlepší modely za nimi zaostávají o 13 bodů.

Nejde o špatný test, jde o skutečný limit

Někdo by mohl namítnout, že benchmark jen měří něco jiného a těžšího. Autoři to prověřili a odpověděli tvrdě. Provedli ablaci: vzali 500 vzorků a u části z nich odstranili všechny snímky postupu, nechali jen první obrázek z každé skupiny. Výsledek byl selektivní. Úlohy založené na postupu klesly o 5,7–11,7 bodu, zatímco ostatní úlohy se nezměnily prakticky vůbec (maximálně o 1 bod). To je takzvaná dvojitá disociace: sekvence fotek vadí přesně tam, kde se vyžaduje procesní úsudek, a nikde jinde. Benchmark tedy skutečně měří to, co tvrdí.

Proč modely selhávají? Protože hádají, ne uvažují

Tady přichází nejzajímavější závěr celé studie. Autoři rozebrali chybové vzory a zjistili, že modely vlastně „neuvažují o kultuře" — spoléhají na vizuální zkratky. Seskupte 16 čínských kuchyní do pěti kulturně blízkých rodin (třeba S'-čchuan–Chu-nan–Kuej-čou). Kdyby model jen částečně chápal kulturu, pletl by si spíš příbuzné kuchyně. Jenže podíl „vnitrorodinných" záměn u všech testovaných konfigurací kolísá mezi 9,8 a 22,4 procenta — tedy kolem náhodné úrovně 18,1 procenta. Chyby modelů nevypadají jako omyl vzdělaného člověka, ale jako házení kostkou. Přesnost navíc nesleduje kulturní strukturu, nýbrž vizuální výraznost. S'čchuánská kuchyně s rudým chilli olejem a pepřem S'-čchuanu je nepřehlédnutelná — a modely ji určí na 78,4 %. An-chuejské pokrmy, jako pomalu dušená šunka s bambusovými výhonky, často nemají výrazné vizuální znaky — a skóre klesá na 18,8 %. To je rozdíl 4,2násobek. A nejpřesvědčivější důkaz: když autoři obrázky úplně odstranili a modelům nechali jen název pokrmu, modely si vedly lépe — o 7 až 18 bodů. GPT-5 se zlepšil o 11,6 bodu na 69,8 %, Qwen3.6-Plus dokonce o 17,5 bodu na 68,8 %. Znalost tedy v modelu je, jen ji nelze aktivovat přes zrak. Doplnění názvu pokrmu k obrázku pomůže o 10–14 bodů, zatímco vyzvání modelu k úvaze „krok za krokem" přidá jen 1–2 body. Úzké hrdlo není v hloubce uvažování, ale v aktivaci znalostí.

Co to znamená v praxi — a v Česku

Benchmark je postavený na čínské kuchyni, ale princip je univerzální. Stejný test by mohl stát na kuchyni evropské: rozpoznat svíčkovou je snadné, ale odlišit ji od rakouské varianty, nebo určit, jestli je guláš český, slovenský, nebo maďarský, už vyžaduje přesně ten typ znalostí, který modely podle této studie nedokážou aktivovat z obrázku. Samotný paper ukazuje, jak snadno se kultura plete: při auditu dat autoři odstranili 25 položek se špatným kulturním zařazením — třeba „mexický chléb", což je název čínské pekařské kategorie, nikoli mexické jídlo. Proč na tom záleží? Multimodální modely se tlačí do aplikací, kde je správné kulturní pochopení podstatné — doporučování jídel, kulinářská turistika, překladače menu nebo výživové poradenství. Model, který s jistotou 96 % pozná, co má na talíři, ale z poloviny případů si vymyslí, odkud to je, může působit sebevědomě a přitom se mýlit. A právě ten rozpor mezi sebevědomím a skutečným porozuměním je u AI v praxi nejnebezpečnější. Data a kód jsou veřejně dostupné na GitHubu, takže si benchmark může kdokoli rozšířit — klidně i o českou kuchyni. To je vlastně nejlepší zpráva celého výzkumu: šablonu, jak testovat „mezeru mezi znalostí a jejím použitím", lze přenést na jakoukoli kulturu. Studii najdete na arXivu (přijato na konferenci EMNLP 2026 Findings).