AI může znít přesvědčivě, i když se dívá špatně
Multimodální modely, tedy systémy pracující s textem i obrazem, se běžně používají k popisu fotografií, analýze tabulek, čtení smluv nebo hledání informací na obrazovce. Pro běžného uživatele často působí, že obrázkům rozumějí podobně jako člověk.
Právě tento dojem ale může být zavádějící. Model někdy správně pochopí celkovou scénu, ale přehlédne drobný detail, špatně spočítá objekty, zamění jejich polohu nebo si v obraze „domyslí“ něco, co tam vůbec není. Když potom na takovém chybném vjemu postaví další úvahu, výsledek může působit logicky, přestože vznikl už na začátku nesprávným přečtením obrazu.
Na tento problém se zaměřuje výzkumná práce PerceptionBench, která byla zveřejněna 27. července 2026. Výsledky popsal také web The Decoder.
Nový test měří samotné vizuální vnímání
Řada známých benchmarků kombinuje několik schopností najednou. Model musí například přečíst graf, pochopit otázku, využít znalosti a teprve potom vypočítat odpověď. Pokud selže, není snadné určit, zda špatně viděl, nerozuměl zadání, nebo nedokázal správně uvažovat.
PerceptionBench se snaží tento problém obejít. Autoři vytvořili 3 000 ověřených otázek, u nichž má být správná odpověď odvoditelná přímo z obrazu. Úlohy jsou krátké a zaměřují se na jednu konkrétní schopnost. Nejde tedy primárně o znalosti z dějepisu nebo matematické postupy, ale o to, zda model správně zachytil vizuální informaci.
Test vznikl na základě analýzy chyb v 42 dřívějších benchmarcích. Výzkumníci nejprve sledovali, kde přesně modely při řešení úloh selhávají, a z těchto chyb sestavili deset oblastí vizuálního vnímání. Patří mezi ně například:
- vztahy mezi objekty v obraze,
- počítání,
- rozpoznávání vlastností a barev,
- hloubka a prostorové uspořádání,
- určení polohy objektu,
- porovnávání velikosti či tvaru,
- jemné rozpoznávání podobných objektů,
- propojení více částí scény,
- OCR neboli čtení textu z obrázku,
- halucinace, tedy vymýšlení objektů, které v obraze nejsou.
Nejlepší model se zastavil těsně pod 60 procenty
V testu bylo porovnáno 16 současných multimodálních modelů, z toho deset proprietárních a šest otevřených. Podle zveřejněné tabulky výsledků dosáhl nejvyšší celkové přesnosti model GPT-5.6-Sol s výsledkem 59,7 procenta.
Za ním skončily Kimi K3 s 58,5 procenta, Claude-Fable-5 s 57,2 procenta a Gemini-3.1-Pro s 56,2 procenta. GPT-5.5 získal 55,8 procenta. Z otevřených modelů si nejlépe vedl Qwen3.5-397B-A17B se 47,2 procenta, zatímco GLM-4.6V dosáhl 32,5 procenta.
Rozdíl mezi nejlepšími modely není dramatický. Prvních pět systémů dělí méně než čtyři procentní body. To je důležitá připomínka, že samotné pořadí v žebříčku nemusí říkat tolik jako konkrétní profil schopností.
Například vítězný GPT-5.6-Sol byl velmi silný v určování polohy objektů, kde dosáhl 76,7 procenta. V kategorii halucinací však získal pouze 26,9 procenta. To znamená, že měl potíže s otázkami, u nichž byla správnou odpovědí nula, protože daný objekt se v obraze vůbec nenacházel.
Naopak jiná varianta, Gemini-3.5-Flash, která není totožná s výše uvedeným modelem Gemini-3.1-Pro, dosáhla v této kategorii 50,6 procenta. Jeden model tedy může být lepší v prostorových vztazích, zatímco jiný spolehlivěji pozná, že v obrázku něco chybí.
Proč je rozdíl mezi člověkem a modelem prakticky důležitý
Úlohy v PerceptionBench mohou na první pohled působit jednoduše. Model má například určit, na jaké hodinové pozici se nachází symbol, spočítat květiny uvnitř vyznačeného rámečku nebo přečíst text v určité části obrázku. Právě takové drobnosti jsou ale důležité při práci s dokumenty, fakturami, screenshoty nebo grafickými návrhy.
Pro grafika může chybná interpretace znamenat špatně vyhodnocenou kompozici nebo přehlédnutý prvek v návrhu. V kanceláři může model zaměnit číslo v tabulce. V domácnosti může nesprávně přečíst údaj z fotografie elektroměru nebo návodu. A při používání AI jako asistenta na počítači může špatné určení polohy vést ke kliknutí na nesprávné tlačítko.
Výzkumníci zároveň upozorňují, že část údajných „logických chyb“ multimodálních modelů může vznikat ještě před samotným uvažováním. Pokud systém špatně rozpozná, kolik objektů je na obrázku, žádné pozdější vysvětlování tento základní omyl spolehlivě neopraví.
Výsledek není důkazem, že AI obrazům nerozumí
Benchmark je důležitý, ale není vhodné číst jeho výsledek jako tvrzení, že dnešní AI neumí pracovat s obrazem. Modely jsou velmi užitečné při mnoha běžných úkolech: umějí připravit popis fotografie, navrhnout alternativní text, pomoci s tříděním obrázků nebo vysvětlit obsah dokumentu.
Problém spočívá ve spolehlivosti v detailech. Model může být působivý při shrnutí celé scény a zároveň selhat u přesného počítání nebo drobného nápisu. Výsledek také závisí na kvalitě obrázku, velikosti textu, kontrastu, úhlu pohledu a způsobu zadání.
Starší benchmark BLINK porovnával různé vizuální schopnosti multimodálních modelů jinou metodikou než PerceptionBench, nejde tedy o přímé srovnání výsledků. Podle ověřeného repozitáře dosáhl mezi uvedenými modely GPT-4V skóre 51,26 procenta a Gemini 45,72 procenta, zatímco lidé dosáhli 95,70 procenta. Výsledky staršího benchmarku ukazují, že modely mohou obraz zpracovat, ale ne vždy ho skutečně vnímají přesně.
Novější PerceptionBench tento obraz doplňuje přesnějším rozdělením chyb. Neříká pouze, že model odpověděl špatně, ale snaží se ukázat, zda selhal při počítání, lokalizaci, OCR nebo třeba při rozpoznání neexistujícího objektu.
Co z toho plyne pro české uživatele
PerceptionBench není placený nástroj pro běžné uživatele a nejde o novou aplikaci, kterou by si bylo nutné pořizovat. Dataset i vyhodnocovací kód jsou zveřejněné pro výzkumníky a vývojáře. Samotný benchmark proto nemá předplatné ani zvláštní dostupnost pro český trh.
Testované modely patří mezi mezinárodní služby, jejichž dostupnost, ceny a podpora češtiny se mohou lišit podle konkrétní platformy a regionu. Výsledek benchmarku proto neříká, který nástroj si má český uživatel okamžitě předplatit. Ukazuje spíše obecné omezení, které se týká práce s obrazem bez ohledu na jazyk rozhraní.
Praktické doporučení je jednoduché: AI používejte jako pomocníka, ne jako automatickou kontrolu reality. U fotografií, smluv, čísel, technických údajů a důležitých dokumentů si vždy ověřte, zda model správně přečetl konkrétní detail. Pomoci může také vlastní kontrolní dotaz, například „Kolik objektů skutečně vidíš?“ nebo „Uveď pouze text z vyznačené oblasti a nic nedoplňuj.“ Ani přesnější zadání však není zárukou bezchybného výsledku.
Nový benchmark tak přináší střízlivý závěr: současné modely umějí o obrazech přesvědčivě mluvit, ale jejich vizuální vnímání zůstává nerovnoměrné. V některých úkolech jsou velmi dobré, v jiných stále chybují u věcí, které člověk zvládne téměř bez námahy.
FAQ
Je PerceptionBench určený pro běžné uživatele?
Především jde o výzkumný benchmark s otevřeným datasetem a kódem. Běžný uživatel ho nemusí instalovat, ale může jeho výsledky využít jako připomínku, že odpovědi AI k obrázkům je vhodné kontrolovat.
Znamená výsledek pod 60 procent, že AI obrazům vůbec nerozumí?
Ne. Modely zvládají řadu praktických úkolů s obrazem velmi dobře. Výsledek ukazuje, že jejich přesnost není rovnoměrná a že selhávají hlavně u některých základních detailů, jako je počítání, lokalizace nebo odhalení neexistujícího objektu.
Má benchmark českou verzi?
PerceptionBench je zveřejněn jako výzkumná sada v angličtině. Nejde o lokalizovanou spotřebitelskou službu pro český trh. Závěry jsou ale relevantní i při používání AI v češtině, protože se týkají samotného zpracování obrazu.
Zdroje: výzkumná práce PerceptionBench, oficiální představení benchmarku týmem Kimi, zdrojový kód a výsledky na GitHubu, The Decoder, benchmark BLINK.
