Měření věrnosti vysvětlení
Vysvětlitelná umělá inteligence (XAI) má pomáhat nahlédnout do fungování složitých modelů. Když systém roztřídí snímek kůže nebo zamítne žádost, cílem je určit vstupy, které o tom rozhodly. Této hodnotě se říká důležitost vlastnosti (feature importance). Výstupem bývá například tepelná mapa u obrázků nebo seznam klíčových slov u textu.
Věrnost (anglicky faithfulness) popisuje, do jaké míry vysvětlení odpovídá vnitřnímu výpočtu modelu. Při odebrání důležité vlastnosti se má předpověď výrazně změnit. Po odebrání nepodstatné vlastnosti zůstává téměř beze změny. Podle autorů práce publikované na arXiv je měření tohoto vztahu komplikovanější, než odborná literatura běžně uvádí.
Pět nedostatků současných testů
Autorský tým z TU Delft, Univerzity College Cork, DFKI, TU Dresden a firem XITASO a IFAB představil text na workshopu o vysvětlitelné AI konference IJCAI-ECAI 2026. Navazuje na přehledovou studii, která u metrik věrnosti cituje 19 různých přístupů. Práce jich sama popisuje pět hlavních nedostatků.
První potíž spočívá v tom, že se testy soustředí téměř výhradně na klasifikaci. Když model zařazuje obrázky do kategorií, sleduje se pokles pravděpodobnosti třídy mezi nulou a jedničkou. U regrese, například při odhadu ceny bytu, tato hranice neexistuje. Skóre věrnosti je pak mezi různými daty nesrovnatelné.
Druhý nedostatek: část metrik nesleduje věrnost vůči modelu. Postupy ROAR a ROAD měří pokles přesnosti po odstranění vlastností, tedy úspěšnost celého systému. Podle autorů to vypovídá o vztahu vysvětlení k realitě, nikoli k samotnému modelu. Metoda ROAR navíc model znovu trénuje, takže výsledek popisuje jiný model než ten původní.
Třetí problém je technický. Simulace odstranění vlastnosti vyžaduje umělou výchozí hodnotu. Oblast obrázku lze nahradit šedou, černou, bílou, průměrem, rozmazáním nebo doplněním generativním modelem. Autoři odkazují na starší studii, podle níž žádná nejlepší volba neexistuje.
Čtvrtá vada spočívá v tom, že podobné zásahy vytvářejí data mimo trénovací rozdělení. Neuronové sítě na ně mohou reagovat přehnaně sebejistě a často si určí jednu záchytnou třídu pro neznámé vstupy. Autoři to dokládají na modelu ResNet-18 natrénovaném na datasetu HAM10000 se sedmi třídami kožních lézí. U zcela černého obrázku by kalibrovaný model měl rozdělit pravděpodobnost rovnoměrně, zhruba po jedné sedmině pro každou třídu. Testovaný model přesto trvá na jediné třídě.
Pátá výhrada míří na matematickou stránku. Korelační i plošné metriky neodpovídají definici věrnosti. Pearsonova korelace předpokládá lineární vztah mezi důležitostí a poklesem předpovědi. Spearmanova korelace hodnotí pouze monotónnost bez ohledu na tvar křivky. Metrika AOPC vyhodnotí kladně i situaci, kdy rozhoduje jediná vlastnost a zbytek nemá vliv.
Čtyři doporučené směry výzkumu
Autoři v textu navrhují čtyři cesty k nápravě. Doporučují počítat věrnost na modelech odolných vůči datům mimo rozdělení, v klasifikaci zohlednit také nevítězné třídy, zaměřit se na regresi a lépe sladit metriky se sledovaným jevem. Osa x křivky by měla odpovídat důležitosti odstraněných vlastností, nikoli pořadí jednotlivých kroků, jak je tomu u řady nynějších postupů.
Dopady na evropskou praxi
Debata o věrnosti vysvětlení má přímé právní důsledky. Autoři připomínají, že GDPR obsahuje diskutované právo na vysvětlení, a evropská regulace AI vyžaduje transparentnost u vysoce rizikových systémů. Pokud nelze spolehlivě změřit shodu vysvětlení s modelem, je obtížné prokázat správnost postupu. Pro české firmy nasazující AI v úvěrování, náboru nebo zdravotnictví z toho plynou praktické povinnosti.
Limity publikované práce
Předložený text je poziční zprávou, nikoli experimentální studií. Autoři netvrdí, že by vysvětlení AI byla nutně nevěrná, poukazují na chybějící metody ověření. Zároveň uvádějí, že návrhy číslo dvě a tři jsou spíše doporučení než hotová řešení, a otázka volby výchozí hodnoty zůstává nevyřešená.
Co přesně znamená věrnost (faithfulness) vysvětlení AI?
Je to míra, do jaké vysvětlení odpovídá tomu, co model skutečně dělá uvnitř, nikoli tomu, co by si člověk představoval. Věrné vysvětlení přesně ukazuje, které vstupy ovlivnily předpověď a jak silně.
Týká se to i velkých jazykových modelů, jako je ChatGPT?
Práce se věnuje hlavně vysvětlením typu „důležitost vlastnosti" u klasických modelů, nikoli jazykovým modelům. Autoři sami upozorňují, že jiné typy vysvětlení, jako jsou kontrafaktuální příklady nebo koncepty, nechávají stranou.
Mohou si české firmy ověřit, zda jejich AI vysvětluje správně?
Přímo podle závěrů práce zatím neexistuje spolehlivá jednotná metrika. Autoři doporučují zatím vysvětlovat hlavně předpovězenou třídu a používat modely s dobře kalibrovanou mírou nejistoty.
