GPT-5 rozebral německou debatu o dani z masa. Experta nenahradí

Co je framingová analýza

Framingová analýza je metoda, kterou vědci sledují, jak média a politici o něčem mluví. Rámec (frame) je úhel, který autor v textu zdůrazní, a jiné úhly vynechá. V debatě o zdanění masa může jeden článek psát, že daň „poškodí domácí farmáře", a druhý, že „zlepší zdraví lidí". Oba píšou o stejné dani, jen si vybírají jiný rámec.

Potíž je v tom, že hledání rámců dosud dělali lidé ručně. Odborník čte článek po článku, vypisuje citace a přiřazuje jim kategorie. Podle autorů nové studie to trvá 20 až 40 minut na jeden článek. U stovky textů jde o dny práce. Kódování je navíc subjektivní – dva lidé se u stejné věty mohou rozcházet.

Jak model články četl

Tým Wenderothové a kolegů navázal na starší kvalitativní analýzu německé mediální debaty o dani z živočišných potravin, kterou média často zkracují na daň z masa. Ta sebrala 381 novinových článků z deseti celostátních německých deníků a osmi oborových titulů, vydaných od února 2019 do července 2023. Lidský expert z nich vybral 2 700 citací a označil je rámci. Pro nový experiment se autoři omezili na deset nejčastějších negativních rámců, které dohromady tvořily 47 % všech kódovaných citací.

Z článků obsahujících tyto rámce náhodně vybrali 46 textů, v průměru dlouhých 6 763 znaků, tedy asi 917 slov. Modelům dali úlohu formou takzvaného few-shot učení: do promptu vložili 20 příkladů (dva na každý rámec), popis očekávaného výstupu a celý text jednoho článku. Prompty skládali v open-source frameworku LangChain a na každý článek poslali jeden požadavek.

Některé rámce si představte konkrétně: „daň prohlubuje nerovnosti", „peníze nepůjdou na deklarovaný účel", „daň nezlepší život zvířat", „poškodí domácí produkci" nebo „účelové vázání peněz není možné". To jsou věty, které model musel v textu najít a správně pojmenovat.

GPT-5 versus Gemini

Autoři porovnávali každý výstup modelu s lidskou referencí a každé nastavení spouštěli třikrát; kvůli kolísání výstupů uvádějí medián. GPT-5 vypsal 129 párů citace a rámec, tedy o 22,9 % víc než expertův ruční výčet 105. Z lidsky označených rámců našel 79 a v 94,9 % z nich se shodovala i samotná citace. Celkově dosáhl přesnosti 79,8 %, úplnosti (recall) 79,8 % a skóre F1 79,8 %.

Gemini 3.1 Pro Preview šel opačnou cestou. Vypsal jen 93 výsledků a našel 67,6 % lidských rámců, ale s přesností 89,2 %. F1 skóre vyšlo 79,0 %, tedy prakticky stejně. Zajímavý je i německý prompt, který dopadl o něco líp než anglický: F1 80,3 %.

Chyby se ukázaly hned při kontrole. Z 50 rámců, které GPT-5 navrhl nad rámec ručního kódování, jich 48 % označili dva autoři za správné – expert totiž v části z nich zvolil jiný, příbuzný rámec. Jednou model vrátil citaci, která v článku vůbec nebyla. Klasická halucinace. Jinde přisoudil rámec příliš široce nebo špatně pochopil jeho definici.

Citlivost na nastavení

Výsledky se mění podle toho, co modelu dáte. Když autoři snížili počet příkladů ze dvou na jeden na rámec, model vypsal nejvíc výsledků (143) a našel 78,1 % lidských rámců, ale s nejnižší přesností. V rozšiřující analýze s dvaceti rámci, pokrývajícími 77 % lidských případů, klesl záchyt GPT-5 na 66,7 %, tedy o 8,5 procentního bodu. Čím víc rámců a čím vzácnější výskyty, tím hůř model nachází.

Kolik času metoda ušetří

Autoři odhadují, že kontrola jednoho rámce zabere expertovi 60 až 90 sekund, s průměrně třemi rámci na článek. To je podstatně míň než 20 až 40 minut na ruční přečtení a zakódování celého textu. Když si to přepočítáme na celý vzorek 46 článků: ruční kódování by zabralo zhruba 15 až 31 hodin, kontrola výstupu AI okolo 2,5 až 3,5 hodiny. Model tak vychází jako druhý kodér, který potvrzuje ručně nalezené rámce, označí sporné případy a rychle projede nové články.

Právě tady je podle autorů hlavní přínos. Nejde o klinické rozhodování. Jde o úsporu rutinní čtecí práce, díky které může být analýza debaty aktuálnější a pokrýt víc textů, než zvládne jeden výzkumník.

Kde metoda naráží

Studie má jasně pojmenované limity. Model dostal jen deset nejčastějších rámců a dva příklady na každý, bez obecných popisů rámců. Pracoval tedy s míň rozlišenými informacemi než lidský expert, takže srovnání není úplně férové. Deset rámců navíc pokrývá jen 47 % negativních případů a model umí hledat jen předem definované rámce, ne nově vznikající. Autoři upozorňují i na subjektivitu kvalitativního výzkumu – rozdíly se objevují i mezi dvěma lidskými kodéry.

Jejich závěr je střízlivý: model nedosahuje kvality lidského kodéra a nemůže ho nahradit, ale jako doplněk výsledek framingové analýzy zlepší. V plánu mají přidat popisy rámců do promptu, rozdělit extrakci a klasifikaci do samostatných kroků a rozšířit záběr za deset nejčastějších rámců.

Česká a evropská souvislost

Studie je německá, ale metoda se týká i Česka. Framingová analýza se používá u daní z cukru a tabáku, u regulace alkoholu nebo u návrhů na zdanění nezdravých potravin. V Česku se o spotřebních daních a cenách jídla vede podobná debata jako v Německu a podobný nástroj by uměl rychle ukázat, které argumenty převládají a jak se posouvají v čase. Analytikům, novinářům i neziskovým organizacím, které sledují veřejnou debatu, by takový monitoring vyšel levněji a rychleji.

Metoda je zároveň ukázkou přístupu „člověk ve smyčce" (human-in-the-loop), který počítá i s chystanou regulací AI v Evropské unii. Model dělá hrubou práci, člověk kontroluje. Ve veřejném zdraví, tedy citlivé oblasti, je takové nastavení přesně to, co regulátoři chtějí vidět.

Studie vyšla v odborném časopise Archives of Public Health pod názvem „A systematic workflow for utilizing and evaluating large language models in public health policy framing analysis". Autoři jsou Johanna Wenderothová, Peter von Philipsborn, Anna Leibingerová a Philipp Cimiano.