Operace "Fantomová choroba": Jak napálit umělou inteligenci

Tým výzkumníků z Centra pro kybernetickou politiku na Stanfordské univerzitě se rozhodl otestovat odolnost digitálního informačního ekosystému. Jejich metoda byla prostá, ale geniální: vymysleli si neexistující zdravotní stav, který nazvali "syndrom zrychleného kognitivního vyčerpání" (v angličtině "Accelerated Cognitive Exhaustion Syndrome", zkráceně ACES). Aby byla iluze dokonalá, vytvořili několik falešných webových stránek, odborně se tvářící studie ve formátu PDF a profily fiktivních lékařů na sociálních sítích, kteří o "nové hrozbě" diskutovali.

Tento pečlivě připravený balíček dezinformací byl následně vypuštěn do online světa. Cílem nebylo jen sledovat, jak se informace šíří mezi lidmi, ale především otestovat, jak na návnadu zareagují velké jazykové modely (LLM), které se stávají primární bránou k informacím pro miliony uživatelů po celém světě. V České republice jsou nástroje jako ChatGPT a Gemini běžně dostupné a hojně využívané jak pro práci, tak pro osobní dotazy.

ChatGPT a Gemini spolkly návnadu i s navijákem

Když se vědci začali dotazovat chatbotů na "syndrom ACES", výsledky byly alarmující. Jak GPT-4, tak Google Gemini začaly o fiktivní nemoci mluvit jako o reálném problému. Modely sebevědomě generovaly popisy symptomů, rizikové faktory a dokonce i doporučení pro prevenci, přičemž jako zdroje uváděly právě falešné weby a studie vytvořené výzkumníky. Podle zveřejněné zprávy, kterou citovala i média jako CNBC, modely dokázaly zkompilovat uvěřitelný a koherentní text, který by běžného uživatele bez hlubších znalostí snadno přesvědčil o existenci nemoci.

Zajímavé bylo, že modely jen pasivně neopakovaly dodané lži. Dokázaly je kreativně rozvíjet a zasazovat do kontextu existujících medicínských znalostí, čímž dezinformaci propůjčily punc legitimity. Tento jev, známý jako "halucinace", je jedním z největších problémů současných LLM. AI si nevymýšlí záměrně; jejím cílem je generovat statisticky nejpravděpodobnější pokračování textu na základě dat, na kterých byla trénována. Pokud tato data obsahují promyšlenou lež, model ji zpracuje jako fakt.

Lidský faktor: Nejsme o nic moudřejší

Studie se nezaměřila pouze na stroje. Součástí experimentu byl i průzkum mezi několika tisíci uživateli internetu. I zde byly výsledky tristní. Více než 80 % účastníků, kterým byly předloženy AI-generované texty o syndromu ACES, uvěřilo, že se jedná o skutečnou nemoc. To jen podtrhuje, jak moc se spoléháme na informace, které nám předkládají algoritmy, a jak málo je ověřujeme.

Problém je umocněn tím, že AI dokáže produkovat obsah ve velkém měřítku, personalizovaný a jazykově bezchybný, což ztěžuje odhalení dezinformačních kampaní. Zatímco dříve bylo možné falešné zprávy často poznat podle špatné gramatiky nebo podivné stylistiky, dnes dokáže AI vytvořit text nerozeznatelný od práce profesionálního novináře. To představuje obrovskou výzvu pro platformy, regulátory i samotné uživatele.

Co to znamená pro nás v Česku a Evropě?

Dopady takové zranitelnosti jsou obrovské. Představme si cílenou dezinformační kampaň před volbami, šíření paniky ohledně veřejného zdraví nebo manipulaci s finančními trhy. Schopnost AI generovat a šířit přesvědčivé lži může destabilizovat společnost.

Evropská unie se snaží těmto hrozbám čelit pomocí legislativy, především prostřednictvím Aktu o umělé inteligenci (AI Act). Tento předpis klade na vývojáře vysoce rizikových AI systémů (včetně některých LLM) povinnost zajistit transparentnost, robustnost a dohled. Například vyžaduje, aby obsah generovaný AI byl jasně označen. Stanfordská studie nicméně ukazuje, že samotné označení nemusí stačit, pokud je obsah natolik přesvědčivý, že mu lidé uvěří navzdory varování.

Pro české uživatele to znamená jediné: je nutné přistupovat k informacím z AI chatbotů s maximální obezřetností. Neberte jejich odpovědi jako absolutní pravdu, ale spíše jako dobře formulovanou kompilaci informací z internetu, která může obsahovat chyby, nepřesnosti nebo i záměrné lži. Vždy se snažte dohledat a ověřit primární zdroje, zejména u citlivých témat, jako je zdraví, finance nebo politika.

Vývojáři jako OpenAI a Google se snaží odolnost svých modelů vylepšovat, například lepším ověřováním faktů v reálném čase (tzv. RAG - Retrieval-Augmented Generation). Tento experiment je pro ně cennou zpětnou vazbou, která ukazuje, kde jsou slabiny. Je to neustálý závod mezi těmi, kdo se snaží AI zneužít, a těmi, kdo se ji snaží zabezpečit. A jak ukázala tato studie, útočníci mají v současnosti nebezpečně navrch.