Jak CounterCloud fungoval
Princip je v jádru jednoduchý. Nea Paw vzal články s opačným názorem a vložil je do ChatGPT s pokynem, aby model napsal protiargumentační text. Model pak vygeneroval několik verzí téhož článku – v různých stylech a z různých úhlů pohledu.
To je přesně oblast, ve které jsou velké jazykové modely silné: umějí přepsat stejnou informaci mnoha způsoby, aniž by si čtenář všiml, že jde o stroj. Systém podle autora vymýšlel falešné události, falešné historické události a zpochybňoval přesnost původního článku.
K tomu přibyly další vrstvy. Gatekeeper modul zajistil, aby AI reagovala jen na nejrelevantnější obsah. Syntetické hlasové stopy, ve kterých čtou falešné články hlasatelé, a fotografie dodaly celku autenticitu. Autor vytvořil i falešné profily novinářů a falešné komentáře pod články. Systém navíc dostal pokyn lajkovat a sdílet zprávy, které ladily s jeho narativem, a psát „proti-tweety" k těm, které ne.
Výsledek? Za dva měsíce měl plně autonomní systém, který podle autora generoval „přesvědčivý obsah v 90 % případů, 24 hodin denně, sedm dní v týdnu".
Kolik taková propaganda stojí
Nejpozoruhodnější je cena. Podle Business Insideru vyšel provoz na méně než 400 dolarů měsíčně. V přepočtu to je zhruba 9 000 korun, tedy kolem 300 korun denně za nepřetržitý běh. Představte si tiskovou agenturu, která nikdy nespí, nebere dovolenou a nevystavuje fakturu za přesčasy – a denně vás stojí míň než oběd v centru Prahy.
Pro srovnání: v roce 2023 stálo předplatné ChatGPT Plus 20 dolarů měsíčně, takže provoz CounterCloudu vyšel zhruba na dvacet takových předplatných. Wired, který o projektu informoval jako první, uvádí celkové náklady kolem 400 dolarů.
Rozdíl proti minulosti je propastný. Klasická trollí farma potřebovala placené lidi, prostory a koordinaci. CounterCloud tohle zredukoval na jeden API klíč a pár promptů.
Co na to říkají odborníci
Renee DiResta ze Stanford Internet Observatory, která sleduje informační kampaně, označila vygenerované články a profily novinářů za poměrně přesvědčivé. Upozornila, že kromě států se nástrojů chopí i agentury spravující sociální sítě a žoldnéřské služby, které prodávají ovlivňovací operace.
Micah Musser z Georgetownské univerzity, který se věnuje dezinformačnímu potenciálu jazykových modelů, dodává střízlivý pohled. Samotný AI text je zatím dost generický a rozpoznatelný. Problém nastává, když člověk výstup modelu doladí – takový obsah je podle něj vysoce účinný a automatickými filtry téměř nezastavitelný.
Obavy vyjádřil i šéf OpenAI Sam Altman. V srpnu 2023 napsal, že ho znervózňuje dopad AI na budoucí volby: „Personalizovaná persvaze jedna na jednoho v kombinaci s kvalitním generovaným médiem bude silná síla."
OpenAI a pravidla pro politiku
Když OpenAI zpřístupnila svou technologii přes API, politické využití nejdřív zakazovala. V březnu 2023 pravidla upravila tak, aby zakazovala hromadnou výrobu sdělení mířených na konkrétní skupiny voličů. Jenže podle článku Washington Postu GPT sám takový materiál reálně neblokuje.
Kim Malfacini, vedoucí produktové politiky OpenAI, k tomu řekla, že společnost zkoumá, jak se její technologie používá k politickým účelům. Lidé si podle ní zatím nezvykli předpokládat, že obsah, který vidí, může být vygenerovaný umělou inteligencí.
Autor projektu CounterCloud systém na internet nikdy nepustil. „Znamenalo by to aktivně šířit dezinformace a propagandu. Jakmile džina pustíte na internet, nevíte, kde skončí," vysvětlil. Větší smysl podle něj dává zveřejnit, jak systém funguje zevnitř, a poučit veřejnost.
Český a evropský rozměr
Pro Česko téma není akademické. Akt o umělé inteligenci (EU AI Act) zavádí povinnost označovat obsah generovaný umělou inteligencí a viditelně značit deepfakes. Přesně takový obsah – syntetické zprávy, které se tváří jako dílo lidí – CounterCloud ukázal. Sám Nea Paw ale říká, že žádné řešení není elegantní, levné ani zcela účinné, podobně jako u phishingu a spamu.
Byl CounterCloud někdy nasazen na internet?
Ne. Autor projekt nezveřejnil, protože by to znamenalo aktivní šíření dezinformací. Systém sloužil jako ukázka, jak levně a snadno se dá masová propaganda vytvářet.
Dokáže dnes někdo rozpoznat AI generovaný text?
Zatím jen omezeně. Samotný výstup modelu bývá generický a rozpoznatelný, ale jakmile ho člověk doladí, je podle výzkumníků téměř nezastavitelný automatickými filtry.
Jak se proti podobným kampaním bránit?
Podle autora projektu neexistuje jednoduché řešení. Mluví o kombinaci vzdělávání uživatelů, označování AI obsahu a detekčních nástrojů v prohlížeči – žádné z nich ale podle něj není elegantní ani levné.
