Principy detekce AI textu
Jazykové modely, jako je ChatGPT, generují text tak, že vždy tipují nejpravděpodobnější další slovo. Jejich výstup proto často používá předvídatelné fráze a věty podobné délky. Detektory umělé inteligence tyto vlastnosti vyhodnocují.
Jedním z používaných ukazatelů je perplexita. Zjednodušeně vyjadřuje, jak snadné je odhadnout další slovo. Čím nižší je perplexita, tím předvídatelnější text je a tím víc může připomínat strojový výstup. Lidé občas sáhnou po nečekaném slovním spojení, které by model nevybral.
Dalším ukazatelem je burstiness, tedy proměnlivost délky a složitosti vět. Člověk střídá krátké věty s delšími souvětími. Model má obvykle rovnoměrnější rytmus, protože vybírá statisticky pravděpodobnou variantu.
Detektory sledují také čistě jazykové vzorce: slovní zásobu, stavbu vět nebo stylistickou konzistenci. U ChatGPT si lidé všimli opakujících se znaků, například dlouhé pomlčky, slov „delve“ nebo „testament“ a konstrukce typu „jedná se o X a Y“. Samy o sobě tyto rysy autorství nepotvrzují. V součtu však mohou zvýšit odhad, že text vznikl pomocí AI.
Výsledek jako odhad
Důležité je, co detektor vrací. Jde o odhad pravděpodobnosti podle vlastností, které nástroj porovnává s trénovacími daty. Firma Undetectable AI, která prodává detektor i nástroj na „polidštění“ textu, to ve svém rozboru říká přímo: žádná metoda nedokáže s jistotou potvrdit, že konkrétní text napsal ChatGPT.
Ukazuje to i test této společnosti. Nechala vygenerovat 650slovný článek porovnávající básníky Johna Keatse a Lorda Byrona a potom ho pustila přes svůj detektor. Výsledek označil 99 procent textu jako umělý. Takto vysoké skóre stále vyjadřuje pouze odhad. Detektor nevidí do hlavy autora ani do historie dokumentu.
V praxi se tento rozdíl často ztrácí. Učitelé, editoři i zaměstnavatelé někdy berou číslo z detektoru jako fakt. Technicky dostávají míru shody s texty a vzorci, které nástroj znal ze svých trénovacích dat.
Přesnost detektorů
Nezávislé testy hodnotí přesnost detektorů opatrněji než jejich výrobci. Studie z roku 2023 pod vedením Debory Weber-Wulff otestovala 14 nástrojů včetně Turnitinu a GPTZero. Žádný nepřesáhl 80procentní přesnost a jen pět se dostalo nad 70 procent. Autoři také zjistili, že nástroje častěji chybně přičítají text člověku a že po přeformulování textu jejich přesnost klesá.
Výrazným problémem je falešné označení textu, který člověk skutečně napsal. Studie vědců ze Stanfordu z roku 2023 ukázala, že detektory jsou předpojaté proti lidem, pro něž angličtina není rodný jazyk. Eseje od neanglicky píšících autorů označily falešně jako umělé v průměru v 61,3 procentech případů. Pro Čecha, který píše v angličtině, to znamená konkrétní riziko. Formálně správný, ale jazykově „překládaný“ text může detektor vyhodnotit jako strojový.
Sliby výrobců se v testech nepotvrdily vždy. Turnitin deklaroval méně než 1 procento falešných označení, ale test deníku The Washington Post na menším vzorku naměřil zhruba 50 procent. Studie Common Sense Media z roku 2024 pak našla 20procentní míru falešných obvinění u černošských studentů proti 7 procentům u bělošských. Kvůli pochybnostem o spolehlivosti vypnuly detekci AI v roce 2023 i univerzity z britské Russell Group včetně Cambridge. Samotná OpenAI svůj vlastní detektor textu stáhla v červenci 2023, protože nebyl dost spolehlivý.
Faktory ovlivňující výsledek
Výsledek závisí na několika okolnostech. Krátké texty poskytují k analýze méně materiálu, proto většina nástrojů vyžaduje minimální délku. Roli hraje také verze modelu. Jednotlivé verze – například starší GPT-3.5, GPT-4 či obecně novější generace modelů – se liší v tom, jaké vzorce zanechávají, a detektor natrénovaný na starší data může výstupy novějších modelů hůř rozpoznávat.
Záleží také na zadání, se kterým autor text vygeneroval. Bez konkrétního tónu nebo stylu model používá nejpravděpodobnější vzorce a detekce může být snazší. Požadavek na osobitý nebo určitým způsobem stylizovaný text výsledek změní. Nástroje na „polidštění“, které přeformulovávají věty kvůli pestřejší délce a předvídatelnosti slov, mohou vzorce vyhledávané detektory skrýt.
Ověření textu bez nástroje
Spoléhat pouze na detektor je proto riskantní. Užitečná může být ruční kontrola. Varováním bývá opakující se struktura nebo generické fráze. Pozornost si zaslouží také text bez konkrétního obsahu, důkazů a vlastních zjištění, který jen opakuje obecné pravdy. ChatGPT může zopakovat zastaralou informaci nebo citovat nefunkční odkaz, takže je vhodné ověřit fakta i zdroje.
Pomoci může srovnání s předchozími texty autora. Náhlá změna slovní zásoby, stavby vět nebo tónu oproti starším pracím může naznačit odlišné autorství. Následuje rozhovor s autorem o postupu, zdrojích a argumentech. Kdo text skutečně napsal, většinou dokáže svůj myšlenkový postup popsat. Užitečné jsou také dokumenty, například historie verzí v Dokumentech Google nebo Wordu, koncepty a poznámky z rešerše.
České a evropské souvislosti
Pro českého čtenáře má téma praktický rozměr. Detektory jsou trénované především na angličtině a podle stanfordské studie u nerodilých mluvčích selhávají častěji. Český student, který odevzdá seminárku v angličtině, tak může čelit falešnému obvinění z podvádění. Český text v češtině většina detektorů neumí spolehlivě posoudit vůbec, protože jde o jazyky s menším objemem trénovacích dat.
Evropský akt o umělé inteligenci (AI Act) řeší hlavně rizikové systémy a transparentnost. Neurčuje, jestli seminárku napsal model. Povinnost označovat AI obsah a odhalovat jej tak zůstává na školách, redakcích a firmách. Detektor může sloužit jako jedno z vodítek, k obvinění však sám nestačí.
Proč můj vlastní text detektor označil jako umělý?
Detektory jsou předpojaté proti formálně správnému, jazykově „rovnému“ stylu. Častěji falešně označí text od lidí, kteří píšou anglicky jako druhý jazyk, ale také kratší či formálnější texty obecně. Vysoké skóre nepotvrzuje, že jste text nepsali.
Fungují tyto detektory i na český text?
Většina nástrojů je trénovaná na angličtině a pro češtinu má výrazně horší a hůře ověřenou přesnost. Na český text je proto nelze používat se stejnou mírou důvěry jako na anglický.
Má smysl detektor AI vůbec používat?
Jako jedno z vodítek ano, ne jako jediný důkaz. Užitečná je kombinace detektoru s ruční kontrolou faktů, srovnáním s předchozí prací autora a rozhovorem s ním.
