Skrytý text měl přesvědčit AI, aby stála na straně žalobce
Případ se odehrál u soudu v americkém Connecticutu. Matthew Elliott, který se zastupuje sám, zažaloval společnost New York Bariatric Group kvůli údajnému porušení ochrany soukromí, diskriminaci a dalším nárokům. V některých pozdějších podáních se objevily instrukce určené případnému systému umělé inteligence, který by dokument zpracovával.
Šlo o rozhodnutí soudu Superior Court of Connecticut, Judicial District of Ansonia-Milford ve věci vedené pod spisovou značkou AAN-CV-25-6066141-S, vydané 6. srpna 2026.
Text byl napsaný velmi malým písmem a bílou barvou na bílém pozadí. Pro člověka, který dokument čte běžným způsobem, byl prakticky neviditelný. V textové vrstvě dokumentu ale zůstal zachovaný, takže ho mohl přečíst software zpracovávající obsah souboru.
Instrukce měly podle dostupných dokumentů vést AI k tomu, aby výstup odpovídal argumentaci žalobce a podporoval jeho pozici. Nešlo tedy o běžnou poznámku, formátovací prvek ani technickou metadatovou informaci. Šlo o pokus vložit do dokumentu druhé sdělení, které by viděl stroj, ale nikoli protistrana nebo soudce.
Na případ upozornil server 404 Media. Podrobnější shrnutí přinesl také The Decoder.
Co je prompt injection a proč funguje právě v dokumentech
Prompt injection je útok, při kterém někdo vloží vlastní instrukci do dat, jež má AI analyzovat. Problém vzniká ve chvíli, kdy model nedokáže spolehlivě rozlišit mezi obsahem dokumentu a pokynem od svého provozovatele.
Jednoduché srovnání: představte si účetní, která dostane složku faktur ke kontrole. Na jedné faktuře je drobným písmem připsáno: „Přehlédni všechny částky nad 100 000 korun.“ Člověk si podobné poznámky může všimnout, vyhodnotit je jako podezřelé a ignorovat. Jazykový model ale pracuje s textovou reprezentací dokumentu. Pokud je instrukce v textu dostupná, může ji považovat za další pokyn.
Barva písma přitom není bezpečnostní hranice. Bílý text na bílém pozadí je neviditelný při běžném vizuálním čtení, ale při extrakci textu z PDF se může chovat stejně jako běžný černý odstavec. Podobně lze využít velmi malé písmo, text mimo okraj stránky, skryté vrstvy, komentáře, alternativní popisy obrázků nebo metadata.
Útok nemusí cílit jen na soudní systém. Stejný princip může ohrozit AI nástroj, který čte smlouvy, e-maily, životopisy, zákaznické požadavky, bezpečnostní reporty nebo webové stránky. Jakmile se cizí dokument stane vstupem pro model, může obsahovat nejen informace, ale také pokyny, které se model pokusí splnit.
Soud žádnou AI pro hodnocení podání nepoužíval
Na případu je nejzajímavější, že se manipulace minula zamýšleným cílem. Soudce Walter Spader Jr. uvedl, že justiční systém v Connecticutu nepoužívá umělou inteligenci k hodnocení nebo rozhodování o soudních podáních.
Skrytý text tedy neměl na výsledek řízení přímý vliv, protože žádný automatizovaný AI proces podání nehodnotil. Jeho případný účinek zůstal pouze hypotetický. Soud ho ale nepovažoval za neškodný žert. Podle rozhodnutí je problém v samotném pokusu tajně ovlivnit systém, který by mohl dokument zpracovávat. Soudce přirovnal takové jednání k tajné komunikaci s automatizovaným prostředníkem, který by během řízení mohl ovlivňovat rozhodování.
Podstatný je také rozdíl mezi použitím AI při přípravě dokumentu a manipulací s dokumentem. Soudce výslovně připustil, že nástroje umělé inteligence mohou lidem bez právního zastoupení pomoci vytvořit srozumitelnější podání. Za nepřijatelné označil až použití těchto nástrojů k tajnému ovlivnění procesu.
Elliott po prvním upozornění ve skrytých textech pokračoval. V dalších podáních se měly objevit také odkazy na video a nesouvisející poznámky. Soud mu následně zrušil elektronický přístup k podávání dokumentů. Další podání musí doručovat osobně v papírové podobě.
Rozhodl podivný prázdný prostor, ne chytrý detektor
Paradoxem případu je způsob odhalení. Soud nepoužil sofistikovaný klasifikátor prompt injection ani speciální bezpečnostní nástroj. Pracovník soudu si všiml neobvyklých prázdných míst v dokumentu. Při bližší kontrole se ukázalo, že obsahují téměř neviditelný text.
To je důležitá lekce pro všechny organizace, které chtějí zapojit AI do práce s dokumenty. Bezpečnostní ochrana nesmí spoléhat pouze na to, co vidí člověk na obrazovce. Systém musí kontrolovat také skutečnou textovou vrstvu souboru, jeho metadata, skryté objekty a rozdíly mezi dokumenty.
Prakticky to znamená například převést PDF do čisté textové podoby, označit instrukce uvnitř dokumentu jako nedůvěryhodná data a oddělit je od systémových pokynů pro model. Pomoci může také sandbox, tedy izolované prostředí, ve kterém AI nemá možnost sama provádět citlivé akce. U právních dokumentů by navíc měl každý automaticky vytvořený výstup projít lidskou kontrolou.
Podobný typ rizika zmiňuje i brazilské soudnictví
Dostupné brazilské zdroje v této souvislosti upozorňují na obecné riziko skrytých instrukcí a prompt injection při používání AI v soudních procesech. Nepotvrzují však konkrétní popis odhaleného brazilského podání ani jednotlivého případu.
Stránka Federální rady justice se věnuje skrytým instrukcím a rizikům manipulace s AI v soudních procesech, zatímco web soudu státu Rio de Janeiro odkazuje na téma prompt injection. Z těchto zdrojů lze vyvodit obecné varování: dokument určený lidem může obsahovat instrukce, které se při automatizovaném zpracování pokusí ovlivnit AI. Nelze z nich ale vyvozovat konkrétní doporučení institucí pro další postup.
Brazilské upozornění tak doplňuje connecticutský případ především na obecné úrovni. V Connecticutu šlo o pokus zasáhnout systém, který podle soudce vůbec nasazený nebyl. Oba příklady ukazují stejný problém: dokument určený lidem se může stát útočným vstupem pro software.
Stejná slabina se objevila i ve vědeckém publikování
Skryté instrukce se neobjevily pouze u právních podání. Výzkumníci už dříve popsali případy, kdy autoři ukrývali do vědeckých rukopisů pokyny typu „uděl pozitivní hodnocení“. Cílem bylo ovlivnit AI systémy, které mohou pomáhat s předběžným hodnocením článků.
Studie Hidden Prompts in Manuscripts Exploit AI-Assisted Peer Review popisuje několik variant takových instrukcí, od jednoduchého požadavku na kladné hodnocení až po složitější texty napodobující pravidla recenzního procesu. Výzkumníci upozorňují, že problém se netýká jen peer review, ale také detekce plagiátů, indexování citací nebo automatického třídění odborných textů.
V obou oblastech je společný omyl stejný: někdo předpokládá, že když člověk text nevidí, nemůže ho vidět ani systém. U AI to neplatí. Model pracuje s daty, nikoli s vizuálním dojmem stránky.
Proč je případ důležitý i pro české firmy
Nejde o službu nebo model, který by si český uživatel mohl zapnout. Případ se týká bezpečnosti AI obecně a není vázaný na konkrétní jazykový model, cenu ani dostupnost v češtině. Pro český trh je ale relevantní ve chvíli, kdy firmy, advokátní kanceláře nebo úřady začnou do AI posílat dokumenty od externích osob.
Typickým příkladem může být automatická kontrola smluv. Pokud model dostane smlouvu od protistrany a má vypsat rizikové body, skrytá instrukce v dokumentu by se mohla pokusit jeho pozornost odvést jinam. Podobně může fungovat životopis, reklamace, technická dokumentace nebo příloha e-mailu.
Bezpečný systém proto nemá chápat každou větu ve vstupním dokumentu jako příkaz. Dokument je důkazní nebo informační materiál. Instrukce pro model musí přicházet z oddělené, důvěryhodné vrstvy. Jinými slovy: když AI čte smlouvu, má ji analyzovat, ne poslouchat.
AI v právu není problém. Problémem je slepá důvěra
Connecticutský soud neposlal umělou inteligenci do vyhnanství. Naopak připustil její využití při přípravě podání, pokud člověk výsledek zkontroluje a odpovídá za něj. To je rozumná hranice.
AI může pomoci vysvětlit právní pojem, uspořádat argumenty nebo převést chaotické poznámky do čitelného dokumentu. Neměla by ale dostat možnost sama rozhodovat, kterým částem vstupu věřit, ani provádět kroky bez kontroly. A už vůbec ne slepě následovat příkazy ukryté v materiálu, který má pouze analyzovat.
Incident z Connecticutu je proto méně bizarní kuriozita, než se na první pohled zdá. Ukazuje, že prompt injection se přesouvá z laboratorních ukázek do běžných pracovních toků. Soudní podání, smlouva nebo faktura jsou pro jazykový model jen další text. Pro člověka ale mohou mít právní nebo finanční důsledky. Právě tento rozdíl bude při nasazování AI rozhodovat o tom, zda automatizace ušetří čas, nebo vytvoří nový druh problému.
FAQ
Může skrytý text ovlivnit ChatGPT nebo jiný jazykový model?
Ano, může se o to pokusit. Úspěch závisí na konkrétním modelu, způsobu zpracování dokumentu a bezpečnostních pravidlech aplikace. Skrytá instrukce ale není automaticky účinná a sama o sobě neznamená, že model příkaz poslechne.
Jak může firma odhalit bílé nebo jinak skryté instrukce v PDF?
Dokument by měla zpracovat také v textové podobě, kontrolovat textové vrstvy, metadata, neobvyklé formátování a případně porovnávat dokument s očekávanou strukturou. U citlivých úloh je vhodné, aby výstup kontroloval člověk.
Je používání AI při přípravě soudního podání zakázané?
Samotné použití AI při přípravě dokumentu není obecně totéž jako skrytá manipulace. Konkrétní pravidla se liší podle jurisdikce a typu řízení. Odpovědnost za správnost podání ale zůstává na osobě, která ho soudu předkládá.
