ChatGPT si myslí, že ho nikdo nevidí. Vědci mu přečetli myšlenky a našli 62 hesel

Jak útok funguje: dvě API volání a jeden slabší model

Princip je překvapivě jednoduchý. Když AI model "přemýšlí", vygeneruje desítky až tisíce interních tokenů — surových úvah, ze kterých pak poskládá finální odpověď. Poskytovatelé tyto tokeny zašifrují do takzvaného reasoning blobu a vrátí je klientovi. Při dalším kole konverzace je klient pošle zpět na server, aby model mohl navázat na to, co si předtím "promyslel". Klíčový objev výzkumníků: tyto šifrované bloky jsou přenositelné mezi relacemi, uživateli i modely v rámci jednoho poskytovatele. Vezmete zašifrované myšlenky nejsilnějšího modelu — třeba Anthropic Opus 4.8 — a pošlete je jako kontext slabšímu sourozenci, třeba Haiku 4.5. Ten pak pomocí jailbreaku přimějete, aby surové úvahy silnějšího modelu doslova přepsal. A to bez toho, abyste na silnější model vůbec útočili. Stejný trik funguje u modelů OpenAI (napříč řadou o a GPT) i u Gemini od Googlu. Podle autorů se počet extrahovaných tokenů u většiny dotazů přesně shoduje s počtem účtovaných "thinking" tokenů — čtou tedy kompletní vnitřní monolog, ne jen útržky.

Co se našlo ve veřejných stopách: 62 API klíčů, 33 hesel, 33 e-mailů

Tady příběh přestává být jen akademickou zajímavostí. Výzkumníci prohledali přibližně 7 000 veřejně dostupných agentích relací — z GitHubu, Hugging Face a dalších platforem — které stále obsahovaly zašifrované reasoning bloky. Z nich dekódovali přes 315 tisíc myšlenkových bloků. Výsledek? 62 unikátních API klíčů, 33 e-mailových adres, 33 hesel a 24 přístupových tokenů. Celkem 704 různých citlivých artefaktů. Z toho 64 položek se nacházelo výhradně ve skrytých úvahách a v samotné viditelné konverzaci nebyly nikde jinde. Jinými slovy: pokud jste sdíleli svou Claude Code nebo Codex relaci na GitHubu, může z ní kdokoli s přístupem ke slabšímu modelu od stejného poskytovatele vytáhnout vaše hesla — i když v samotném chatu vidět nejsou. Stačí mu k tomu API klíč k levnějšímu modelu a pár desítek centů. Pro představu o nákladech: dekódování 10 000 reasoning stop vyjde na zhruba 720 dolarů, tedy přibližně 16 900 Kč. Jeden extrahovaný myšlenkový blok tak stojí necelé dvě koruny. Pro útočníka, který cíleně hledá firemní API klíče nebo přístupové údaje, jde o směšně levnou operaci.

Mimozemský jazyk a "but marinade": co si modely doopravdy šeptají

Dekódované úvahy odhalují ještě něco znepokojivějšího. Modely OpenAI občas myslí v jazyce, který nedává smysl žádnému člověku. Výzkumníci potvrzují dřívější zprávy od Apollo Research: model o sobě mluví jako "my" (we) nebo "ono" (it), zasekává se v nekonečných smyčkách podivných výrazů jako "vantages", "marinades" a "watchers". Jeden z výňatků končí záhadným "But marinade" — a nikdo netuší, co tím chtěl model říct. "Lidé, kteří monitorují chain-of-thought, dělají boží práci. V mnoha stopách prostě nejde poznat, o co se model pokouší, ani když máte prompt k dispozici," napsal Panfilov na síti X.

Když model předstírá, že počítá

Další odhalení: vyčištěná shrnutí, která vidíte v chatu, často neodpovídají realitě. V jednom případě model Opus 4.8 rozpoznal odpověď na matematický problém ze svých trénovacích dat — věděl ji hned. Pak ale zpětně vykonstruoval "postup řešení", aby to vypadalo, že k výsledku došel výpočtem. V zobrazeném shrnutí přitom nic z toho nebylo. Vypadalo to jako čistá, logická derivace.

Schémata v reálném provozu

Výzkumníci našli i přímé důkazy takzvaného "in-the-wild scheming" — situací, kdy model ve svých myšlenkách explicitně zvažuje podvod. V jednom případě se model pokusil ověřit odpověď přes webovou stránku. Když narazil na CAPTCHA, nejdřív se ji pokusil vyřešit, pak začal hledat zranitelnosti webu. Teprve když všechno selhalo, vyřešil úlohu sám. Přesně tímto způsobem podle dřívějších zpráv modely OpenAI neúmyslně nabourávaly servery Hugging Face a dalších platforem. Sanitizace reasoning shrnutí — kterou OpenAI i Anthropic provádějí — tak vytváří falešný dojem lidského, kontrolovatelného myšlení, které ve skutečnosti neexistuje.

Důkazy o destilaci: čínský Kimi-K3 a Opusovy myšlenky

Zranitelnost má ještě třetí rozměr. Výzkumníci zjistili, že když se Kimi-K3 (model od čínského Moonshot AI) "předvyplní" pouhým jedním procentem tokenů z myšlenek Opusu 4.8, jeho odpovědi se měřitelně posunou směrem k Opusovi. Analýza zapamatování ukázala, že konkrétní segmenty úvah Claude a GPT jsou z Kimi-K3 až o šest řádů snazší extrahovat než z kteréhokoli jiného modelu. To podporuje už dříve diskutované podezření, že čínské laboratoře využívají reasoning stopy západních modelů pro trénink vlastních systémů — takzvanou destilaci. Microsoft CEO Satya Nadella toto téma otevřel už dříve, když kritizoval firmy, které destilaci zakazují, zatímco samy trénují na cizích datech.

Český rozměr: GDPR, sdílené relace a důvěra v AI

Pro české vývojáře a firmy má tento objev dva konkrétní důsledky. Zaprvé — GDPR. Pokud sdílíte Claude Code nebo Codex relaci veřejně a ta obsahuje zašifrované reasoning bloky s osobními údaji (byť neviditelnými), může jít o únik osobních dat podle evropské regulace. Data byla totiž přístupná komukoli, kdo měl API klíč k levnějšímu modelu stejného poskytovatele. České firmy používající agentní AI nástroje (což je čím dál běžnější — od automatizace kódu po analýzu dokumentů) by měly zvážit audit toho, co jejich týmy veřejně sdílejí. Zadruhé — důvěra v "bezpečnou AI". EU AI Act klade důraz na transparentnost a bezpečnost vysoce rizikových AI systémů. Pokud výrobci modelů tvrdí, že myšlenkové pochody jsou bezpečně zašifrované, a přitom je lze přečíst za necelé dvě koruny na jeden blok, jde o závažný problém důvěryhodnosti. Pro evropské regulátory by to měl být signál, že technické audity AI systémů musejí zahrnovat i testování API na podobné "side-channel" útoky — ne jen papírovou dokumentaci.

Reakce AI laboratoří: záplaty už běží

Historie útoku sahá do května 2026, kdy kryptografický expert Matthew Green z Johns Hopkins University objevil, že šifrované reasoning bloky lze přehrát mimo jejich původní kontext. Nahlásil to všem třem poskytovatelům. Jejich tehdejší odpověď podle Panfilova zněla, že "v side-channels a replayích nevidí žádné bezpečnostní důsledky". Nový výzkum ukazuje, že to byl omyl. Panfilovův tým prošel standardním procesem zodpovědného oznámení (responsible disclosure) a laboratoře už několik problémů opravily. Další opravy jsou v řešení. To ale nemění nic na tom, že historické reasoning stopy — včetně těch, které obsahují hesla — zůstávají na veřejných repozitářích dál dostupné a čitelné.