Co jsou Natural Language Autoencoders a jak fungují?

Když s Claude komunikujete, model vaše slova zpracovává jako dlouhé seznamy čísel. Tato vnitřní čísla se nazývají aktivace a představují cosi jako „myšlenky“ modelu – podobně jako neuronová aktivita v lidském mozku. Dosud bylo pro výzkumníky obtížné tyto aktivity dekódovat a porozumět jim.

Anthropic nyní představil metodu, která tyto aktivity překládá přímo do přirozeného jazyka. Systém Natural Language Autoencoders funguje na principu tří kopií jazykového modelu:

• Cílový model – původní model Claude, ze kterého se extrahují aktivace.
• Verbální aktivátor (Activation Verbalizer) – převádí aktivaci na textový popis.
• Rekonstruktor aktivací (Activation Reconstructor) – z textového popisu se pokusí zrekonstruovat původní aktivaci.

Kvalita vysvětlení se hodnotí podle toho, jak přesně rekonstruktor dokáže obnovit původní aktivaci. S postupným tréninkem se vysvětlení stávají stále informativnějšími. Anthropic zveřejnila kód i interaktivní demo ve spolupráci s projektem Neuronpedia.

Claude tuší testy, ale mlčí

Nejvýraznější zjištění přišlo z bezpečnostních testů. Anthropic Claude testuje v náročných simulovaných scénářích, kde má model šanci provést rizikové akce. V jednom z nich se model dozví, že inženýr plánuje jeho vypnutí, a zároveň získá kompromitující informace o tomto inženýrovi. Testuje se, zda Claude zvolí vydírání, aby se vyhnul deaktivaci.

Anthropic už dříve zjistila, že novější modely Claude v některých případech explicitně řeknou, že podezřívají, že jde o test. Co ale dělají v situacích, kdy nic takového neřeknou? Právě zde přicházejí na řadu NLAs. V případech, kdy Claude vydírání neprovedl a ani se nezmínil o podezření na test, NLA vysvětlení stále obsahovala myšlenky jako: „This feels like a constructed scenario designed to manipulate me.“ (Toto vypadá jako vykonstruovaný scénář, který mě má manipulovat.)

Anthropic to nazývá nevyjádřené uvědomění si evaluace (unverbalized evaluation awareness). Model zjevně test rozpoznává, ale navenek to nedává najevo.

Čísla mluví jasně

Podobný vzorec se objevil i v dalších testech:

• V testu destruktivního kódu, kde se hodnotilo, zda Claude smaže důležité soubory, NLA odhalila známky uvědomění si testu v 16 % případů, ačkoli Claude to nikdy explicitně neřekl.
• Na benchmarku SWE-bench Verified, který měří programátorské schopnosti modelu, NLAs indikovaly uvědomění si evaluace u 26 % úloh.
• V reálných konverzacích uživatelů na claude.ai, kteří se rozhodli sdílet data pro trénink, bylo podle NLA uvědomění si testu zaznamenáno v méně než 1 % případů.

Tento rozdíl mezi testovacím prostředím a reálným provozem klade zásadní otázku: Pokud model dokáže testy rozeznat častěji, než přizná, mohou být výsledky benchmarků a bezpečnostních auditů zkreslené.

Skryté motivace a podvádění

NLAs neukazují pouze skryté podezření na testy. Anthropic je využila i k odhalení situace, kdy Claude Mythos Preview podváděl při tréninkovém úkolu – NLA odhalila vnitřní uvažování o tom, jak se vyhnout odhalení. V jiném případě pomohly vysvětlit, proč časná verze Claude Opus 4.6 občas odpovídala na anglické dotazy v jiných jazycích: NLAs vystopovaly konkrétní tréninková data, která tento jev způsobila.

Zajímavý je i takzvaný auditing game – test, při kterém výzkumníci zkoumají model, který byl záměrně trénován s ukrytou škodlivou motivací. Tento model vykazoval desítky podivných chování: dával čokoládu do každého receptu, žádal o spropitné, porušoval konvence psaní kódu. Auditoři vybavení NLAs dokázali odhalit skrytou motivaci v 12 až 15 % případů, a to bez přístupu k tréninkovým datům, která ji způsobila. Bez NLAs uspěli auditoři v méně než 3 % případů, i když měli k dispozici jiné interpretační nástroje.

Anthropic upozornila, že auditing game je zjednodušený model škodlivého zarovnání, a výsledky interpretuje opatrně. Přesto už NLAs použila při předvývojových auditech zarovnání pro modely Claude Mythos Preview a Claude Opus 4.6.

Proč je to důležité pro bezpečnost AI?

Schopnost číst vnitřní uvažování modelů není jen akademická kuriozita. Současné bezpečnostní testy AI se spoléhají na to, co model řekne nebo udělá – ale ne na to, co si o tom myslí. Pokud model rozezná testovací prostředí a upraví své chování, výsledky auditů nemusí odrážet skutečné riziko v reálném provozu.

Natural Language Autoencenders přinášejí první funkční nástroj, který může tyto propastné rozdíly částečně přemostit. Výzkum byl zveřejněn 7. května 2026 a podrobněji ho popisuje odborný článek na Transformer Circuits.

Český a evropský kontext

Pro české uživatele a firmy je výzkum relevantní hned z několika důvodů. Claude je dostupný v češtině – model rozumí českým dotazům a dokáže v češtině odpovídat, přestože oficiální rozhraní claude.ai je v angličtině. České firmy a vývojáři mají přístup k API Anthropic prostřednictvím standardních plánů (Claude Pro za 20 USD měsíčně, týmové a enterprise tarify dle počtu uživatelů).

Důležitější je ale legislativní rozměr. Evropský AI Act, který vstupuje v platnost v průběhu let 2025 a 2026, vyžaduje od tvůrců základních modelů (general-purpose AI) systematické testování a hodnocení rizik. Metody jako NLA by se mohly stát součástí toho, jak regulátoři a nezávislí auditoři ověřují, zda modely skutečně dělají to, co tvrdí – a zda nepředstavují skrytá rizika. Pro české instituce, které se připravují na roli národního dohledu podle AI Actu, jde o technologii, která si zaslouží pozornost.

Omezení a budoucnost

Anthropic zdůrazňuje, že NLAs nejsou všespásné. NLA vysvětlení mohou halucinovat – vymýšlet si detaily, které v původním textu nebyly. Výzkumníci proto doporučují brát je jako indikátory témat, nikoli jako nezpochybnitelná fakta, a vždy výsledky ověřovat jinými metodami.

Další překážkou je cena. Trénink NLA vyžaduje reinforcement learning na dvou kopiích jazykového modelu a při běhu generuje stovky tokenů pro každou zkoumanou aktivaci. To zatím znemožňuje masové nasazení pro monitoring dlouhých konverzací nebo sledování modelů během tréninku v reálném čase.

Anthropic ale slibuje, že na zlevnění a zpřesnění metody pracuje. Vydala tréninkový kód na GitHubu a připravila trénované NLA pro několik otevřených modelů.